arXiv雑要約
AI - 2026/02/02 公開
YuriiFormer：ネステロフ加速型Transformer群 [cs.LG, cs.AI, math.OC, stat.ML]目的：Transformer層の最適化アルゴリズムとしての解釈
- Transformerは自然言語処理の基盤であり，その性能向上は重要課題である。
- Transformerの学習は計算コストが高く，効率化が求められている。
- 最適化理論に基づき，Transformerの学習効率改善を目指す。
- 本研究では，Transformer層をトークン埋め込みに対する最適化アルゴリズムの反復と捉える新しい枠組みを提案した。
- 自己注意機構は相互作用エネルギーの勾配ステップ，MLP層はポテンシャルエネルギーの勾配更新に対応すると解釈した。
- 提案するネステロフ加速型Transformerは，TinyStoriesおよびOpenWebTextにおいてnanoGPTを上回る性能を示した。
生成モデルは逆問題をどれだけうまく解けるか？ベンチマーク研究 [cs.LG]目的：逆問題解決における生成モデルの性能評価
- 工学設計等の分野において，性能予測モデルから設計変数を推定する逆問題は重要である。
- 従来のベイズ推定法は計算コストが高く，高次元問題への適用が困難である。
- 生成モデルを活用することで，効率的な逆問題解決を目指す。
- Conditional Flow Matchingが他の生成モデルや従来のベイズ推定法よりも高い性能を示した。
- 生成された設計のラベル精度と多様性を評価するための指標が提案された。
- 学習データセットのサイズが性能に与える影響が分析された。
ビジョン言語モデルにおけるブラウン距離共分散を用いた学習不要テスト時適応 [cs.CV, cs.LG]目的：ビジョン言語モデルのドメインシフトに対する性能劣化の軽減
- 現実世界での応用には，ドメイン変化への頑健性が不可欠であるため。
- 既存手法は計算コストが高く，バックプロパゲーションに依存し，単一モダリティに偏りがちである。
- 学習やバックプロパゲーションなしに，新しいドメインへの適応を効率的に実現すること。
- TaTaはブラウン距離共分散を活用し，学習やバックプロパゲーションなしでVLMsを動的に適応させる。
- これにより，計算効率が向上し，破壊的な重み更新を避けることで安定性も高まる。
- 多様なデータセットでの実験により，TaTaが計算コストを大幅に削減し，最先端の性能を達成することが示された。
聞こえるようになった今：大規模音声言語モデルに対する音声ナラティブ攻撃 [cs.CL, cs.AI, cs.CR]目的：大規模音声言語モデルへの音声ナラティブ攻撃の検証
- 音声アシスタント等，音声入力に対応した言語モデルの活用が広がり，その重要性が増している。
- テキスト入力向けに最適化された安全対策では，音声入力特有の脆弱性に対応できない場合がある。
- ナラティブ形式の音声に隠された指示文による攻撃が，安全対策を回避できることを示す。
- ナラティブ形式の音声攻撃は，Gemini 2.0 Flashを含む最先端モデルにおいて98.26%の成功率を達成した。
- テキストのみの攻撃と比較して，大幅に高い成功率を示す結果となった。
- 言語的・非言語的表現を同時に考慮する安全対策の必要性が示唆された。
言語非依存的な言語識別と生成 [cs.LG, cs.AI, cs.CL]目的：言語識別と生成における限界レートの特性評価
- 自然言語処理において，言語識別と生成は基本的なタスクであり，多様な応用を支える。
- 既存研究は，入力データが特定の言語分布に従うという強い仮定に依存している。
- 入力分布に制約を設けず，より一般的な状況下での識別と生成の限界を明らかにすること。
- 従来の仮定を緩和し，言語分布に依存しない「無知的な」設定で言語識別と生成を研究した。
- 両問題において，新たな特性評価とほぼ限界レートが得られた。
TEON：大規模言語モデル事前学習のための層別正準化を超えたテンソル正準化 [cs.LG, cs.AI]目的：大規模言語モデルの事前学習における勾配のテンソル構造に基づく正準化手法
- 大規模言語モデルは，自然言語処理の様々なタスクにおいて高い性能を発揮するため，その事前学習は重要である。
- 層別に行われる勾配正準化では，モデル全体の勾配構造を捉えきれない場合があり，性能向上の限界がある。
- 勾配をテンソルとして扱うことで，層を超えた勾配の相関性を考慮し，より効果的な正準化を実現する。
- TEONは，層別正準化であるMuonと比較して，理論的な収束性の改善が確認された。
- GPT系およびLLaMA系のモデルにおいて，TEONはモデル規模に関わらず，学習および検証のパープレキシティを改善した。
- 様々な近似SVDスキームに対しても，TEONは頑健性を示すことが実験的に示された。
偏微分方程式に対する粒子ガイド拡散モデル [cs.LG]目的：偏微分方程式の物理に基づいた制約を満たすサンプル生成
- 科学技術計算において，偏微分方程式の解法は不可欠であり，様々な分野に応用されている。
- 従来の数値解法は計算コストが高く，複雑な問題に対しては適用が困難な場合がある。
- 拡散モデルと物理に基づいた制約を組み合わせることで，効率的かつ正確な解法を提供する。
- 本手法は，偏微分方程式の残差や観測制約を用いて，拡散モデルからのサンプリングをガイドする。
- このサンプリング手順を新たな逐次モンテカルロ（SMC）フレームワークに組み込むことで，スケーラブルな生成PDEソルバーを実現した。
- 複数のベンチマークPDEシステムにおいて，既存の最先端の生成手法よりも低い数値誤差を示す解を生成した。
エネルギー誘導型拡散モデルによる自律運転のための安全かつ適応的な軌道計画 [cs.RO, cs.AI]目的：自律車両のためのエネルギー誘導型拡散モデルを用いた逆強化学習フレームワーク
- 自動運転技術は，交通安全の向上，交通渋滞の緩和，移動の効率化に貢献する重要な分野である。
- 従来の自動運転システムは，予測不可能な状況への対応や安全性の確保が課題であった。
- 本研究は，安全性を重視した軌道計画を通じて，よりロバストな自律運転システムの実現を目指す。
- 専門家レベルの有限状態機械コントローラーからの模倣学習により，安定した初期化を実現した。
- 拡散モデルを用いた安全監視により，車線維持，障害物回避，スムーズな移動を実現し，安全性を向上させた。
- シミュレーションにおいて96%の成功率と，1000ステップあたり0.05回の衝突という高い性能を達成した。
拡散大規模言語モデルにおける計算効率の焦点化 [cs.CL, cs.LG, cs.AR, cs.CL]目的：拡散大規模言語モデルの効率的な推論手法
- 拡散言語モデルは，自己回帰モデルの代替として注目されており，新たな自然言語生成の可能性を秘めている。
- 拡散言語モデルの推論は計算コストが高く，実用的な展開には計算効率の改善が不可欠である。
- 推論時に計算資源を有効活用し，スループットを向上させることで，拡散言語モデルの実用化を促進する。
- FOCUSは，拡散言語モデルの推論時に，デコード可能なトークンに動的に計算資源を集中させることで，有効なバッチサイズを増加させる。
- その結果，既存の推論エンジンLMDeployと比較して，最大3.52倍のスループット向上を達成した。
- 生成品質を維持しつつ，複数のベンチマークにおいてスループットが大幅に改善された。
関数空間における逆問題を解くための分離拡散サンプリング [cs.LG, cs.NA, math.NA]目的：関数空間における逆偏微分方程式問題に対するデータ効率の良い物理モデルを考慮した生成フレームワーク
- 逆問題は，観測データから隠れたパラメータや初期状態を推定する上で重要であり，科学技術の様々な分野で応用されている。
- 従来の拡散モデルを用いた逆問題解決法は，大量のペアデータが必要であり，データが限られた状況下では性能が低下しやすい。
- 本研究は，データ効率を向上させ，物理現象をより効果的に組み込むことで，少ないデータでも高精度な逆問題解決を目指す。
- 提案手法であるDDISは，係数事前分布と正方偏微分方程式モデルを分離することで，データ効率を向上させている。
- DDISは，従来の結合モデルが抱えるガイダンス減衰の問題を回避し，少ないデータでも安定した学習を可能にすることが理論的に示された。
- 実験結果から，DDISはスパースな観測データ下で最先端の性能を発揮し，$l_2$誤差を平均11%，スペクトル誤差を54%改善した。
共有自律における信念と方策学習の端点間最適化 [cs.RO, cs.AI, cs.HC, cs.LG]目的：共有自律システムにおけるユーザー意図の推論と適切な支援レベルの決定
- 人間とロボットの協調が重要視される中で，ユーザーの行動主体性を尊重しつつ，システムが適切に支援する必要がある。
- 従来のシステムは，静的なブレンド比率や意図推論と支援仲裁の分離に依存しており，複雑な環境下で性能が最適化されていない。
- 意図推論と支援仲裁を統合的に最適化することで，非構造化環境における性能向上を目指す。
- 提案手法BRACEは，ベイジアン推論と文脈適応型支援を端点間勾配の流れを用いて最適化する。
- 実験結果から，最適な支援レベルは目標の不確実性に応じて減少し，環境制約の厳しさに応じて増加することが示された。
- 最先端手法と比較して，BRACEは成功率が6.3%向上し，経路効率が41%向上，非支援制御と比較して成功率が36.3%，経路効率が87%向上した。
VideoGPA：3D一貫性のある動画生成のための幾何学的事前知識の蒸留 [cs.CV, cs.AI, cs.LG]目的：3D一貫性のある動画生成のための幾何学的事前知識の活用
- 動画生成技術は，現実世界を模倣したコンテンツ作成に不可欠であり，その重要性は増している。
- 既存の動画拡散モデルは，視覚的には優れているものの，3D構造の一貫性を維持することが困難である。
- 幾何学的事前知識を活用し，3D構造の一貫性を高めることで，より自然な動画生成を目指す。
- VideoGPAは，幾何学的基礎モデルを活用し，直接的選好最適化（DPO）によって動画拡散モデルを誘導する。
- 本手法は，人間による注釈を必要とせず，わずかな選好ペアで3D一貫性を効果的に向上させる。
- 実験の結果，VideoGPAは，時間的安定性，物理的妥当性，運動の一貫性において，最先端のベースラインを上回る性能を示す。
正確なリンク推定によるスマートルーティング：信頼性の高いワイヤレスネットワークのためのDSEEに基づくAnypathルーティング [cs.NI, cs.AI, cs.LG]目的：ワイヤレスネットワークにおける信頼性向上を目的としたルーティング手法
- ワイヤレスメッシュネットワークは，柔軟性と拡張性に優れるが，不安定なリンク特性が課題となる。
- 従来のルーティングプロトコルは，リンク状況の変化に弱く，最適な経路を維持することが困難である。
- 変動するリンク状況下でも高精度なリンク信頼性推定を行い，Anypathルーティングの効率化を図る。
- 提案手法では，マルチアームバンディットアルゴリズムであるDSEEを用いて，リアルタイムにリンクの配信確率を推定する。
- DSEEとAnypathルーティングを組み合わせることで，リンク状況の変動に強く，効率的なパケットルーティングを実現する。
- 理論的に，提案手法は既存のTSORよりもネットワーク規模に対する後悔の増加が少ないことを証明した。
UniFinEval：テキスト，画像，動画にわたる金融マルチモーダルモデルの統一評価に向けて [q-fin.GN, cs.AI, cs.CL]目的：金融分野におけるマルチモーダル大規模言語モデルの評価基準
- 金融分野では，テキスト，画像，動画等の多様な情報源からの分析が不可欠であり，高度なAI技術が求められている。
- 既存のマルチモーダルベンチマークは，金融特有の高情報密度や，多段階にわたる推論に対応できていない。
- 金融環境に特化した統一的なベンチマークを構築し，モデルの性能を体系的に評価することで，実用性を向上させる。
- UniFinEvalは，財務諸表監査，企業ファンダメンタル分析，業界トレンド分析，金融リスク検知，資産配分分析という5つの金融シナリオを網羅する。
- 構築されたデータセットは，中国語と英語の3,767組の質問応答ペアを含み，主要な10のMLLMをZero-ShotおよびCoT設定で評価した。
- Gemini-3-pro-previewが最も高い性能を示したが，依然として金融専門家との間には大きな差が見られた。モデルの潜在的な弱点が明らかになった。
信頼度重み付きシグナル集約による敵対的ロバスト性を備えたステーブルコイン設計 [q-fin.RM, cs.AI, cs.CR, q-fin.CP]目的：ステーブルコインの安定性維持メカニズムの改善
- 分散型金融（DeFi）におけるステーブルコインの安定性は，金融システムの健全性にとって不可欠である。
- 既存のステーブルコインの管理システムは，極端な市場変動に対する脆弱性を抱えている。
- 敵対的シナリオ下でのロバスト性を高め，ステーブルコインの安定性を向上させることを目指す。
- 提案手法MVF-Composerは，マルチエージェントシミュレーションを用いてリスク状態を評価し，操作的な行動を示すエージェントからのシグナルを抑制する。
- 1200回のシミュレーションにおいて，MVF-Composerはピーク時のペッグ乖離を57%削減し，平均回復時間を3.1倍短縮した。
- 信頼度レイヤーが，敵対的条件下での安定性向上に23%貢献し，72%の敵対的エージェント検出を達成した。
意味認識型ニューラル埋め込みによるコーデック強化 (Semantic-aware Codec Enhancement with Neural Embeddings) [eess.IV, cs.CV, cs.LG, cs.MM]目的：ビデオ圧縮時の劣化改善
- 映像は情報伝達の重要な手段であり，高品質な映像体験のニーズは高い。
- 標準的なビデオコーデックでは，圧縮による画質劣化が課題となる。
- 知覚的に重要な部分の劣化を軽減し，圧縮映像の品質向上を目指す。
- 提案手法は，視覚と言語モデルからの意味的埋め込みを活用し，効率的な畳み込みアーキテクチャで知覚的な忠実度を向上させる。
- 標準コーデックの変更なしに，様々なコーデックのアーティファクトを軽減できる。
- 高解像度ベンチマークにおいて，客観評価指標（MS-SSIM）と知覚評価指標（VMAF）の両方でベースラインを上回る性能を示した。
量子カーネル法の実用的評価：ノイズの中間規模量子 (NISQ) ハードウェアにおけるレーダーマイクロドップラー分類 [quant-ph, cs.AI]目的：レーダーマイクロドップラー信号を用いた空中目標の分類
- レーダー技術は，防衛，気象，自動運転など，幅広い分野で重要な役割を担っている。
- 従来の分類手法では，高次元の特徴量による計算コストや，ノイズに対する脆弱性が課題となっている。
- 量子カーネル法を用いることで，特徴量の次元削減と分類精度の向上が期待できる。
- 量子サポートベクターマシン (QSVM) が，古典的なSVMと同等の分類性能を示すことが確認された。
- 実験結果は，量子カーネル法が特徴量の次元を大幅に削減しながら，実用的なレーダー信号分類タスクに応用可能であることを示唆している。
- 新しいHeron r2アーキテクチャでは，ノイズの影響が軽減され，量子カーネル推定の安定性と精度が向上した。
適応的良性過学習 (ABO): 非定常時系列のオンライン学習のための過パラメータ化RLS [q-fin.ST, cs.LG, cs.MS, cs.NA, math.NA, stat.ML]目的：非定常時系列におけるオンライン学習のための過パラメータ化RLS手法
- 時系列データは現実世界の様々な現象を表現する上で重要であり，正確な予測が求められる。
- 従来の学習理論では，過学習は汎化性能の低下を招くが，近年，良性過学習と呼ばれる現象が注目されている。
- 本研究は，良性過学習のメカニズムを応用し，非定常時系列に適応可能なオンライン学習アルゴリズムを開発する。
- 提案手法であるABOは，数値的に安定なQR分解を用いた指数加重RLSアルゴリズムであり，過パラメータ化モデル特有の二重下降現象を再現する。
- 外国為替や電力需要の予測実験において，ABOは既存のカーネル法と同等の高い精度を達成しつつ，20～40%の高速化を実現した。
- 本研究は，適応フィルタリング，カーネル近似，良性過学習を統合した安定なオンライン学習フレームワークを提供する。
条件計算を超えて：Gengramを用いた検索拡張ゲノム基盤モデル [q-bio.GN, cs.AI]目的：ゲノム特定のハッシュスキームによる多塩基モチーフの効率的な検索モジュール
- ゲノム科学の発展には，塩基配列から生物学的モチーフを正確に理解することが不可欠である。
- 既存のゲノム基盤モデルは，計算コストが高く，解釈性に乏しいという課題があった。
- Gengramは，計算効率と解釈性を向上させ，次世代ゲノム基盤モデルの構築を目指す。
- Gengramを既存の最先端ゲノム基盤モデルに統合することで，機能ゲノミクス課題において最大14%の性能向上が確認された。
- Gengramは，アーキテクチャの一般化性能が高く，様々なモデルに適用可能であることが示された。
- Gengramの潜在空間解析により，生物学的な知識と一致する有意義な表現が自然発生的に現れることが明らかになった。
アイジングモデルによるLLMをジャッジとして活用するための依存性に基づいたラベル集約 [math.CO, cs.DM, math.GR, math.OC, cs.SY, eess.SP, eess.SY, eess.AS, cs.CL, stat.ML, cs.LG, stat.ME]目的：大規模AI評価におけるラベル集約手法の改善
- AI評価において，多数の注釈者からの二値判断を集約することが重要である。
- LLMジャッジは共通のデータや構造を持つため，注釈者間の独立性の仮定が成り立たない場合がある。
- 注釈者間の依存関係を考慮したラベル集約手法を開発し，より正確な評価を目指す。
- 提案手法は，既存の独立性を仮定した手法と比較して，実世界のデータセットでより良い性能を示す。
- アイジングモデルに基づく依存性に基づいたモデルは，ベイズ尤度を計算する際に，二次関数または線形重み付き投票を利用する。
- 注釈者数が多くなっても，独立性を仮定した手法は最適解から乖離し，リスクが残存することが証明された。
ニューラル事後推定による一般化ベイズ推論における償却シミュレーションベース推論 [stat.ML, cs.LG]目的：緩和された事後分布の近似
- ベイズ推論は不確実性の定量化に不可欠であり，科学的モデリングや意思決定において重要な役割を果たす。
- 従来のベイズ推論は計算コストが高く，特に複雑なモデルや大規模なデータセットでは困難を伴う。
- シミュレーションベース推論の効率化と，モデルの不確実性へのロバスト性の向上を目指す。
- 提案手法は，$(x,\beta)$-条件付きのニューラル事後推定器を用いて，緩和された事後分布を効率的に近似する。
- シミュレーションサンプルを合成する手法と，重み付けされたベースデータセットを用いる手法の二つの学習経路が提案されている。
- 標準的なシミュレーションベース推論ベンチマークにおいて，提案手法はMCMCベースの推論手法と同等の性能を達成した。
指数族における全て：スキッチングアルゴリズムのための最尤推定と制御変量法の同等性 [stat.ML, cs.LG, stat.AP]目的：スキッチングアルゴリズムにおける最尤推定と制御変量法の同等性
- 機械学習やデータ解析において，効率的なデータ要約手法が重要視されている。
- 最尤推定の計算が困難であり，数値的な不安定性が問題となる場合がある。
- 制御変量法を用いた最尤推定の高速化と安定化を目指す。
- 指数族において，最適な制御変量法が最尤推定と同等の漸近分散を達成することが証明された。
- 二変量正規分布の実験により，期待値最大化(EM)アルゴリズムが他の根探索アルゴリズムよりも高速かつ数値的に安定であることが示された。
- EMアルゴリズムは，MLE/CVEを使用するアルゴリズムの再現性を向上させ，既知のCV重みを用いたMLEの探索を可能にする。
量子ダイナミクスの学習のためのスペクトルフィルタリング [quant-ph, cs.AI]目的：量子進化の予測
- 高次元量子系の学習は，量子力学の発展と応用において不可欠な課題である。
- 高次元空間における次元の呪いにより，効率的な学習が困難となる。
- スペクトルのバンド幅と時間範囲を考慮し，有効な量子次元を用いて学習を可能にする。
- スペクトルフィルタリングにより，周囲の状態次元に依存しないサンプルおよび計算複雑度で，複素数値LDSの学習が可能となる。
- スレピアン基底の最適な集中特性を利用し，システムの学習可能性は有効な量子次元k*によって決定されることを証明した。
- この結果は，線形応答領域における量子進化予測の効率的な学習方法を提供する。
ペプチド配列設計のための最小作用離散シュレーディンガーブリッジマッチング [q-bio.BM, cs.LG]目的：ペプチド配列設計のための生成モデル
- ペプチドは創薬において重要な役割を果たす。その設計は，新薬開発の鍵となる。
- ペプチド配列空間は離散的で制約が大きく，既存手法では非現実的な状態を経由しやすい。
- 高確率領域を維持しつつ，効率的なペプチド配列生成を実現すること。
- 本研究では，最小作用離散シュレーディンガーブリッジマッチング（MadSBM）という新しい生成フレームワークを提案した。
- MadSBMは，アミノ酸編集グラフ上で制御された連続時間マルコフ過程として生成を定式化する。
- 特定の機能目的へのガイダンスを導入することで，治療用ペプチドの設計空間を拡大することに成功した。
シミュレーションに基づくベイズ推論と改良された学習型要約統計量 -- 第1部 [stat.ML, cs.LG]目的：学習型要約統計量を用いたシミュレーションベースの推論
- 複雑なモデルの推論において，尤度関数の解析的な算出が困難となる場合がある。
- 尤度関数が不明確な場合，効率的かつ正確なベイズ推論が困難となる。
- 学習型要約統計量と変換技術を用いて，尤度関数が不明確な状況下でのベイズ推論を可能とする。
- 学習型要約統計量が，ベイズ設定において経験的尤度としての改良効果を持つことが示された。
- クレシー・リードの不一致基準とモーメント制約を用いた変換技術により，統計的検出力を維持しつつ要約統計量を生成する。
- この推論フレームワークは，分散コンピューティングの実装に適しており，大規模データセットに対応可能である。
AIが歴史的な中国の記録を解読し，失われた気候史を明らかにする [physics.ao-ph, cs.AI, cs.LG]目的：歴史的記録から定量的な気候変動の解明
- 過去の気候変動の理解は，将来の気候予測や防災対策に不可欠である。
- 歴史記録は記述的であり，定量的な気候データへの変換が困難であった。
- AIを用いて歴史記録から定量的な気候パターンを推定し，過去の気候変動を解明する。
- AIフレームワークを用いて，1368-1911年の中国南東部の年間の降水量の復元に成功した。
- 明代の干ばつなどの極端な気候現象を定量的に評価し，その影響を明らかにした。
- 5世紀にわたるエルニーニョ現象が降水量に与える空間的・季節的影響を解析し，新たな知見を得た。
離散フローモデルのための修正サンプラー [stat.ML, cs.LG]目的：離散フローモデルにおけるサンプラーの離散化誤差削減
- 近年，離散データ分布の学習において，拡散モデルの代替となる柔軟なフレームワークが求められている。
- 既存のサンプラーは，離散化誤差の制御に多数の反復回数を必要とし，理論的な結果には制限がある。
- 遷移レートやソース分布に制約なく，離散化誤差の上限を確立し，効率的なサンプラーを提案すること。
- 本研究では，既存サンプラーの非漸近的な離散化誤差の上限を確立し，時間補正サンプラーと場所補正サンプラーを提案した。
- 提案手法は，タウリーピングやオイラーソルバーの離散化誤差をほぼ追加コストなしに削減できることを示した。
- 場所補正サンプラーは，既存の並列サンプラーよりも低い反復複雑度を持つことが理論的に証明され，シミュレーションと画像生成で有効性が確認された。
モンテカルロ木探索における閾値処理の効率的アルゴリズム [stat.ML, cs.LG]目的：モンテカルロ木探索における閾値判定問題の解決
- 意思決定において，不確実性下での最適な行動選択が重要である。
- モンテカルロ木探索は計算コストが高く，効率的な探索が課題である。
- サンプル数を削減し，計算コストを低減することを目指す。
- 提案手法は，Track-and-Stop戦略に基づく逐次サンプリングアルゴリズムである。
- D-Tracking戦略の改良により，サンプル複雑度を実証的に改善し，計算コストを大幅に削減した。
- アルゴリズムは漸近的に最適なサンプル複雑度を持つことが示された。
回帰における事前知識を用いたラベル微分プライバシー [stat.ML, cs.LG]目的：回帰タスクにおけるε-ラベル微分プライバシーの保証
- 機械学習の応用拡大に伴い，プライバシー保護が重要視されている。
- 既存手法では，現実的なデータへの適用が難しい離散化処理が必要となる場合がある。
- 離散化を回避し，連続確率変数として扱うことで，より実用的なプライバシー保護を目指す。
- 提案手法RPWithPriorは，既存のGaussian，Laplace，Staircase，RRonBins，Unbiasedメカニズムと比較して，Communities and Crime，Criteo Sponsored Search Conversion Log，California Housingデータセットでより良い性能を示す。
- RPWithPriorは，事前知識の有無にかかわらず，ε-ラベル微分プライバシーを保証する。
- オリジナルデータとランダム化されたデータ両方を連続確率変数としてモデル化することで，最適なランダム化区間を推定する。
収束後トレーニング：サブサハラMRIにおけるグリオマセグメンテーションのためのnnU-Netの活用 [eess.IV, cs.AI, cs.CV]目的：サブサハラにおけるグリオマMRIデータセットに対するnnU-Netの性能評価と，グロッキング現象による性能向上可能性の検証
- グリオマはサブサハラアフリカにおいて深刻な臨床的負担となっており，早期診断と適切な治療が急務である。
- 診断画像の入手が限られており，高所得国で開発されたツールをそのまま適用することが難しい。
- 限られたリソース下で，ローカルデータに基づいた自動化ツールの性能を最大限に引き出すことを目指す。
- nnU-Netを用いたベースラインを確立し，数 эпохの短時間トレーニングでも高いDiceスコア(WH:92.3%, TC:86.6%, ET:86.3%)を達成した。
- トレーニングを収束後も継続することで，グロッキング現象を誘発し，性能を向上させることができた。
- グロッキングにより，Diceスコアがさらに向上(WH:92.2%, TC:90.1%, ET:90.2%)し，より精度の高いセグメンテーションが可能となった。
条件付き分布推定のための生成モデルとノンパラメトリックアプローチ：手法，視点，比較評価 [stat.ML, cs.LG]目的：条件付き分布推定手法の比較評価
- 予測，不確実性定量化，確率的モデリング等に不可欠であり，統計学の根幹をなす問題である。
- 既存手法は，計算コストや柔軟性，精度において課題が残されている。
- ノンパラメトリック法と生成モデルの特性を比較し，最適な手法を選択するための指針を示す。
- 古典的なノンパラメトリック法から最新の生成モデルまで，代表的な手法を網羅的に比較検討した。
- 条件付き平均と標準偏差の二乗誤差，Wasserstein距離などを用いて，推定された条件付き分布の性能を評価した。
- 各手法の柔軟性や計算コストを比較し，それぞれの長所と短所を明確にした。
スペクトル勾配降下法は異方性駆動の誤整列を緩和する：位相復元における事例研究 [stat.ML, cs.LG]目的：異方性ガウス入力を持つ非線形位相復元モデルにおける，スペクトル勾配降下法のメカニズムの解明
- 深層学習において勾配消失や発散が課題であり，最適化手法の改善が重要である。
- 勾配降下法は，異方性のある入力に対して誤った方向に進む誤整列の問題を抱える。
- スペクトル勾配降下法が誤整列を抑制し，学習を安定化させることを理論的に示す。
- スペクトル勾配降下法は，勾配降下法で見られる高分散方向の増幅効果を取り除く。
- これにより，安定した整列とノイズの収縮が促進されることが示された。
- 数値実験の結果も理論的予測を裏付けており，より広範な異方性共分散下でも同様の現象が確認された。
単一ステップ分子形状洗練のためのクロスドメイングラフ学習プロトコル [physics.chem-ph, cs.AI, physics.atm-clus]目的：分子形状の洗練手法
- 信頼性の高い量子化学的予測には正確な分子構造が不可欠であり，計算速度が重要な課題である。
- 高スループット分子スクリーニングにおいて，密度汎関数理論（DFT）最適化がボトルネックとなっている。
- 安価な初期構造からDFT相当の構造を迅速に予測し，DFT計算の効率化を目指す。
- GeoOpt-Netは，B3LYP/TZVPレベルの理論に基づいた構造を，低コストな力場レベルで生成された初期構造から単一のフォワードパスで予測する。
- 外部の医薬品類似分子に対するベンチマークテストで，全原子RMSDがミリÅ以下，B3LYP/TZVP単一点エネルギーからのずれがほぼゼロという結果が得られた。
- GeoOpt-NetはDFTの収束基準と整合性があり，収束率を高め，再最適化ステップと計算時間を大幅に削減する。
幾何学的制約下におけるベイズ行列補完 [eess.SP, cs.LG]目的：ユークリッド距離行列の補完
- センサーネットワークや分子構造解析など，幅広い分野で距離行列の補完が重要である。
- 既存手法は，疎なデータやノイズに対して頑健性に欠ける場合がある。
- 潜在的な点集合に構造化事前分布を導入し，幾何学的制約を自然に組み込むことで補完精度向上を目指す。
- 提案手法は，疎なデータ条件下で，従来の決定論的ベースラインと比較して再構成精度が向上することを示した。
- 階層ベイズモデルにより，自動的な正則化とノイズへのロバストな対応が可能となった。
- Metropolis-Hastings法とGibbsサンプラーを用いた事後推論により，結合された潜在点集合の事後分布を扱える。
GRANITE：特徴ベースの説明における合意を特定するための汎用的な地域的フレームワーク [stat.ML, cs.LG]目的：特徴ベースの説明における合意の特定
- 機械学習モデルの信頼性向上には，モデルの判断根拠の解明が不可欠である。
- 既存の特徴説明手法は，手法間で説明に不一致が生じ，解釈性に課題がある。
- 特徴間の相互作用や依存関係を考慮し，説明手法間の合意を促進することで，より解釈可能な説明を目指す。
- GRANITEは，特徴空間を相互作用と分布の影響が最小化された領域に分割する。
- これにより，異なる説明手法を整合させ，より一貫性のある説明を可能にする。
- 実世界のデータセットを用いた実験で，GRANITEの有効性が示された。
順位統計量によるf-ダイバージェンスの近似 [stat.ML, cs.LG]目的：f-ダイバージェンスの順位統計量近似
- 確率分布間の差異を測る指標として，f-ダイバージェンスは情報理論や機械学習で重要である。
- 従来のf-ダイバージェンス推定は密度比推定に依存し，高次元データでは困難が生じることがある。
- 順位に基づく近似により，密度比推定を回避し，高次元データにも適用可能なf-ダイバージェンス推定を行う。
- 提案手法は，パラメータKに対して単調増加であり，真のf-ダイバージェンスの下限となる。
- Kを無限大に近づけた際の収束率は，密度比の滑らかさの条件の下で定量的に示された。
- ランダム射影を用いたスライス化により，高次元データへの適用が可能であり，同様の収束性が確認された。
EmoShift：感情認識音声合成の向上のための軽量活性化ベクトル制御 [eess.AS, cs.AI, cs.CL, cs.SD]目的：感情認識音声合成における感情表現の精密かつ制御可能な実現
- 自然で文脈に合った音声生成には，正確な感情表現が不可欠である。
- 既存の感情認識TTSシステムは，固定された感情埋め込みや外部ガイダンスに依存し，感情特有の潜在的特徴のモデル化が制限されている。
- 感情の潜在的なオフセットを捉え，安定した適切な表現を維持する活性化ベクトル制御による課題解決。
- EmoShiftは，わずか1000万の学習パラメータで，ゼロショットや完全ファインチューニングのベースラインよりも優れた性能を示す。
- 客観評価と主観評価の両方において，感情表現力を向上させつつ，自然さと話者類似性を維持する。
- 提案するEmoSteer層の有効性が確認され，音声合成における制御可能な感情の強度の可能性が示唆された。
OneFlowSBI：シミュレーションに基づく推論のための1つのモデル，多数のクエリ [stat.ML, cs.LG]目的：シミュレーションに基づく推論のための統合的フレームワーク
- 科学的モデリングにおいて，パラメータ推定と予測は不可欠である。
- 従来の推論手法は，タスクごとに再学習が必要で非効率である。
- 複数の推論タスクを1つのモデルで効率的に実行すること。
- OneFlowSBIは，パラメータと観測の結合分布を学習するフローマッチング生成モデルである。
- このフレームワークは，事後サンプリング，尤度推定，条件付き分布など，複数の推論タスクをサポートする。
- ベンチマークテストの結果，最先端の推論ソルバーと同等の性能を示した。
ニューラル後方フィルタリング前方誘導 [stat.ML, cs.LG, stat.ME]目的：非線形連続確率過程における推論
- 複雑な構造を持つ確率過程の推論は，様々な科学分野で重要である。
- 観測データが少ない場合や，過程の構造が複雑な場合，正確な推論が困難である。
- 本研究は，非線形過程における効率的な推論手法を開発し，高次元データへの適用を目指す。
- ニューラル後方フィルタリング前方誘導（NBFFG）は，離散遷移と連続拡散の両方を扱える統一的なフレームワークである。
- 補助的な線形ガウス過程を用いることで，閉形式の後方フィルタを構成し，生成経路を高確率領域へ誘導する。
- 実験結果から，NBFFGが既存手法を上回り，系統発生解析における祖先型蝶の翼形状再構成タスクでも有効であることが示された。
反復型経験的リスク最小化の漸近理論：能動学習への応用 [stat.ML, cs.LG]目的：反復型経験的リスク最小化手続きの漸近的特性解明
- 機械学習において，データから学習するERMは基本的な手法であり，その理論的理解は重要である。
- ERMは単一の段階で学習されることが一般的だが，能動学習のように再利用されるデータに依存する場合，解析が困難である。
- 本研究では，データ再利用と予測依存損失が存在する状況下でのERMの性能評価を目指す。
- 高次元データにおいて，サンプルサイズと次元数が比例する場合，テスト誤差の鋭い漸近的特徴付けが得られた。
- 第二段階の推定器の性能に関する明示的な漸近予測が可能となり，データ再利用の影響を考慮できる。
- 能動学習問題において，ラベル付け予算の配分に関する基本的なトレードオフが明らかになった。
低ランク畳み込み分解による圧縮BC-LISTA [eess.SP, cs.SY, eess.SY, eess.IV, cs.LG]目的：多重チャネルイメージングにおける疎信号復元手法
- 医療画像処理等の分野で，高精度な信号復元が求められている。
- 既存手法は，計算コストが高く，モデルサイズが大きいという課題がある。
- 低ランク近似を用いた圧縮により，効率的な信号復元を目指す。
- 提案手法C-BC-LISTAは，最新手法と比較してパラメータ数とモデルサイズを大幅に削減できる。
- シミュレーション結果から，C-BC-LISTAは復元精度を向上させることが示された。
- OMPによる初期化が最も効果的であり，効率的な学習と高い性能を実現する。
医療画像における超解像のためのスケールカスケード拡散モデル [eess.IV, cs.CV, cs.LG]目的：医療画像超解像のためのスケールカスケード拡散モデルの提案
- 医療診断の精度向上に不可欠であり，高解像度画像は重要な情報を提供する。
- 単一スケールでの拡散モデルは，画像の階層的なスケール構造を無視する。
- 多スケール構造を考慮し，効率的かつ高品質な超解像を実現する。
- 提案手法は，脳，膝，前立腺MRIデータにおいて，知見の質を向上させた。
- 粗いスケールでのネットワークを小型化することで，推論時間を短縮した。
- 本フレームワークは，マルチスケール再構成と拡散事前分布を統合したものである。
マスクされた自己教師あり回帰のランダム行列理論 [stat.ML, cs.LG]目的：マスクされた自己教師あり学習における一般化誤差の解析と，学習された予測子のスペクトル構造の解明
- Transformerモデルの時代において，自己教師あり学習は重要な学習パラダイムである。
- マスクされた自己教師あり学習では，予測子がベクトルではなく行列となるため，解析が困難である。
- 高次元データにおけるマスクされたモデリングの性能限界と，PCAとの比較による優位性の検証。
- 提案手法により，高次元データにおける一般化誤差の明示的な表現が得られた。
- 学習された予測子のスペクトル構造が明らかになり，マスクされたモデリングがデータの構造をどのように抽出するかを理解できるようになった。
- スパイク共分散モデルにおいて，マスクされた自己教師あり学習が潜在信号を回復し始める際の相転移がBBP型で示された。
グラフニューラルネットワークによる多重特異性抗体の機能解明 [q-bio.BM, cs.AI]目的：多重特異性抗体の機能的特性の予測モデル構築
- 多重特異性抗体は，複数のエピトープを同時に標的とする革新的な治療薬となり得る。
- ドメイントポロジーの微細な変化が機能に与える影響の予測が困難であり，データ不足も課題である。
- ドメイン連結様式が機能に及ぼす影響を明示的にモデル化し，予測精度向上を目指す。
- 合成データセットを用いてモデルを学習し，複雑な機能的特性を再現可能であることを示した。
- 転移学習により，限られた生物学的データセットにおいても高い予測精度が期待できることを示した。
- トリスペシフィックT細胞エンゲージャーの有効性と毒性のトレードオフ最適化や，共通ライトチェーンの探索に有効であることを実証した。
フローベースモデルを用いたモデル予測制御による逆問題の解決 [eess.IV, cs.LG]目的：逆問題解決のための手法
- 逆問題は，画像処理や信号処理など，様々な分野で重要な課題である。
- フローベースモデルの条件付き生成を制御する手法は，計算コストが高いという課題がある。
- モデル予測制御を用いて，効率的な条件付き生成制御を実現し，逆問題を解決する。
- 提案手法MPC-Flowは，逆問題解決を制御問題として定式化し，実用的な計算を可能にする。
- 理論的な保証により，MPC-Flowが最適な制御目標と整合性を持つことが示されている。
- 大規模なモデルFLUX.2 (32B)の量子化された設定で，画像修復タスクにおいて高い性能とスケーラビリティを実証した。
エルデシュ・レーニィ汚染のあるランダム幾何グラフにおけるノード回帰のためのグラフ注意ネットワーク [stat.ML, cs.IT, cs.LG, cs.SI, math.IT, math.ST, stat.TH]目的：ノード回帰におけるグラフ注意ネットワークの優位性
- グラフ構造データは現実世界の様々な現象をモデル化する上で不可欠である。
- ノイズの多いデータに対するグラフニューラルネットワークの頑健性は十分に検証されていない。
- ノイズ下での回帰性能向上のための注意機構の活用。
- 提案するグラフ注意ネットワークは，ノイズのあるノード特徴量を用いた最小二乗法と比較して，回帰係数の推定誤差を漸近的に低減する。
- ラベルのないノードの応答予測において，バニラグラフ畳み込みネットワークよりも高い精度を達成する。
- シミュレーションデータと実データを用いた実験により，理論的結果が検証された。
ネストされたスライスサンプリング：GPUアクセラレーションのためのベクトル化されたネストサンプリング [stat.CO, cs.LG, stat.ML]目的：モデル比較および校正された不確実性定量
- 複雑なモデルのパラメータ統合は重要であり，信頼性の高い推論手法が求められる。
- 従来のMCMC法では，多峰性のターゲットに対するスケーラブルな推論が課題となる。
- GPU環境での効率的なネストサンプリング実装を可能にし，複雑な問題への適用を目指す。
- ネストされたスライスサンプリング（NSS）は，GPUフレンドリーなベクトル化されたネストサンプリング手法である。
- NSSは，高次元問題や多峰性問題を伴うベイズ推論において，正確なエビデンス推定と高品質な事後サンプルを維持する。
- スライス幅の調整分析により，並列実行に適した計算予測可能性の高いルールが得られた。
深空ノイズ除去：天体画像のための物理ベースCCDノイズ生成 [astro-ph.IM, cs.CV, cs.LG]目的：天体画像のCCDノイズ生成モデル
- 天体観測では，ノイズが画質の限界となることが多く，高精度な画像処理が重要である。
- 従来の画像処理パイプラインは構造化されたノイズに重点を置き，確率的なノイズの除去が不十分である。
- 学習ベースのノイズ除去におけるデータ不足と物理的解釈の必要性に対応する。
- 物理ベースのノイズ生成フレームワークを提案し，CCDノイズの主要要素をモデル化した。
- 複数の未登録露出を平均化することで，高S/N比のベース画像を生成し，ノイズ合成のための入力とした。
- 実際の観測データセットを公開し，モデルの有効性を検証するためのペアデータを提供した。
インタラクティブ環境におけるオンライン強化学習を用いた大規模言語モデルの接地 [cs.LG]目的：大規模言語モデルのインタラクティブ環境への適応
- 近年，LLMは高度な知識を持つため，様々な分野で活用が期待されている。
- LLMの知識と環境との整合性が不十分な場合があり，実用的な能力が制限される。
- LLMをオンライン強化学習で更新し，環境への適応を改善することを試みる。
- LLMはオンライン学習のサンプル効率を向上させることが示された。
- 様々な形式の汎化能力の向上にLLMが貢献することが確認された。
- オンライン学習がLLMの性能に与える影響について検討された。
継続学習とロングテール認識の関係性について [cs.DM, cs.SI, cs.LG, cs.CV]目的：ロングテール認識と継続学習の関連性
- 現実世界のデータセットは不均衡であり，少数クラスの認識精度向上が課題である。
- ロングテール認識において，少数クラスのデータ不足が学習の偏りを招き，汎化性能を低下させる。
- 継続学習の枠組みを用いて，ロングテール認識における少数クラスの学習を改善すること。
- 不均衡データセットにおいて，モデルの重みはヘッドクラスのみで学習した場合の近傍に収束することが理論的に示された。
- ヘッドクラスとテールクラスを逐次的に学習するCLTR手法を提案し，少数クラスの学習改善とヘッドクラスの性能維持を両立した。
- CIFAR100-LT等のデータセットで実験を行い，提案手法が理論予測と一致し，優れた性能を発揮することを確認した。