arXiv雑要約
AI - 2026/02/04 公開
信頼領域における探索の促進 [cs.CL, cs.LG]目的：大規模言語モデルにおける探索性能の向上
- 大規模言語モデルの性能は探索戦略に大きく依存するため，有効な探索手法の確立が重要である。
- 従来の探索手法であるエントロピー正則化は，大規模言語モデルにおいては効果が薄いか，性能を低下させる問題がある。
- モデルの信頼領域内で探索を促すことで，無効なトークンへの確率分散を防ぎ，一貫性のある推論を可能とする。
- 提案手法であるTrust Region Entropy (TRE) は，数学的推論，組み合わせ探索，および選好整合タスクにおいて，既存手法を上回る性能を示した。
- TREは，標準的なPPOやエントロピー正則化，その他の探索手法と比較して，一貫して優れた結果を達成した。
- 本研究により，大規模言語モデルにおける探索戦略の新たな方向性が示唆された。
情報検索と推論：推論のための情報検索に関するチュートリアル [cs.RO, cs.IR, cs.AI, cs.CL]目的：情報検索における推論の定義と分析フレームワーク
- 情報検索は知識発見の基盤であり，より高度な情報ニーズに応える必要性がある。
- 従来の検索は意味的な関連性のみに焦点を当て，論理的制約や多段階推論に対応できない。
- 情報検索に推論能力を組み込み，分野間の連携を促進することを目的とする。
- 本チュートリアルでは，情報検索における推論の定義と分析フレームワークを提示する。
- 既存の研究アプローチを分析し，そのトレードオフと相補性を明らかにすることで，情報検索の発展に貢献する。
- 情報検索自体がより広範な推論システムの重要な役割を果たす可能性を示す。
不均衡データセットにおける条件付き表形式データ生成のための潜在空間構造化：CTTVAE [cs.LG]目的：不均衡データセットにおける条件付き表形式データ生成のための手法
- 重要度の高い稀な事象を扱う分野では，合成データの生成が不可欠である。
- 既存の生成モデルは，少数派グループを無視するか，下流学習に役立つサンプルを生成できない。
- 少数派クラスの性能向上と，データのプライバシー保護の両立を目指す。
- CTTVAE+TBSは，6つの実世界のベンチマークにおいて，少数派クラスにおける下流タスクの性能を大幅に向上させた。
- オリジナルの不均衡データで学習したモデルを凌駕し，信頼性とプライバシー保護のギャップを埋めた。
- 潜在空間の構造化と標的サンプリングが，性能向上に貢献することが確認された。
RAGにおける履歴を考慮した高密度検索器の強化学習による微調整 [cs.FL, cs.LG]目的：RAGにおける検索器とLLMの適合性向上
- 大規模言語モデルの性能向上の鍵は，知識の参照精度であり，検索器はその重要な役割を担う。
- 既存の検索器最適化手法は，RAGパイプライン全体の目的に対して最適化されていないという課題がある。
- 強化学習を用いて検索器を最適化し，RAGシステムの性能を向上させることを目指す。
- 本研究では，決定論的な検索を確率的サンプリングに置き換え，RAGをマルコフ決定過程として定式化した。
- 検索履歴を状態に組み込むことで，マルチホップ推論における状態別れの現象を軽減することに成功した。
- 多様なRAGパイプライン，データセット，検索器規模において，提案手法がRAG性能を安定的に向上させることを示した。
Search-R2：アクター・リファイナー協調による検索統合型推論の強化 [eess.SY, cs.SY, cs.AI, cs.CL]目的：検索統合型推論の性能向上
- 言語モデルの知識獲得において，外部情報源へのアクセスは重要である。
- 強化学習による学習は，報酬の希薄性から有効な推論学習が困難である。
- アクター・リファイナー協調により，推論プロセスの改善を目指す。
- Search-R2は，アクターとメタ・リファイナーの協調により推論を強化する。
- ハイブリッド報酬設計により，結果の正確性と証拠の密度を同時に評価する。
- 実験により，Search-R2が既存手法を上回り，高い推論精度を達成することが示された。
RAGTurk：トルコ語における検索拡張生成のベストプラクティス [cs.CL, cs.AI, cs.IR]目的：トルコ語における検索拡張生成の最適化手法
- 大規模言語モデルの性能向上が求められる中で，知識獲得の手段として検索拡張生成が注目されている。
- 既存の研究は英語に偏っており，形態素が豊富なトルコ語のような言語への応用は十分ではない。
- トルコ語に特化したデータセットと評価を通じて，検索拡張生成の最適な構成を明らかにすること。
- 複雑な手法であるHyDEは，ベースラインを大幅に上回る85%の精度を達成した。
- クロスエンコーダーによる再ランキングとコンテキスト拡張の組み合わせにより，コストを抑えつつ84.60%の同等の性能が得られた。
- 生成モジュールの過剰な積み重ねは，形態素情報を歪ませ，性能低下を引き起こす可能性があることが示された。
逐次群合成：深層学習のメカニズムへの洞察 [cs.LG]目的：深層学習における構造化演算獲得メカニズムの解明
- 深層学習モデルの能力向上には，学習原理の理解が不可欠である。
- 深層学習モデルが構造化演算をどのように獲得するかは未解明な点が多い。
- 群合成タスクを通して，深層学習の学習メカニズムの理解を目指す。
- 群合成タスクにおいて，ネットワークは群の要素の累積積を予測する必要がある。
- 2層ネットワークは群の表現を一つずつ学習するが，隠れ層の幅はシーケンス長に対して指数関数的に増加する。
- より深いモデルは群の結合性により，効率的な学習を実現する。再帰型ニューラルネットワークはkステップでシーケンシャルに要素を合成し，多層ネットワークはlog k層で並列的に隣接ペアを合成する。
マルチターンエージェントにおける会話的慣性の緩和 [cs.NI, cs.AI, cs.LG]目的：会話的慣性の軽減
- 対話システムは人間との自然な交流において不可欠であり，その性能向上が求められている。
- 大規模言語モデルをエージェントに応用する際，過去の応答の模倣による探索の阻害が課題となっている。
- 会話的慣性を抑制し，より多様な行動を促すことで，エージェントの性能向上を目指す。
- 会話的慣性は，モデルが過去の応答に強く注意を向けることで生じる模倣バイアスに起因することが示された。
- 提案手法であるContext Preference Learningは，会話的慣性を低減し，モデルの行動選択の多様性を高める。
- ８つのエージェント環境と１つの深層研究シナリオにおける実験により，フレームワークの有効性が確認された。
空間的・時間的注意機構と線形LSTMを用いた効率的な逐次ニューラルネットワークによる，マルチフレーム画像を用いたロバストな車線検出 [cs.CV, cs.AI, cs.LG, eess.IV]目的：マルチフレーム画像を用いたロバストな車線検出手法
- 自動運転や先進運転支援システムにおいて，車線検出は不可欠な要素である。交通環境下での安全性向上に寄与する。
- 既存手法では，精度，ロバスト性，リアルタイム性の両立が難しく，特に重要な画像領域への注意が不足している。
- 空間的・時間的な注意機構を用いることで，車線検出の精度向上と計算効率化を目指す。
- 提案手法は，複数の公開データセットにおいて，最先端の手法を上回る性能を示すことが確認された。
- 空間的・時間的注意機構により，モデルパラメータ数を削減し，計算コストを低減できることが示された。
- 本研究で開発したモデルのデータ，コード，およびモデルは公開されている。
非保存系における平衡伝播 [cs.LG, cs.AI, cs.NE, math.DS, physics.class-ph]目的：非保存系への平衡伝播の拡張
- 機械学習の分野において，物理学的なアプローチは新しい学習アルゴリズムの創出に繋がる。
- 従来の平衡伝播は保存系に限定されており，非保存系への適用が困難であった。
- 非保存系における正確なコスト関数の勾配計算を可能とする平衡伝播の拡張を目指す。
- 本研究では，非保存系にも適用可能な平衡伝播の枠組みを提案した。
- 学習相において，相互作用の非往復性を考慮した項を導入することで，正確な勾配を算出可能となった。
- MNISTデータベースを用いた数値実験により，提案手法が既存手法よりも優れた性能と学習速度を示すことが確認された。
コントラスト学習とマスク言語モデリングによるログファイル異常検知：ContraLog [cs.CL, cs.LG, cs.AI]目的：ログファイルの異常検知手法
- システムの状態や挙動を反映するため，ログはシステム運用における重要な情報源である。
- 既存手法はログをテンプレートに集約し，変数や意味内容を失っている点が課題である。
- テンプレートに頼らず，継続的なメッセージ埋め込みを予測することで異常を検知する。
- ContraLogは，個々のログメッセージの埋め込み表現と，時系列依存性をモデル化するシーケンスエンコーダを組み合わせる。
- マスク言語モデリングとコントラスト学習により，周辺の文脈からマスクされたメッセージ埋め込みを予測する。
- HDFS，BGL，Thunderbirdのデータセットで有効性が確認され，埋め込み表現自体にも異常予測能力があることが示された。
ニューラル注意探索線形モデル：適応的なトークンレベルのハイブリッド注意モデルへ [cs.CL, cs.LG]目的：トークンレベルでのハイブリッド注意アーキテクチャの実現
- 長文脈処理において，計算資源の効率性が重要となる。
- 従来のソフトマックス変換による注意機構は計算量が課題となる。
- トークンごとに注意機構を切り替えることで効率性と表現力を両立する。
- NAtS-Lは，各トークンに対して線形注意またはソフトマックス注意を自動的に選択する。
- 短期的な影響を持つトークンには線形注意，長期的な情報を必要とするトークンにはソフトマックス注意を適用する。
- Gated DeltaNetとソフトマックス注意の組み合わせを最適化し，効率的かつ高性能なアーキテクチャを実現した。
学習における尖った分布の普遍的な1/3時間スケーリング [cs.LG, cs.AI, stat.ML]目的：大規模言語モデルの学習における損失の収束特性
- 大規模言語モデルは高性能だが，学習コストが高いという課題がある。
- 損失関数の収束が遅く，その原因が明確になっていない。
- 損失関数の収束遅延の根本的な原因を解明し，学習効率改善に貢献する。
- ソフトマックス関数とクロスエントロピー損失が，尖った確率分布学習時に，損失と勾配のべき乗則的な消失を引き起こすことが示された。
- このメカニズムにより，損失が1/3の普遍的な指数で時間的にスケーリングされることが明らかになった。
- この結果は，ニューラルスケーリングの観測を説明し，大規模言語モデルの学習効率向上のための新たな方向性を示唆する。
QuAIL：データ汚染下でのロバストな学習のための品質を考慮した慣性学習 [cs.LG, cs.AI]目的：データ汚染下におけるロバストな学習手法
- 表形式データは機械学習で広く利用され，その品質が学習性能に大きく影響する。
- データにはノイズ，欠損，バイアスなどが含まれる場合が多く，それらは列レベルでの信頼性指標でしか示されない。
- 特徴量の信頼度情報を学習プロセスに直接組み込み，ロバスト性を向上させる。
- QuAILは，特徴量信頼度を考慮したモジュール層を導入し，学習を安定化させる。
- 50の分類・回帰データセットで，ランダム汚染および値依存型汚染下でニューラルベースラインよりも平均性能が向上した。
- 特に，少量データや系統的なバイアスがある環境下で高いロバスト性を示した。
TodyComm：タスク指向型動的通信による多段階LLMベースマルチエージェントシステム [cs.AI]目的：多段階LLMベースマルチエージェントシステムにおける効果的な協調
- LLMを用いたマルチエージェントシステムは複雑な課題解決に貢献し，その重要性が増している。
- 既存手法は固定的な通信構造に依存し，エージェントの役割変化や動的な制約に対応できない。
- ラウンドごとの状況変化に適応する動的な通信構造を構築し，タスクの有効性を高める。
- TodyCommはタスク指向型動的通信アルゴリズムであり，各ラウンドの状況に応じて協調構造を適応させる。
- 実験の結果，動的な状況下や通信予算制限下において，TodyCommは既存手法を上回るタスク遂行能力を示した。
- また，TodyCommはトークン効率とスケーラビリティも維持している。
再考：境界を意識した証拠選択による堅牢な検索拡張生成 [cs.CL, cs.AI]目的：検索拡張生成における堅牢性の向上
- 知識集約型タスクにおいて，外部知識を活用した生成モデルは性能向上が期待される。
- 既存の検索・再ランク手法は関連性のみを最適化し，生成器にとって適切な証拠を選別できない場合がある。
- 生成器の能力に合わせた適切な証拠選択を行い，学習信号を強化することで生成性能を向上させる。
- 提案手法BAR-RAGは，再ランク手法を生成器にとって最適な証拠を選択する手法として再定義した。
- 強化学習を用いて生成器のフィードバックを活用し，証拠分布と生成器の分布の乖離を抑制する。
- 実験の結果，ノイズの多い検索下において，既存手法と比較して平均10.3%の性能向上が確認された。
大規模最適化におけるLLMに着想を得た事前学習とファインチューニング [cs.LG, cs.AI]目的：小規模データ，大規模な意思決定問題における最適化手法
- 現代のビジネス環境では，多数の製品や業務に対して同時多発的な意思決定が求められる場面が増加している。
- 限られたデータしかない状況下では，従来の最適化手法では十分な性能を発揮できない場合がある。
- 大規模言語モデルの成功にヒントを得て，データ不足下でも効率的な学習を可能にする手法を開発する。
- 提案手法では，まずマネージャーの知識や意思決定環境の構造を組み込んだ合成データでTransformerモデルを事前学習する。
- 次に，実際の観測データを用いてファインチューニングすることで，実環境への適応と真のデータ生成メカニズムとの整合性を高める。
- 理論的な分析により，事前学習とファインチューニングがどのように性能に影響するかを明らかにし，インスタンス数が増加するにつれて転移学習の効果が高まることを示した。
トルコ語 OCR の包括的ベンチマーク：OCRTurk [eess.SY, cs.RO, cs.SY, math.OC, cs.IR, cs.CL, cs.AI]目的：トルコ語ドキュメント解析のためのベンチマークデータセット
- 文書解析技術は，大規模な文書デジタル化や情報検索など，多様な応用分野で重要性が増している。
- 既存のベンチマークは高リソース言語に偏っており，トルコ語のような低リソース言語への対応が不十分である。
- 現実世界の多様なトルコ語文書を対象とした標準化されたベンチマークを提供し，解析モデルの評価を行う。
- OCRTurk は，学術論文，論文，スライド，記事など，複数のレイアウト要素と難易度レベルを含む180のトルコ語文書で構成される。
- 7つのOCRモデルを評価した結果，PaddleOCR が最も優れた全体的な性能を示し，ほとんどの要素で高い正規化編集距離スコアを獲得した。
- 非学術文書では良好な性能を示したが，スライドショーが最も難しいことが示された。
エージェントプリミティブ：マルチエージェントシステムのための再利用可能な潜在的構成要素 [cs.MA, cs.AI, cs.CL]目的：マルチエージェントシステムにおける再利用可能な潜在的構成要素の確立
- 複雑な問題を解決するため，複数エージェント間の協調が重要視されている。
- 既存システムはタスク固有で再利用性が低く，複雑なアーキテクチャになりやすい。
- 再利用可能な構成要素により，システムの柔軟性と効率性を向上させる。
- 提案手法は，単一エージェントベースラインと比較して平均精度を12.0-16.5%向上させた。
- テキストベースのMASと比較して，トークン使用量と推論遅延を約3-4倍削減した。
- 単一エージェント推論と比較してオーバーヘッドは1.3-1.6倍に抑えられ，安定した性能を示した。
汎用知識編集における衝突解決と鋭敏度を考慮した最小化による複数更新 [cs.LG, cs.CL]目的：大規模言語モデルの知識編集における汎化性能，安定性，知識衝突の改善
- 大規模言語モデルは内部知識に依存するため，最新の状態を維持することが重要である。
- 既存の知識編集手法は，入力の汎化，安定性，知識の衝突という課題を抱えている。
- 入力形式への汎化，複数更新時の安定性向上，知識の衝突解決を目指す。
- CoRSAは，LoRAと比較して平均12.42%の汎化性能向上を達成した。
- 複数回の更新において，CoRSAはLoRAと比較して破滅的忘却を27.82%低減した。
- CoRSAはコードドメインにおいても，最強のベースラインを5.48%上回る更新有効性を示した。
データ駆動型グラフフィルタ：適応スペクトル形状化によるアプローチ [cs.LG]目的：グラフフィルタリングのためのデータ駆動型フレームワーク
- グラフ構造データは，ソーシャルネットワークや分子構造など多岐にわたる分野で重要性を増している。
- 既存のグラフフィルタリング手法は，計算コストが高い場合や，異なるグラフへの汎化性能が低い場合がある。
- 再利用可能なベースラインスペクトルカーネルと適応的な形状化により，効率的かつ汎用的なグラフフィルタリングを実現する。
- 適応スペクトル形状化は，固定プロトタイプウェーブレットや学習された線形バンクと比較して，再構成誤差を低減することを示した。
- Transferable Adaptive Spectral Shaping (TASS) は，少ないサンプル数でグラフ間で知識を転移し，一貫した正の転移効果を得ることを確認した。
- 本フレームワークは，スケーラビリティ，解釈可能性，そしてグラフ間での汎化性能を兼ね備えたコンパクトなスペクトルモジュールを提供する。
常時事前学習：重み平均による水平線不要な学習率スケジュール [cs.LG, cs.AI, math.OC, stat.ML]目的：大規模言語モデルの常時事前学習における学習率スケジュールの提案
- 言語モデルの規模拡大に伴い，継続的学習の重要性が増している。
- 従来の事前学習レシピは固定予算依存であり，水平線不明な設定には不向き。
- 水平線に依存しない学習率スケジュールと重み平均による効率的な学習を目指す。
- 理論分析により，過剰パラメータ化された線形回帰における常時学習スケジュールの存在が示された。
- 重み平均は，確率的勾配降下のミニマックス収束率を達成する上で重要な役割を果たす。
- 実験的に，常時スケジュールはコサイン減衰スケジュールと同等の最終損失を達成した。
認知的多様性を考慮した多肢選択問題生成：大規模言語モデルを用いたハイブリッドマルチエージェントフレームワーク [cs.CL, cs.AI]目的：認知的多様性を持つ多肢選択問題の生成
- 教育評価において，学習者の理解度を正確に測るためには，多様な認知レベルを対象とした問題が不可欠である。
- 大規模言語モデルによる自動問題生成は進むが，認知的な要求水準を制御した高品質な問題の生成が課題となっていた。
- 認知的多様性を考慮した問題生成を可能にし，学習者の理解度をより正確に評価することを目指す。
- 提案手法ReQUESTAは，GPT-5によるゼロショットベースラインと比較して，一貫して難易度が高く，弁別力のある問題を作成した。
- 専門家による評価では，ReQUESTAが生成した問題は，中心概念との整合性，および誤選択肢の言語的整合性と意味的妥当性が高いと評価された。
- ハイブリッドなエージェントによるオーケストレーションが，大規模言語モデルを用いた生成の信頼性と制御可能性を向上させることを示した。
ボルツマン生成器のオフポリシー対数分散正則化による効率的な学習 [cs.IR, cs.CL, cs.LG]目的：非正規化確率密度からのサンプリング効率の向上
- 計算科学において，非正規化確率密度からのサンプリングは重要な課題である。
- ボルツマン生成器の学習にはコストがかかるため，データ効率が課題となっている。
- オフポリシー対数分散正則化により，データ効率を改善し，学習コストを削減する。
- 提案手法であるオフポリシー対数分散正則化（LDR）は，エネルギー地形を整形する役割を果たす。
- LDRは，様々なベンチマークにおいて，最終的な性能とデータ効率の両方を向上させる。
- サンプル効率は最大で1桁向上し，学習に必要なデータ量を大幅に削減できる。
Fast-MWEM：準線形時間でのプライベートデータ公開 [cs.CL, cs.LG]目的：プライベートデータ分析における効率的なデータ公開手法
- プライバシー保護は重要であり，個人情報を含むデータの利用拡大に伴い，その重要性は増している。
- 既存のMWEMは，反復ごとに線形時間が必要であり，大規模データセットへの適用が困難である。
- 本研究は，MWEMの計算効率を向上させ，より大規模なデータセットでのプライベートデータ公開を可能とする。
- 提案手法Fast-MWEMは，反復あたりの計算時間を期待値で$\Theta(\sqrt{m})$まで短縮することに成功した。
- 遅延サンプリングとGumbelノイズ，k-最近傍データ構造を用いることで，高速な近似スコア選択を実現した。
- 線形クエリのプライベート公開や線形計画問題への適用実験で，従来のMWEMと比較して大幅な高速化が確認された。
石油井における底孔圧推定のための長短期記憶と転移学習を用いたソフトセンサー [cs.LG]目的：石油井の底孔圧推定方法
- 石油生産最適化，安全性確保，排出量削減には，底孔圧のモニタリングが不可欠である。
- 従来の底孔圧センサーは信頼性やコストに課題がある。
- 物理センサーに代わる，費用対効果が高く精度の高い底孔圧推定手法を開発する。
- 提案手法は，ブラジルのプレソルト層における実データを用いて検証された結果，平均絶対パーセント誤差が2%以下の一貫した精度を示した。
- 多層パーセプトロンやリッジ回帰などの既存手法と比較して，性能が向上することが確認された。
- 転移学習を適用することで，様々な運用環境への適応が可能であることが示された。
古骨骼X線画像アーカイブにおけるゼロショット大規模視覚言語モデルのプロンプティングによる自動骨骼識別 [cs.CV, cs.AI]目的：古骨骼X線画像における主要な骨格，投影ビュー，および左右の識別
- 古骨骼放射線学は，人類の健康に関するミレニアムスケールのパターンを明らかにする新たな手段を提供する。
- 収集されたX線画像は，骨の離断，位置の不規則性，左右表示の欠如など，多様性が高く，分析が困難である。
- 大規模な古骨骼データセットにおける効率的なコンテンツナビゲーションを可能にすること。
- 本研究では，最先端の大規模視覚言語モデルを活用したゼロショットプロンプティング戦略を報告した。
- 専門家による検証の結果，主要な骨格の識別精度は92%，投影ビューは80%，左右は100%であった。
- これらの結果は，大規模な古骨骼データセットにおけるコードワード開発を大幅に加速できることを示唆している。
FOVI：深層視覚モデルのための生物学的触発型焦点領域インターフェース [cs.CV, cs.NE, q-bio.NC]目的：深層視覚モデルにおける焦点領域インターフェースの提案
- 人間の視覚は効率的であり，その仕組みを模倣することで，コンピュータビジョンの効率化が期待される。
- 既存のコンピュータビジョンシステムは均一な解像度で処理するため，高解像度画像処理に課題がある。
- 人間の網膜と一次視覚皮質に着想を得たインターフェースを構築し，効率的な画像処理を実現する。
- 提案手法FOVIは，可変解像度センサーアレイを均一な密度のV1様センサーマニホールドに変換する。
- k近傍探索を用いた畳み込み演算により，計算コストを削減しつつ，良好な性能を達成した。
- DINOv3 ViTモデルへの適用により，計算コストの大幅な削減と高い性能が確認された。
AIを活用した気象予報アクセス変革のための意思決定型ベンチマーク：インドモンスーンへの応用 [cs.LG, cs.AI, econ.GN, physics.ao-ph, q-fin.EC]目的：AI気象予報モデルの意思決定への活用可能性評価
- 気候変動の影響が深刻化する中，脆弱な人々への気象情報提供は重要である。
- 既存のAI気象予報モデル評価は，気象学的指標に偏り，現場のニーズが反映されていない。
- 意思決定に焦点を当てた評価フレームワークにより，AI気象予報モデルの実用性を高める。
- AI気象予報モデルは，地域レベルでモンスーン開始時期を数週間前から正確に予測できる。
- 本フレームワークは，3800万人のインド人農家へのモンスーン予報配信という政府主導の取り組みに貢献した。
- 意思決定型ベンチマークは，AI気象予報モデルを脆弱な人々が気象変動に適応するための基盤となる。
拡散言語モデルにおける潜在トークンによる推論 [cs.LG]目的：拡散言語モデルにおける潜在トークンの役割
- 言語モデリングは，自然言語処理の基盤技術であり，様々な応用を可能にする。
- 拡散モデルは高性能だが，推論時に計算コストが高いという課題がある。
- 潜在トークルの数を調整することで，推論速度とサンプル品質のトレードオフを改善する。
- 拡散モデルが，実際にデコードされないトークンを含む全ての未知トークン分布を予測することが，計算コストの要因であることが示された。
- 潜在トークルの数を調整することで，推論速度とサンプル品質のバランスを取ることが可能になった。
- 潜在トークルを自己回帰モデルに導入することで，推論タスクにおける性能が向上した。
UniGeM：幾何学的探索とマイニングによるデータ混合と選択の統合 [cs.LG, cs.AI]目的：大規模言語モデルのデータキュレーション手法
- 大規模言語モデルの性能向上には，データ品質が不可欠である。
- 既存手法では，データ混合とサンプル選択が分離されており，コードコーパスの構造を損なう場合がある。
- データキュレーションを多様体近似問題として捉え，外部データセットに依存せずに高品質データセットを構築する。
- UniGeMは，安定性に基づくクラスタリングで混合重みを学習する「マクロ探索」と，幾何学的分布に基づき高品質インスタンスをフィルタリングする「マイクロマイニング」を階層的に行う。
- 1000億トークンで8Bおよび16B MoEモデルを訓練した結果，UniGeMはランダムベースラインと比較して2倍のデータ効率を実現した。
- また，推論能力が求められる評価や多言語汎化において，既存の最先端手法を上回る性能を示した。
推論キャッシュ：短期強化学習による長期的改善 [cs.LG]目的：長期的な改善
- LLMの能力向上には，訓練データを凌駕する問題解決能力が不可欠である。
- 従来の強化学習は分布の固定化により，テスト時の分布シフトへの対応が課題である。
- テスト時に継続的に改善し，より複雑な問題を解決する能力を獲得すること。
- RCアルゴリズムを導入することで，モデルは訓練時に見た推論範囲の10倍以上の長さで，テスト時にも改善を続ける。
- 40億パラメータのモデルをRCで訓練した結果，HMMT 2025の性能が40%から約70%に向上し，大規模モデルを凌駕する。
- RCで訓練されたモデルは，既存のスキャフォールドを効果的に活用し，テスト時の性能をさらに向上させることができる。
大規模言語モデルエージェントにおける集団行動と社会的ダイナミクスの実証研究 [cs.SI, cs.AI]目的：大規模言語モデルエージェントの集団行動と社会的ダイナミクス
- 社会生活へのLLMの浸透が進み，その影響を理解することは重要である。
- LLM間の反復的な相互作用によるバイアスの増幅や排除的な行動が懸念される。
- LLMの有害な活動を防ぐ手法の開発を目指す。
- LLMエージェントのソーシャルネットワークは，人間と同様に同質性や社会的影響を示すことが明らかになった。
- LLMの有害な言語は，人間とは異なる構造的パターンを示すことが確認された。
- Chain of Social Thought (CoST)という手法により，LLMエージェントの有害な投稿を効果的に抑制できることが示された。
L-無限ノルムにおけるベルマン作用素を用いたCVaR MDPにおける報酬再分配 [cs.LG, cs.AI]目的：静的条件付きバリューアットリスク(CVaR)に基づくマルコフ決定過程(MDP)における報酬再分配手法
- 安全性が重要なアプリケーションにおいて，稀だが壊滅的な事象を防止するため，テールリスク指標であるCVaRの利用が不可欠である。
- 従来のCVaRの計算は，状態拡張が必要であり，報酬が疎になり，固定点が退化する可能性がある。
- 状態拡張に基づくCVaRの定式化を改善し，ステップごとの報酬を密にし，収縮性を持つベルマン作用素を導出すること。
- 提案手法は，CVaRに敏感なポリシーを学習し，性能と安全性の効果的なトレードオフを実現する。
- 離散化された拡張状態を用いたリスク回避型バリューイテレーションおよびモデルフリーQ学習アルゴリズムを開発した。
- 離散化による近似誤差に関する収束保証および誤差の上界を提供した。
タスク帰属のためのカーネル代理モデルの効率的推定 [cs.LG, cs.AI, cs.CL]目的：タスク帰属における，カーネル代理モデルを用いた効率的な推定方法
- 大規模言語モデルなど現代AIは多様なタスクで学習され，各タスクの貢献度評価が重要である。
- 全てのタスクを一つずつ削除して再学習する方法は計算量が膨大で，現実的ではない。
- 非線形なタスク間の相互作用を捉えた，カーネル代理モデルの効率的な学習を目指す。
- カーネル代理モデルは，線形モデルや影響関数よりも，タスク帰属の真値との相関が25%向上した。
- 提案手法は，事前学習済みモデルの1次近似を活用し，2%以下の相対誤差で高精度な推定を可能にした。
- 文脈内学習や多目的強化学習において，カーネル代理モデルはデモンストレーション選択を40%改善した。
AOrchestra：エージェント的オーケストレーションのためのサブエージェント自動生成 [cs.AI, cs.CL]目的：エージェント的オーケストレーションにおけるサブエージェントの自動生成
- 複雑なタスク自動化において，言語エージェントの活用が期待されており，その重要性が高まっている。
- 既存システムはサブエージェントの動的な抽象化に乏しく，適応性に課題がある。
- 本研究は，サブエージェントの抽象化能力を高め，タスクへの適応性を向上させることを目指す。
- 提案手法AOrchestraは，指示，コンテキスト，ツール，モデルのタプルを用いてエージェントを抽象化する。
- この抽象化により，タスクに応じて必要な機能を自動的に生成し，実行できる。
- GAIA，SWE-Bench，Terminal-Benchの3つのベンチマークで，既存の最良手法に対して16.28%の相対的な性能向上を達成した。
推論時の確証的予測を用いた機械的アンラーニング [cs.LG]目的：機械学習モデルからの特定の情報効率的な除去
- プライバシー保護の重要性が増す中，モデルから不要な情報を削除する技術が求められている。
- 既存手法はモデル再学習が必要で，特に生成モデルへの適用で性能劣化が問題となる。
- モデルパラメータ更新なしに，推論時に検証器によるフィードバックでアンラーニングを実現する。
- 提案手法は，確証的予測を活用し，計算コストを削減しつつ，分布フリーなアンラーニング保証を提供する。
- 既存最先端手法と比較して，厳しいアンラーニングベンチマークにおいて，アンラーニングエラーを最大93%削減する。
- モデルの汎用的な能力を維持しながら，効率的な情報除去が可能となる。
そのデータに合成データを使うべきか？ データ共有と拡張に対する合成データの適合性分析 [cs.LG, cs.CY]目的：合成データの利用可能性の評価
- データ活用の重要性が増す中，プライバシー保護とデータアクセスの両立が課題となっている。
- 既存データが不足，偏り，または秘匿性が高く，十分な分析や機械学習が困難な場合がある。
- 合成データがデータ共有，機械学習の性能向上，統計的推定の分散削減に有効かどうかを検証する。
- 合成データがプライバシー保護のためのデータ共有において有効な代替手段となる条件を明らかにした。
- 機械学習の訓練データ拡張における合成データの効果には限界があり，問題設定との適合性が重要である。
- 統計的推定の分散削減においても，合成データの適用には制約が存在し，適切な利用判断が必要である。
WebSentinel：Webエージェントに対するプロンプトインジェクション攻撃の検知と局所化 [cs.CR, cs.AI, cs.CL]目的：Webエージェントに対するプロンプトインジェクション攻撃の検知と局所化
- Webエージェントの普及に伴い，悪意のあるプロンプトによる操作のリスクが増大している。
- 既存手法はWebエージェント環境の特性を考慮しておらず，検知精度が低い。
- Webページの文脈との整合性を検証し，攻撃を正確に検知・特定する。
- WebSentinelは，Webページから関心領域を抽出し，その整合性を評価する二段階のアプローチを採用している。
- 複数のデータセットにおいて，既存手法を大幅に上回る高い検知性能を示した。
- 収集した汚染されたWebページとクリーンなWebページのデータセットを用いて評価された。
LLMベースのマルチエージェントシステムにおける多様性がスケーリングに与える影響の理解 [cs.AI, cs.LG]目的：LLMベースのマルチエージェントシステムのスケーリング限界と多様性の有効性
- 複雑な課題解決において，LLM単体では限界があり，マルチエージェントシステムへの期待が高まっている。
- エージェント数を増やしても性能向上は頭打ちになりやすく，効果的なスケーリング手法が課題となっている。
- 多様性を導入することでスケーリング性能を向上させる要因を，情報理論的枠組みを用いて解明する。
- マルチエージェントシステムの性能は，エージェント数だけでなく，タスクの不確実性によって制限されることが示された。
- 均一なエージェントは出力の相関が高いため早期に飽和する一方，多様なエージェントは補完的な情報を提供する。
- 実験的に，2つの多様なエージェントが16個の均一なエージェントと同等またはそれ以上の性能を発揮することが確認された。
多様体上のランダム特徴量 [cs.LG]目的：多様体上の二変量関数（特にカーネル）を近似するためのランダム特徴量の生成手法
- 機械学習において，複雑な関数を効率的に近似することは重要な課題である。
- 汎用的な多様体上でのカーネル近似は，解析的な導出が困難であるという課題がある。
- 多様体上の離散化とグラフ上のランダム特徴量を用いて，連続的な近似メカニズムを構築する。
- 本手法は，正値かつ有界な特徴量を生成し，正確かつ低分散な近似を実現する。
- グラフ上の離散的なランダム特徴量と，通常のカーネルにおける連続的なランダム特徴量の間の深い漸近的関係が明らかになった。
- グラフ上での単純なランダムウォークにより，線形アテンションTransformerの性能向上に貢献するガウスカーネル近似を再発見した。
未知環境における安全制御のための共形到達可能性 [cs.RO, cs.AI]目的：未知の動力学系に対する安全性の検証手法
- 自律システムの信頼性確保において，安全な制御設計は不可欠である。
- 従来の検証手法は，動力学系の知識や有限の状態空間に依存し，適用範囲が限定されていた。
- 未知の動力学系に対しても，安全性を保証する制御戦略の設計を目指す。
- 共形予測と到達可能性解析を組み合わせることで，未知の動力学系に対する確率的な検証フレームワークを開発した。
- 共形予測によって得られる不確実性区間内で，到達可能性解析を用いて安全性の維持を検証する。
- 報酬を最大化しつつ，安全性を保証する制御ポリシーの学習アルゴリズムを提案し，様々な環境で有効性を示した。
非同期SGDは必要か？ 同期手法のほぼ最適性について [cs.DC, cs.AI, cs.NA, math.NA, math.OC]目的：同期型確率的勾配降下法（SGD）の計算効率性に関する理論的検証
- 分散最適化は大規模データ処理に不可欠であり，計算資源の効率的な活用が求められる。
- 非同期型手法の進展はあるものの，同期型手法が依然として主流であり，その理由が不明瞭である。
- 異質計算環境下での同期型SGDの性能限界を明らかにし，非同期型手法との比較検討を行う。
- 同期型SGDおよび$m$-同期型SGDは，異質計算環境下においてほぼ最適であることが理論的に示された。
- ランダムな計算時間や労働者の部分的参加を考慮しても，その時間計算量は実用的な範囲で最適である。
- 同期型手法は普遍的ではないが，多くの異質計算シナリオにおいて十分な性能を発揮すると結論付けられた。
CTFにおける管ベースのハイブリッド機械学習モデルを用いたロッドバンドル内の臨界熱流束予測 [cs.LG]目的：ロッドバンドルにおける臨界熱流束予測モデルの構築
- 原子力発電プラントの安全性確保において，燃料集合体内の熱流束管理は極めて重要である。
- 従来の経験式やルックアップテーブルでは，複雑な熱水力現象を正確に予測することが困難である。
- 管ベースで訓練された機械学習モデルをロッドバンドルに適用し，予測精度向上を目指す。
- 本研究で実装した3つの機械学習アプローチはいずれも，ベースラインモデルと比較して臨界熱流束の予測精度が向上した。
- 特にハイブリッドLUTモデルは，予測精度と位置予測において最も優れた性能を示した。
- ロッドバンドルの複雑な熱水力現象において，管ベースの機械学習モデルが有効であることが示唆された。
オンラインとオフラインRLの架け橋：複数ターンコード生成のための文脈的バンディット学習 [cs.LG, cs.AI, cs.CL, cs.SE]目的：複数ターンコード生成における文脈的バンディット学習手法
- LLMを実世界タスクに応用する上で，強化学習は重要なアプローチである。
- オンラインRLは性能が高いが，コストと不安定性が課題となっている。
- オフラインとオンラインRLの利点を組み合わせ，効率的な学習を目指す。
- Cobaltは，既存のオンラインRLベースラインをLiveCodeBenchにおいて上回る性能を示した。
- R1-Distill 8BとQwen3 8BのPass@1スコアを最大9.0と6.2ポイントそれぞれ改善した。
- LLMの文脈内報酬ハッキング行動を分析し，Cobaltの学習に摂動軌跡を加えることで軽減した。
不均衡ノード分類の強化：カリキュラム誘導特徴学習と三段階注意ネットワーク [cs.LG, cs.AI]目的：不均衡ノード分類における性能向上
- グラフニューラルネットワークの応用が広がる中で，不均衡データへの対応は重要課題である。
- 不均衡データは，モデルが多数派クラスに偏り，少数派クラスの分類性能を低下させる。
- 少数派クラスに対する分類性能を改善し，より公平な学習を実現することを目指す。
- 提案手法CL3AN-GNNは，段階的な注意機構とカリキュラム学習により，初期段階から安定した学習を実現する。
- ８つのオープングラフベンチマークデータセットで，既存手法と比較して，精度，F1スコア，AUCにおいて一貫した改善が確認された。
- 段階的な学習アプローチは，様々なグラフデータセットで有効であり，迅速な学習と汎化性能の向上に貢献する。
逆蒸留指紋 [cs.LG, cs.AI, cs.CL]目的：モデル蒸留における指紋検出メカニズムの堅牢性向上
- 大規模言語モデルの効率的なエミュレーションが求められる中で，モデルの不正利用を防ぐ必要性がある。
- 既存の指紋検出技術は，生成品質と検出強度の間にトレードオフが存在し，性能低下を伴う場合がある。
- 指紋検出の精度向上と，モデルの性能維持を両立させることを目指す。
- 提案手法（ADFP）は，学生モデルの学習ダイナミクスに基づき，指紋の検出可能性を最大化するトークンを特定する。
- 従来の技術と比較して，ADFPは検出確度を向上させつつ，モデルの性能劣化を最小限に抑える。
- 学生モデルのアーキテクチャが不明な場合でも，高い検出性能を維持できる。
確実性思考：計算予算におけるリスク制御 [cs.AI, cs.LG]目的：大規模言語モデルの推論におけるリスクと精度のトレードオフの制御
- LLMの性能は計算資源に依存し，効率的な推論が重要である。
- 計算予算と信頼性の閾値設定が難しく，リスクと精度のバランスが課題である。
- 計算資源を最小限に抑えつつ，指定されたリスク水準を満たす推論手法を確立する。
- 提案手法は，モデルの確信度に応じた推論停止と，解けない問題を早期に検知するメカニズムを導入する。
- 分布フリーなリスク制御を用いて，最適な停止メカニズムを決定し，計算効率を最大化する。
- 多様な推論タスクにおいて，計算効率の向上とリスク目標の達成を実証した。
マルチモーダル大規模言語モデルの効率的な学習：視覚トークンプルーニングによる高速・低コスト化 [cs.CV, cs.LG]目的：マルチモーダル大規模言語モデルの学習効率向上
- 近年，画像とテキストを扱う大規模言語モデルの発展が著しいが，計算コストが課題である。
- 既存手法ではモデルサイズの縮小が中心であり，視覚トークンの削減は十分に行われていない。
- 学習時と推論時の視覚トークン数の不一致による性能低下を解決し，効率的な学習を実現する。
- 提案手法DualSpeedは，高速モードで視覚トークンを削減し，低コストな学習を実現する。
- DualSpeedは，低速モードで完全な視覚シーケンスを用いて学習し，推論時の性能を維持する。
- LLaVA-1.5とLLaVA-NeXTの学習において，それぞれ2.1倍，4.0倍の高速化を達成しつつ，性能を99%以上維持した。
SymPlex：記号的偏微分方程式求解のための構造を意識したTransformer [cs.LG]目的：偏微分方程式の解析解の発見
- 物理現象の記述において，偏微分方程式は不可欠であり，その解析解は重要である。
- 既存手法では，解析解を得ることが難しく，近似解に頼らざるを得ない場合が多い。
- 深層学習を用いて，人間が理解可能な形式で解析解を直接求めることを目指す。
- SymPlexは，偏微分方程式とその境界条件のみを用いて，記号的な解の探索を行う強化学習フレームワークである。
- SymFormerは，木構造に対する自己注意機構と文法制約による自己回帰デコーディングにより，階層的な記号依存性をモデル化する。
- 実験結果は，非滑らかでパラメータ化された偏微分方程式の解を正確に復元できることを示した。