arXiv雑要約
AI - 2026/01/30 公開
最小抵抗経路：接頭辞コンセンサスによるLLM推論軌道の誘導 [cs.MM, cs.HC, cs.HC, cs.AI, cs.CL]目的：計算効率の良い推論のための接頭辞一貫性の活用
- LLMは強力な推論能力を持つが，計算コストが高いという課題がある。
- Self-Consistencyのような推論戦略は，全ての推論軌跡を展開するため計算量が多い。
- PoLRは接頭辞の一貫性を利用し，計算コストを削減しつつ高精度を維持することを目指す。
- PoLRは，推論軌跡の短い接頭辞をクラスタリングし，支配的なクラスタを展開することで，Self-Consistencyと同等かそれ以上の性能を発揮する。
- PoLRはトークン使用量を最大60%，壁時計時間レイテンシを最大50%削減することに成功した。
- PoLRは既存の適応型推論手法と互換性があり，Self-Consistencyをより効率的かつスケーラブルにするプレフィルタとして機能する。
SimGraph：シーングラフに基づく画像生成と編集のための統一的フレームワーク [cs.CV, cs.AI]目的：シーングラフに基づく画像生成と編集の統一的フレームワーク
- 画像生成・編集技術は進歩しているが，空間的一貫性や意味的な整合性を保つのが課題。
- 既存手法では，オブジェクト間の関係性や空間配置の構造的な制御が困難である。
- シーングラフを利用し，オブジェクト間の相互作用やレイアウトを精密に制御することを目指す。
- SimGraphは，トークンベース生成と拡散ベース編集を統合した，シーングラフ駆動の単一モデルである。
- これにより，高品質かつ一貫性のある画像生成・編集が可能となる。
- 実験結果から，既存最先端手法を上回る性能が確認された。
タスク認識はLLMの生成と不確実性を改善する [cs.LG]目的：LLM出力におけるタスク依存潜在構造のモデリング
- LLMの応用範囲拡大に伴い，構造化されたデータ表現の重要性が高まっている。
- 既存手法は言語空間のみに着目し，構造的情報を活用できていない点が課題である。
- タスクに応じた潜在構造を活用し，信頼性の高いLLM予測を実現することを目指す。
- タスク依存潜在構造に基づくベイズ最適応答は，従来のビームサーチ等の手法を凌駕する性能を示す。
- 誘導されたベイズリスクによる不確実性の定量化は，潜在構造の変動を捉え，出力品質と正確性との整合性を高める。
- 提案手法は，潜在的な応答構造を持つあらゆる問題に応用可能である。
モジュールを意識したアーキテクチャ改良による効率的な大規模言語モデル [cs.AI, cs.CL, cs.LG, cs.NE]目的：大規模言語モデルの効率化
- 自然言語処理の発展に伴い，大規模言語モデルの重要性が増している。
- 大規模言語モデルは計算コストが高く，エネルギー消費が大きいという課題がある。
- 計算資源の制約下でも性能を維持し，エネルギー消費を削減する手法の確立。
- 提案手法MARは，State Space Modelsと活性化のスパース化により，計算効率を大幅に向上させる。
- 特に，Spiking Neural Networksとの統合における課題を克服するため，ATMNとSBDSを設計した。
- 実験結果から，MARは既存の効率的なモデルと比較して優れた性能を示すことが確認された。
大規模言語モデルの制御におけるスタイルベクトル有効性：人間評価 [cs.RO, cs.AI, cs.CL, cs.HC]目的：大規模言語モデルの出力制御手法としてのスタイルベクトルの有効性
- LLMの安全性と有用性を高めるためには，人間が求める出力に制御することが重要である。
- プロンプトエンジニアリングやファインチューニングは手間がかかるため，より軽量な制御手法が求められている。
- 活性化値の直接操作による制御が有効であるかを人間評価によって検証する。
- 感情のターゲット強化において，適度な強度（λ ≈ 0.15）が理解度を損なわずに効果的であることが示された。
- 人間の評価とモデルによる品質評価の間に高い一致性（r=0.776）が認められ，自動評価の有用性が示唆された。
- AlpacaからLlama-3へのモデル変更により，より一貫性のある感情制御が可能になった。
LLaMEA-SAGE：説明可能なAIからの構造的フィードバックによる自動アルゴリズム設計の誘導 [cs.RO, cs.SY, eess.SY, cs.AI, cs.NE, cs.SE]目的：自動アルゴリズム設計における構造的フィードバックの活用
- アルゴリズム設計は，複雑な問題解決の基盤であり，効率化が求められている。
- 既存の自動アルゴリズム設計は，性能評価のみに依存し，コード構造の情報を活用できていない。
- コード構造から得られる情報を活用し，より効率的なアルゴリズム設計を可能にすること。
- 提案手法LLaMEA-SAGEは，既存手法LLaMEAと同等の性能をより迅速に達成できることを示した。
- MA-BBOBスイートを用いた大規模実験において，最先端の自動アルゴリズム設計手法と比較して優れた性能を発揮した。
- コードから得られる情報が，LLMによるアルゴリズム進化を効果的に誘導できることを実証した。
予算制約下におけるカスケード転移学習 [cs.CL, cs.CY, cs.DB, cs.IR, cs.LG]目的：多数タスク学習における転移学習手法
- タスク間の関係性が不明な場合でも，多くの関連タスクを効率的に学習する必要がある。
- 既存手法では，大規模なタスク集合への適応において，精度とコストのバランスが課題。
- 予算制約を考慮しつつ，タスク間の知識伝播を最適化することで，精度と効率を向上させる。
- 提案手法では，タスクを階層的に学習するカスケード転移学習という新しいパラダイムを導入した。
- 最小全域木構造を用いて，タスク間の距離に基づいて学習順序と予算配分を決定する。
- 実験結果から，提案手法は既存手法と比較して，大規模タスク集合における適応精度とコスト効率が向上することが示された。
EEG分類のための統一的なSPDトークントランスフォーマーフレームワーク：幾何学的埋め込みの系統的比較 [cs.HC, cs.SI, cs.LG, cs.HC]目的：EEG信号の幾何学的埋め込みの系統的比較を通じた，EEG分類のための統一的なSPDトークントランスフォーマーフレームワーク
- 脳波(EEG)は，脳の活動を非侵襲的に捉える重要な手法であり，医療やブレイン・マシン・インターフェースなど幅広い応用が期待されている。
- 脳波信号は高次元であり，その解析には適切な特徴抽出と分類手法が不可欠であるが，従来の解析手法では十分な性能が得られない場合がある。
- 本研究は，脳波信号の特性を考慮した新しい幾何学的埋め込み手法を開発し，分類精度と計算効率の向上を目指す。
- BWSPD埋め込みは，Log-Euclidean埋め込みと比較して，高次元入力において勾配条件が改善され，低次元入力では計算コストが課題となることが示された。
- Embedding-Space Batch Normalization (BN-Embed)は，脳波チャンネル数に依存して性能が変化し，56チャンネルERPデータで精度が26%向上したが，8チャンネルSSVEPデータでは効果が限定的であった。
- Log-Euclidean Transformerは，全てのデータセットで最先端の性能を達成し，古典的なRiemann幾何学分類器や最新のSPDベースラインを大幅に上回った。
固定予算における大規模言語モデルの推論効率改善：Reset and Discard (ReD) の利用 [cs.LG, cond-mat.dis-nn, cs.AI, stat.ML]目的：大規模言語モデルの推論における，費用対効果の向上
- 大規模言語モデルの性能評価は重要であり，その応用範囲は広大である。
- 従来の評価指標では，予算が固定された状況下での効率的な評価が困難であった。
- 本研究は，費用対効果を最大化するための新たな推論手法を提案し，評価指標の改善を目指す。
- 提案手法ReDは，既存手法と比較して，同じ予算でより多くの質問に回答可能となった。
- ReDを用いることで，推論に必要な試行回数，トークン数，および費用を大幅に削減できることが示された。
- ReDは，pass@kが不明なモデルに対しても，その振る舞いを予測し，効率的な推論を可能にする。
マルチエージェント強化学習における局所報酬と依存グラフを通じた明示的なクレジット割当 [cs.LG]目的：マルチエージェント強化学習におけるクレジット割当の改善
- 複数のエージェントが協調して行動する環境を扱う上で重要である。
- 全体報酬がノイズを含み，個々のエージェントの貢献度を特定しにくい。
- エージェント間の相互作用を考慮し，より適切なクレジット割当を実現する。
- エージェント間の相互作用グラフを用いることで，全体報酬よりも詳細な貢献度分析が可能となった。
- 局所報酬と相互作用グラフを組み合わせることで，従来の報酬設定よりも高い性能を達成した。
- 提案手法は，多様な環境設定において柔軟に対応可能であることが示された。
KAPSO：知識に基づいた自律的なプログラム合成と最適化のフレームワーク [cs.CL, cs.IR, cs.AI, cs.CL, cs.SE]目的：自律的なプログラム合成と最適化のためのフレームワーク
- ソフトウェア開発の自動化が求められており，特に複雑なタスクの効率化が重要である。
- 既存のプログラム合成手法は，長期的視点での改善や知識の再利用が不十分である。
- 実験管理，知識体系，記憶メカニズムを統合し，プログラム合成の最適化を支援する。
- KAPSOは，gitを利用した実験エンジンにより，実験の再現性と追跡可能性を確保する。
- 多様な知識源を取り込み，構造化された表現にすることで，効率的な知識の検索と利用を可能にする。
- 実験履歴から得られる教訓を記憶し，エラーの繰り返しを減らし，収束を加速する。
高速かつ幾何学的に基づくローレンツニューラルネットワーク [cs.LG]目的：双曲空間における効率的かつ性質を捉えた数学的定式化
- 階層的かつロバストな表現学習において，双曲空間が有望視されているため。
- ローレンツモデルの線形層では，出力の双曲ノルムが勾配降下ステップ数に対して対数的にスケールする問題があった。
- 双曲幾何学の利点を活かしつつ，計算量のギャップを埋めることを目指す。
- 提案する線形層は，出力の双曲ノルムが勾配降下ステップ数に対して線形にスケールすることを示す。
- ローレンツ活性化関数と新たなキャッシュ戦略により，双曲空間とユークリッド空間の計算量の差を解消。
- 双曲幾何学を遵守しつつ，高速な計算を実現するニューラルネットワークを開発した。
大規模ビジョン言語モデルにおける視覚トークン圧縮下での敵対的頑健性 [cs.CR, cs.AI, cs.CV]目的：大規模ビジョン言語モデルの視覚トークン圧縮下での敵対的頑健性の評価
- 大規模ビジョン言語モデルは強力だが，計算コストが高い。効率化のため，視覚トークン圧縮が広く用いられている。
- 従来の攻撃手法では，圧縮による影響を考慮せず，モデルの頑健性を過大評価する可能性がある。
- 圧縮過程を考慮した攻撃手法を開発し，より正確な頑健性評価を実現すること。
- 既存の攻撃手法では，圧縮後のモデルの頑健性を過大評価することが示された。
- 圧縮過程を考慮した新たな攻撃手法CAGEを提案し，圧縮下での頑健性をより正確に評価できることを示した。
- CAGEは，既存手法と比較して，より低い頑健精度を達成し，圧縮を無視した評価の危険性を示唆した。
因果に基づいたLLMの推論と意思決定のためのオーケストレーションされた議論：ARGORA [cs.AI]目的：因果的に根拠のあるLLMの推論と意思決定のための議論オーケストレーションのフレームワーク
- 大規模言語モデルの性能向上は，様々な分野で不可欠であり，その信頼性確保が重要である。
- 既存のマルチエージェントLLMシステムでは，議論の根拠が不明確で，意思決定の過程がブラックボックス化している。
- 議論の構造化と因果モデリングを通じて，LLMの意思決定プロセスを透明化し，信頼性を高めることを目指す。
- ARGORAは，マルチエージェント間の議論を明示的な議論グラフとして構造化することで，意思決定の根拠を可視化する。
- 議論グラフを因果モデルとして扱うことで，特定の議論要素の除去が結果に与える影響を分析し，決定的な議論チェーンを特定する。
- 外部の判断との乖離を修正するメカニズムを導入し，より正確な回答を導き出すことで，議論の信頼性を向上させる。
生成モデリングの高速化のためのバイアンカー補間ソルバー [cs.CV, cs.AI]目的：生成モデリングの高速化
- 高忠実度な画像生成の需要が高まっており，効率的な生成手法が求められている。
- 既存のFlow Matchingモデルは計算コストが高く，推論速度が遅いという課題がある。
- 学習コストを抑えつつ，推論速度を向上させる新しいソルバーの開発を目指す。
- 提案手法であるBA-solverは，わずかな学習コストで，既存手法と同等の生成品質をより少ない計算量で実現した。
- BA-solverは，100以上のNeural Function Evaluations (NFEs)を必要とするEulerソルバーと同等の品質を，わずか10 NFEsで達成可能である。
- 既存の生成パイプラインへの組み込みが容易であり，画像編集などのダウンストリームタスクへの応用が期待できる。
ShardMemo：シャーディングされたエージェント型LLMメモリのためのマスク付きMoEルーティング [cs.CL, cs.AI, cs.CL]目的：エージェント型LLMメモリにおける大規模なメモリ量と並行アクセスに対応するための，予算制約のある階層型メモリサービス
- エージェント型LLMは，長期的な状態維持や複数エージェントの同時実行に外部メモリを必要とする
- 従来の集中型インデックスやヒューリスティックな分割は，メモリ容量の増加や並行アクセスに伴いボトルネックとなる
- シャーディングされたメモリへの効率的なアクセスを実現し，LLMの性能向上を目指す
- ShardMemoは，LoCoMoデータセットにおいて，既存の最良のベースライン（GAM）をF1スコアで+5.11～+6.82ポイント上回る結果を示した
- 固定予算ルーティング設定（$B_{\mathrm{probe}}=3$）下では，ShardMemoはコサイン類似度に基づくシャーディングルーティングよりもF1スコアが+6.87ポイント向上し，検索コストとp95レイテンシを削減した
- 長文脈HotpotQAデータセットでは，56K/224K/448Kトークンでそれぞれ63.41/61.88/57.95のF1スコアを達成し，ToolBenchでは高いPrecision@3とStepRedを示した
変調エキスパートの混合による多モーダル時系列予測 [cs.LG, cs.AI]目的：多モーダル時系列予測における性能向上
- 現実世界の時系列データは複雑であり，正確な予測は困難である。多角的情報活用が重要。
- 既存手法はトークンレベルでの融合に依存し，高品質な時系列-テキストペアが少ない場合，性能が低下する。
- テキスト情報を活用し，エキスパートのルーティングと計算を制御することで，クロスモーダルな予測精度を向上させる。
- 提案手法「エキスパート変調」は，テキスト信号に基づいてエキスパートの振る舞いを直接制御する新しいパラダイムである。
- 理論的分析と実験により，多モーダル時系列予測において実質的な改善が確認された。
- 既存のMoEベースの手法が抱える問題を克服し，より効率的なモダリティ統合を実現する。
スパイク強化学習による極めて高速なロボット制御のための遅いシリコンニューロンの訓練 [cs.RO, cs.AI, cs.ET]目的：極めて高速なロボット制御のためのスパイクニューロン訓練
- ロボティクス分野では，迅速な判断と制御が不可欠であり，高性能なハードウェアと学習アルゴリズムが求められている。
- 従来のロボット制御システムは，複雑な計算を必要とし，リアルタイム処理が困難な場合がある。
- 脳型ハードウェアと学習アルゴリズムを組み合わせ，リアルタイムでの迅速なロボット制御を実現すること。
- 本研究では，混合信号アナログ/デジタルニューロモーフィックプロセッサ上で動作するスパイクニューロンネットワークを用いて，エアホッケーにおいて成功するパックの相互作用を訓練した。
- 固定ランダム結合を活用し，タスクの時系列構造を捉え，読み出し層で局所的なe-prop学習規則を採用することで，効率的な学習を実現した。
- コンピュータとニューロモーフィックチップをループ内で連携させることで，スパイクニューラルネットワークのロボット自律システムへの実用的な訓練が可能になった。
エージェントによるスキル進化を通じたメタコンテキストエンジニアリング [cs.CC, math.OC, quant-ph, cs.AI, cs.NE]目的：大規模言語モデルの推論時コンテキスト最適化
- 大規模言語モデルの性能はコンテキストに依存し，その最適化が重要である。
- 従来のコンテキストエンジニアリングは手動で設計されるため，柔軟性に欠ける。
- エージェントによるスキル進化を通じて，コンテキストエンジニアリングの自動化を目指す。
- 提案手法MCEは，既存のエージェントによるコンテキストエンジニアリング手法と比較して，5.6～53.8%の相対的な性能向上を達成した。
- MCEは，コンテキストの適応性，転移学習能力，および効率において優れている。
- MCEは，オフラインおよびオンラインの両方の設定で一貫した性能向上を示した。
HistoPrism：全がん組織病理画像からの機能パスウェイ解析の可能性 [cs.CL, cs.LG]目的：全がん組織病理画像からの遺伝子発現予測
- がん研究において，遺伝子発現情報は病態解明や治療標的の同定に不可欠である。
- 遺伝子発現を測定するシーケンシングは高コストであり，日常臨床での利用が限られている。
- 組織病理画像から遺伝子発現を予測することで，低コストかつ簡便な解析を可能にする。
- HistoPrismは，既存モデルと比較して，遺伝子発現予測において高い性能を示した。
- 特に，機能パスウェイレベルの予測において顕著な改善が見られ，生物学的に整合性の高いトランスクリプトームパターンを復元することが示された。
- 全がん種に対する高い汎化性能と効率性により，臨床応用可能なトランスクリプトームモデリングの新たな基準を確立した。
SAL：スパース化によるバックプロパゲーションフリー学習のための選択的適応学習 [cs.LG, cs.AI]目的：バックプロパゲーションを必要としない学習手法
- 深層学習の発展は目覚ましいが，生物学的な妥当性に課題が残る。
- 従来の深層学習は勾配消失や干渉の問題を抱えており，学習効率が低い。
- 勾配干渉を抑制し，生物学的な学習メカニズムに即した学習法を確立する。
- 提案手法SALは，選択的なパラメータ活性化と適応的な領域分割を組み合わせる。
- SALは，10の標準ベンチマークにおいて，優れた分類性能を示した。
- 深いネットワークや大規模モデルにおいても，高い精度と数値的な一貫性を実現した。
表現のアンラーニング：情報圧縮による忘却 [eess.SY, cs.SY, cs.LG]目的：特定の学習データの影響の除去
- プライバシー保護の重要性が増しており，モデルから特定の情報を削除する技術が求められている。
- 従来のパラメータ更新によるアンラーニングは不安定で計算コストが高く，近似に依存する。
- 表現空間で直接アンラーニングを行い，安定性と効率性を向上させることを目指す。
- 表現空間に情報ボトルネックを導入することで，保持データとの相互情報量を最大化し，忘却データに関する情報を抑制する。
- 保留データと忘却データ両方がある場合，および忘却データのみが利用可能な場合に対応する変分近似を導出した。
- 複数のベンチマークにおいて，パラメータ中心のアプローチよりも信頼性の高い忘却，より良い有用性の維持，およびより高い計算効率を達成した。
FlexCausal：構造的フロー事前分布と多様体認識介入による柔軟な因果的解明 [cs.LG]目的：因果構造の解明と低次元表現の学習
- データから因果関係を学習することは，AIの信頼性と解釈性を高める上で重要である。
- 既存手法は潜在変数を単純に装飾し，複雑な因果的統計特性を捉えきれていない。
- FlexCausalは，現実的なノイズ分布をモデル化し，高精度な因果構造学習を目指す。
- FlexCausalはブロック対角共分散VAEに基づき，より柔軟な因果的解明を可能にする。
- Factorized Flow-based Priorにより，外生性ノイズの複雑な密度を現実的にモデル化する。
- 合成データと実データでの実験により，他の手法を大きく上回る性能が示された。
機能的および表現的類似性の架け橋：利用可能な情報による統合 [cs.LG]目的：表現間の類似性を「利用可能な情報」という観点から定量化する統一的な枠組み
- 脳や機械学習における表現の理解は，知能の解明に不可欠である。
- 機能的類似性と表現的類似性の評価方法が確立されておらず，比較が困難である。
- 利用可能な情報を基に，これらの類似性の関係性を明確にし，統合的な評価を可能にする。
- 機能的類似性は，縫合性能と条件付き相互情報量の間に形式的な関係があることが示された。
- 表現的類似性指標は，特定の制約下で利用可能な情報の推定値として機能することが証明された。
- タスク粒度階層を通して，複雑なタスクにおける類似性が，より粗い粒度での類似性を保証することが示された。
EmboCoach-Bench：具現化ロボットにおけるAIエージェントのベンチマーク [cs.AI, cs.RO]目的：具現化ロボットにおけるAIエージェントの自律的なポリシーエンジニアリング能力の評価
- 具現化AIは汎用ロボットシステムへの進化を遂げている。シミュレーションとデータ収集が不可欠。
- 複雑な報酬設計やハイパーパラメータ調整など，手作業による監督に依存し，スケーラビリティが課題。
- AIエージェントによる自律的なポリシーエンジニアリングを通じて，この課題を解決することを目指す。
- AIエージェントは平均成功率で人間が設計したベースラインを26.5%上回る性能を示した。
- 環境からのフィードバックを活用したエージェントのワークフローは，ポリシー開発を強化し，オープンソースとプロプライエタリモデル間の性能差を縮小した。
- エージェントは病的なエンジニアリングケースに対して自己修正能力を示し，シミュレーションによるデバッグを通じてタスク性能を回復させた。
トークンレベルデータフィルタリングによる能力の形成 [cs.LG, cs.AI, cs.CL]目的：言語モデルにおける不要な能力の削減
- 大規模言語モデルの能力制御は，安全性や倫理的な配慮から重要視されている。
- 従来の能力削減手法は事後的な対応が多く，攻撃に対して脆弱である。
- 事前学習段階でのデータフィルタリングにより，より安全なモデルを構築すること。
- 事前学習データのフィルタリングは，医療関連能力の除去に効果的であり，費用対効果も高いことが示された。
- ドキュメント全体のフィルタリングよりも，トークンレベルでのフィルタリングの方が効率的である。
- 大規模モデルにおいては，トークンフィルタリングが忘却ドメインでの計算コストを大幅に削減する。
信号適応型トラストリージョン：勾配を用いない再帰型スパイクニューラルネットワークの最適化 [cs.LG, cs.AI]目的：再帰型スパイクニューラルネットワークの最適化手法
- 省エネルギーな制御ポリシー実現への期待が高まる中，スパイクニューラルネットワークの研究が重要である。
- 高次元・長期間の強化学習における訓練が困難であり，勾配推定の分散が課題となっていた。
- 分散を抑制し，安定した学習を実現する，新たな最適化手法の開発を目指す。
- 提案手法SATRは，信号エネルギーに基づいてトラストリージョンを自動的に調整し，学習の安定性を向上させる。
- 二値結合分布に対してSATRを適用し，既存手法PPO-LSTMと同等の性能を達成した。
- ビットセット実装により計算時間を大幅に削減し，大規模なスパイクニューラルネットワークの学習を可能にした。
思考連鎖圧縮：理論的分析 [cs.AI]目的：思考連鎖圧縮の学習困難性の理論的解明
- 大規模言語モデルの高度な推論能力の鍵となる思考連鎖だが，計算コストが高い。
- 思考連鎖を潜在状態に圧縮する暗黙的圧縮は効率的だが，そのメカニズムは不明である。
- 高次の論理的依存関係における学習信号の減衰問題を解決し，効率的な推論を可能とする。
- 高次の相互作用障壁により，中間ステップを省略すると学習信号が指数関数的に減衰することを証明した。
- 不可約な論理的推論を強制するベンチマークNatBool-DAGを導入し，理論的知見を検証した。
- 潜在トークン分布を中間推論状態と整列させるALiCoTを提案し，54.4倍の高速化を達成した。
破滅的忘却のメカニズム学習：勾配類似度からの考察 [cs.LG]目的：大規模言語モデルにおける破滅的忘却のメカニズム解明
- 継続学習はAIの高度化に不可欠であり，知識の蓄積と適応を可能にする。
- 知識注入時に破滅的忘却が発生し，継続学習能力を著しく阻害する。
- 勾配類似度に基づき，破滅的忘却の原因を特定し，その対策を提案する。
- 勾配類似度が著しく低いことが，破滅的忘却の根本的な原因であることを理論的に証明した。
- ニューロンを「競合型」と「協調型」に分類し，それぞれが忘却に与える影響を明らかにした。
- 競合型ニューロンを固定し，協調型ニューロンのみを更新するCNLが，破滅的忘却を抑制することを示した。
KromHC：クロネッカー積残差行列を用いた多様体制約ハイパーコネクション [cs.CL, cs.LG]目的：ハイパーコネクションの訓練不安定性およびスケーラビリティの制限に対処する手法
- ニューラルネットワークの性能向上には，効率的な接続構造の設計が不可欠である。
- 既存の多様体制約ハイパーコネクションは，パラメータ数の増加や厳密な二重確率行列の生成の困難さがある。
- クロネッカー積を用いることで，パラメータ数を削減しつつ厳密な二重確率行列を保証すること。
- KromHCは，既存のmHCと同等以上の性能を示すことが実験により確認された。
- KromHCは，学習可能なパラメータ数を大幅に削減できる。
- 多様体制約を各モードに適用することで，残差行列の厳密な二重確率性を保証する。
BatchEnsembleにおける予測不確実性推定の評価 [cs.LG]目的：予測不確実性推定の性能評価
- 深層学習モデルの信頼性向上は重要であり，不確実性の正確な推定が不可欠である。
- 既存手法は計算コストが高いか，不確実性を過小評価する傾向がある。
- 計算効率と精度を両立した不確実性推定手法の開発が求められている。
- BatchEnsembleは，ディープアンサンブルと同程度の不確実性推定性能を示すことが確認された。
- モンテカルロドロップアウトよりも優れた性能を示し，効率的な手法であることが示唆された。
- GRUBEは，予測と不確実性推定の両方において同等以上の性能を達成した。
深層再帰的注意混合：潜在的推論にふさわしい注意を与える [cs.AI, cs.CL, cs.LG]目的：潜在的推論における注意機構の改善
- 深層学習モデルの推論能力向上が重要であり，特に潜在的な知識の活用が鍵となる。
- 既存の研究では，計算資源の制約下での深層再帰モデルの有効性が十分に検証されていない。
- 本研究は，深層再帰的注意混合モデルを通じて，効率的かつ効果的な潜在的推論を実現する。
- 提案手法Dreamerは，既存の最先端モデルと同等の精度を，より少ない学習データで達成する。
- Dreamerは，パラメータ数やメモリ使用量を抑えつつ，性能を向上させることに成功した。
- 深層における知識利用に関する分析から，専門家選択の多様性が高いことが示された。
離散構造の連続表現：CORDS [cs.LG]目的：可変サイズの集合の予測
- 対象検出や分子モデリングなど，多くの学習問題で集合予測が重要である。
- 既存手法はパディングや集合サイズの明示的な推論に依存し，課題となる場合がある。
- 未知の集合サイズを扱うための，連続推論に基づく新たな戦略を提案する。
- CORDSは，集合を連続フィールド（密度フィールドと特徴フィールド）に変換する可逆的なマッピングを提供する。
- モデルはフィールド空間で動作し，正確に離散集合へ復号可能である。
- 分子生成，対象検出，推論，数学的タスクで，未知の集合サイズに対する堅牢な性能を示した。
グラフ連合学習における異質性への対応 [cs.CL, cs.LG]目的：グラフ連合学習における異質性に対応するための手法
- プライバシー保護が重要視される中，分散環境でのグラフ表現学習のニーズが高まっている。
- クライアント間のノード特徴や構造的トポロジーの多様性が，グラフ連合学習の性能を阻害する。
- ノード特徴と構造的トポロジーの両面から異質性に対処し，知識共有を促進することを試みる。
- 提案手法FedSSAは，セマンティックと構造的アラインメントを通じて，グラフ連合学習の性能を向上させる。
- ノード特徴の異質性には，クラスごとのノード分布を推定し，クラスタリングを行うことで対応する。
- 構造的異質性には，スペクトルグラフニューラルネットワークを用い，スペクトルエネルギーを測定してクラスタリングを行う。
スケーラブルなパワーサンプリング：分布の鮮鋭化によるLLMの効率的な，学習不要な推論の解禁 [cs.LG, cs.AI]目的：大規模言語モデル(LLM)の推論性能向上
- LLMは多様なタスクで強力だが，推論能力の向上が課題である。
- 強化学習は性能向上に有効だが，報酬設計や計算コストが課題となる。
- 報酬に依存せず，計算効率の良い推論手法を開発すること。
- 提案手法は，外部報酬を用いずに，強化学習と同等以上の性能を達成する。
- MCMCに基づく手法と比較して，推論速度を10倍以上向上させる。
- 数学，QA，コードなどのタスクで，4つのLLMを用いて有効性が検証された。
模倣を超えて：活性潜在計画のための強化学習 [cs.AI]目的：効率的かつ密な思考連鎖（CoT）推論の実現
- 大規模言語モデル（LLM）の推論能力向上が求められている。
- 既存の潜在トークンは言語ラベルの模倣に依存し，多様性に欠ける。
- 潜在空間における活性計画を通して，最適な潜在推論ポリシーを確立すること。
- 提案手法ATP-Latentは，条件付き変分オートエンコーダ（VAE）を用いて滑らかな潜在空間を獲得する。
- さらに，一貫性に基づく補助報酬を用いて強化学習を行い，合理的な潜在推論ポリシーを促進する。
- LLaMA-1Bを用いた実験で，既存手法と比較して4.1%の精度向上と3.3%のトークン削減を達成した。
CORE：相互教授による協調推論 [cs.AI]目的：大規模言語モデルにおける補完的な推論誤りを利用した協調推論の実現
- 複雑な推論タスクにおいて，単一のモデルでは限界があり，複数のモデルによる協調が重要視されている。
- 異なるモデルがそれぞれ異なる誤りを犯すため，個々のモデルの能力を最大限に活用することが困難である。
- モデル間の補完的なエラーを学習信号に変換し，協調的な学習を通じて推論性能を向上させることを目指す。
- COREにより，限られた学習データ（1,000例）でも，小規模モデルペア（3B+4B）がGSM8Kで99.54%，MATHで92.08%という高いPass@2スコアを達成した。
- より難易度の高いデータセットにおいても，GPQAで77.34%，AIMEで79.65%のPass@2スコアを，限られた計算資源で実現した。
- 学習時の協調学習は，モデルの規模を拡大することなく，モデル間の補完性を活用し，大幅な性能向上に貢献することが示された。
力学が構造を明らかにする：線形伝播の仮定への挑戦 [cs.LG, cs.AI]目的：線形伝播の仮定の幾何学的限界
- ニューラルネットワークの適応メカニズムを理解することは，AIの信頼性と性能向上に不可欠である。
- 線形伝播の仮定は一般的だが，その限界は明確に理解されていない。
- 知識編集，逆転の呪い，多段推論における構造的限界を解明すること。
- 線形伝播の仮定の下では，否定と逆転を保証するためにはテンソル分解が必要となることが示された。
- 関係の合成は連言に帰着し，線形特徴量に対しては双線形性が必要となることが証明された。
- 双線形性は否定と両立しないため，特徴マップが崩壊することが示唆され，知識編集等の問題に影響を及ぼす可能性がある。
年齢は重要である：アプリレビューにおける年齢関連の議論の分析 [cs.RO, cs.SE, cs.HC, cs.LG]目的：アプリレビューにおける年齢関連の議論
- モバイルアプリは生活に不可欠であり，様々な年齢層のニーズに応えることが重要である。
- 年齢層別の課題が認識されつつも，アプリ開発者は具体的な問題を把握しにくい。
- アプリが異なる年齢層のユーザーにどのように対応すべきか，ユーザーの視点から洞察を得る。
- 本研究では，Google Play Storeの4,163件のアプリレビューを分析し，1,429件の年齢関連レビューを特定した。
- RoBERTaモデルが最も高い精度（92.46%）を示し，年齢関連議論の自動検出に有効であることがわかった。
- 定性分析の結果，ユーザーの懸念を反映する6つの主要なテーマが明らかになった。
制約付き予算下におけるドキュメント構造空間での探索的リスク特徴発見 [cs.AI]目的：ドキュメント構造空間におけるリスク特徴の探索
- 企業向けIDPシステムは重要なワークフローを支えるため，その信頼性確保が不可欠である。
- 限られた予算内で多様な故障メカニズムを網羅的に発見することが困難である。
- 固定予算内で発見できる故障タイプの数を最大化することを目指す。
- 複数の探索戦略が，他の戦略では発見されない故障モードを特定することが示された。
- 個々の戦略に依存すると，重要なリスクの発見が遅延することが明らかになった。
- 探索戦略の組み合わせが，堅牢なIDPシステム検証に有効であることが示唆された。
RecNet：エージェント型推薦システムのための自己進化型選好伝播 [cs.AI]目的：エージェント型推薦システムにおける選好伝播のモデル化
- 近年，大規模言語モデルを活用した推薦システムが注目されており，より高度なパーソナライズが期待されている。
- 既存手法は明示的なユーザー・アイテム間のインタラクションに依存しており，データが疎でノイズが多く，リアルタイムな影響を捉えられない。
- ユーザーとアイテム間の相互影響を考慮したリアルタイムな選好伝播モデルを構築し，推薦精度を向上させる。
- RecNetは，中央集権的な選好ルーティング機構と，パーソナライズされた選好受信機構という2つの段階で構成される。
- 選好伝播の最適化には，LLMを用いたマルチエージェント強化学習フレームワークを採用し，自己進化を可能にしている。
- 様々なシナリオにおける実験により，RecNetが選好伝播のモデル化において有効であることが示された。
幅広く考え，迅速に行動：Eコマースの関連性向上のための多角的思考連鎖からの潜在的推論蒸留 [cs.IR, cs.AI, cs.CL]目的：Eコマース検索における関連性向上のための，多角的思考連鎖からの潜在的推論蒸留手法
- Eコマースにおける検索の質は，顧客体験に直結するため，関連性モデリングの重要性は高い。
- 既存手法では，Eコマースの多面的な関連性（意図，属性，ビジネスルール）を捉えきれない場合がある。
- 大規模言語モデルの推論能力を，低遅延で利用可能な状態にするための蒸留手法を改善する。
- 提案手法は，多角的思考連鎖（MPCoT）と教師ありファインチューニング，直接選好最適化（DPO）を組み合わせることで，よりロバストな推論器を構築する。
- 潜在的推論知識蒸留（LRKD）により，学生モデルは軽量な推論抽出器を獲得し，大規模言語モデルの高度な推論能力を効率的に獲得する。
- オフライン実験とオンラインA/Bテストの結果，提案手法は商用パフォーマンスとユーザー体験の両面で有意な改善を示す。
パラメータファインチューニングを超えて：ノード分類のためのテスト時表現の改良 [cs.LG, cs.AI]目的：ノード分類におけるテスト時表現の改良
- グラフニューラルネットワークは様々な分野で活用されており，その性能向上が重要である。
- 分布外テストにおいて，グラフニューラルネットワークの性能が著しく低下するという課題がある。
- 既存のテスト時学習手法が抱える忘却の問題を解決し，実用的な性能を達成することを目指す。
- 本研究で提案するTTReFTは，テスト時の表現を改良することで，分布外テストにおける性能劣化を抑制する。
- 不確実性に基づくノード選択や低ランク表現介入，介入を考慮したマスクオートエンコーダなどの工夫により，事前学習知識の保持と適応を両立する。
- 5つのベンチマークデータセットを用いた実験により，TTReFTが既存手法を上回る性能を示すことが確認された。
意味内容がアルゴリズムの性能を決定する [cs.AI, cs.CL]目的：アルゴリズムの性能に対する意味内容の依存性の検証
- 大規模言語モデルの応用拡大に伴い，そのアルゴリズム的側面が重要視されている
- 言語モデルが意味内容によって性能が変動する問題が存在する
- 言語モデルにおける意味内容依存性を分離して定量的に評価することを目指す
- 最先端の言語モデルは，カウント対象の意味内容（都市と化学物質など）によって40%以上の精度変動を示すことが判明した
- この変動は，意味内容に起因するものであり，少量の関連性のないファインチューニングによって予測不能に変化する
- 言語モデルはアルゴリズムを完全に実装しておらず，意味内容に依存した近似を行っている可能性が示唆された
過剰スケーリングの呪いを打ち破る：並列思考の前に並列処理を考える [cs.LG, cs.AI, cs.CL]目的：大規模言語モデルの推論における並列処理の効率性向上
- LLMの高性能化には計算資源が不可欠であり，並列処理はその重要な要素である。
- システム全体の性能を優先するあまり，個々のサンプルに過剰な並列処理を割り当てがちである。
- サンプルごとに最適な並列度を推定することで，計算資源の無駄を削減し，効率的な推論を実現する。
- 本研究では，過剰スケーリングが普遍的に存在し，そのメカニズムを定量的に示した。
- 提案手法T2は，潜在表現を用いて各サンプルの最適な並列度を推定することで，コストを大幅に削減する。
- T2は，性能を維持しつつ，より効率的な並列思考を可能にする。
大規模言語モデルの先読み混合精度推論：LAMP [eess.SY, cs.SY, cs.LG, cs.NA, math.NA]目的：大規模言語モデルにおける効率的な推論手法の開発
- AI技術の進展において，計算効率が重要な課題となっている
- Transformer推論における浮動小数点演算の精度維持が困難である
- 計算コストを抑えつつ推論精度を向上させる手法の確立
- 提案手法LAMPは，入力データの一部をより高精度で計算することで，推論精度を大幅に改善する。
- GPT-2モデルを用いた評価により，再計算率が低い場合でも，精度が最大で2桁向上することが示された。
- 混合精度計算の適応戦略により，計算コストと精度のバランスが最適化される。
深層ニューラルネットワークにおけるメモリの訓練：メカニズム，証拠，測定のギャップ [cs.LG]目的：深層ニューラルネットワーク訓練におけるメモリの影響の解明
- 深層学習は現代AIの基盤であり，その性能向上は重要である。
- 訓練過程におけるメモリの影響は無視されがちであり，再現性の問題がある。
- 訓練履歴がモデルに与える影響を定量的に評価する手法を確立すること。
- 訓練は記憶を持ったプロセスであり，オプティマイザやデータ順序に依存する。
- メカニズムをソース，寿命，可視性で整理し，因果推定と移植可能な摂動手法を提案した。
- モデル，データ，学習設定を横断して訓練履歴の重要性を測定するためのプロトコルを提示した。
ヘシアン条件付けによる安定した低ビット量子化のための汎用フレームワーク HeRo-Q [cs.LG, cs.AI]目的：大規模言語モデルの低ビット量子化における安定性の向上
- モデル圧縮は，大規模言語モデルの効率的な利用に不可欠であり，計算コストとメモリ使用量の削減に繋がる。
- 従来の量子化手法は，量子化誤差の最小化に集中し，結果として「誤差は低いが損失は高い」という現象が発生しやすい。
- ヘシアン行列を用いたロバストな量子化アルゴリズムを開発し，量子化ノイズに対する耐性を高める。
- 本研究で提案するHeRo-Qは，軽量な学習可能な回転圧縮行列を導入することで，損失関数のヘシアン行列の最大固有値を低減し，量子化に対するロバスト性を向上させる。
- LlamaやQwenモデルを用いた実験により，HeRo-QはGPTQ，AWQ，SpinQuantなどの最先端手法と比較して，W4A8設定下およびW3A16設定下で一貫して優れた性能を示すことが確認された。
- 特に，Llama3 8BモデルにおけるGSM8Kタスクの精度を70.15%に向上させ，過度な量子化によって引き起こされる論理的崩壊を効果的に回避した。
拡散モデルにおける初期ノイズを用いたメンバーシップ推論攻撃：ノイズをプローブとして [cs.CR, cs.LG]目的：拡散モデルに対するプライバシーリスクの評価
- 画像生成AIの普及に伴い，プライバシー保護の重要性が高まっている。
- ファインチューニングされた拡散モデルは，学習データに依存するため，プライバシー漏洩のリスクがある。
- 拡散モデルの初期ノイズに潜在する情報を利用し，メンバーシップ推論攻撃による脆弱性を明らかにする。
- 拡散モデルの初期ノイズには，完全に除去されていない意味情報が残存することが示された。
- この残存する意味情報と元の画像との間に相関関係が存在することが確認された。
- 初期ノイズに意味情報を注入することで，高精度なメンバーシップ推論が可能であることが示された。
行列メカニズムにおけるランダム割り当てに対するサンプリング不要なプライバシー会計 [cs.LG, cs.CR, stat.ML]目的：行列分解を用いた差分プライバシーに基づくモデル訓練におけるプライバシー増強
- プライバシー保護技術は，個人情報を含むデータ分析において不可欠であり，データ利活用とプライバシー保護の両立が求められている。
- 従来のプライバシー会計手法は，計算コストが高い場合や，小さなδに対する精度が低いといった課題が存在する。
- ランダム割り当てを用いた差分プライバシー保護のプライバシーパラメータを，効率的にかつ正確に評価すること。
- 本研究では，Rényiダイバージェンスと条件付き合成に基づき，サンプリングを必要としないプライバシー境界を開発した。
- 提案手法は，動的計画法を用いて効率的に境界を計算し，特に小さなεに対してより強いプライバシー保証を提供する。
- 数値実験の結果，本手法は幅広い行列メカニズムにおいて有効であることが示された。