arXiv雑要約
AI - 2026/02/03 公開
大規模言語モデルと形式概念解析：トピックモデリングの比較研究 [cs.AI]目的：トピックモデリングにおける大規模言語モデルと形式概念解析の比較
- 情報検索，感情分析，要約など応用範囲が広がり，テキストデータ理解の基盤技術として重要である。
- 大規模言語モデルの有効性は検証が少なく，形式概念解析の応用事例も限られている。
- 両者の強みと弱みを明確にし，トピックモデリングへの貢献を評価することを目指す。
- 大規模言語モデル（GPT-5）はゼロショット設定でトピック生成，統合，ラベリングを実行した。
- 形式概念解析はCREAパイプラインを用いて評価し，教育教材と情報システム分野の研究論文に適用した。
- 両者の比較により，それぞれのトピックモデリングにおける特性が明らかになった。
COLT：共有MCTS推論による軽量マルチLLM協調 - モデルコンパイル [cs.LG, cs.AI, cs.PL]目的：モデルコンパイルのための軽量マルチLLM協調フレームワーク
- AIシステムのコストはモデル提供が大部分を占めるため，スケーラブルなデプロイにはコンパイラ最適化が不可欠である。
- 単一の巨大LLMは高コストであり，小規模LLM単体では信頼性が低いという課題が存在する。
- 小規模LLMを中心としたマルチLLM協調推論が，巨大LLMと同等以上の性能を発揮できるか検証する。
- 本研究では，複数のLLM間で共有する単一のMCTS木構造を用いることで，軽量な協調フレームワークCOLTを提案した。
- COLTは，LLM間の変換接頭辞の再利用とクロスモデルの価値伝播を可能にし，重い内部推論機構やエージェント機構を回避する。
- モデル認識型探索方針とコース変更メカニズムにより，探索の偏りを維持しつつ，小規模モデルによる回帰を抑制している。
PIMCST：物理情報に基づく多相合意と空間的・時間的少次元学習による交通流予測 [cs.LG, cs.AI]目的：交通流予測における少次元学習手法の提案
- 交通システムにおける予測精度向上は，効率的な交通管理と都市計画に不可欠である。
- データ不足の状況下では，モデルの汎化性能が低下し，予測精度が犠牲になる。
- 異なる都市間での少次元学習を可能とし，限られたデータでの高精度な予測を実現する。
- 提案手法MCPSTは，拡散，同期，スペクトル埋め込みを用いた多相エンジンにより，交通ダイナミクスを包括的にモデル化する。
- 動的な予測の融合と一貫性の確保を実現する適応的な合意メカニズムを導入している。
- 実験の結果，MCPSTは4つの実世界データセットで14の最先端手法を凌駕し，予測精度が向上し，必要な訓練データが削減された。
T-LLM：時間的蒸留による時系列予測能力の言語モデルへの学習 [cs.LG, cs.AI]目的：大規模言語モデルへの時系列予測能力の付与
- 時系列予測は，現実世界の様々な意思決定において重要な役割を果たす。
- 既存手法は，予測行動を明示的に言語モデルに学習させるのではなく，表現レベルの調整や推論時の時間モジュールに依存している。
- 時間的蒸留フレームワークを通じて，言語モデルに時系列予測能力を効率的に学習させる。
- T-LLMは，ベンチマークデータセットや感染症予測タスクにおいて，既存の言語モデルベースの予測手法を上回る性能を示した。
- フルショット，フューショット，ゼロショット設定において，一貫して優れた予測精度を達成した。
- 推論時に教師モデルを削除することで，シンプルかつ効率的な予測パイプラインを実現した。
双腕アクティブパーセプションによる探索的・集中的な操作：新たな課題，ベンチマーク，戦略 [cs.RO, cs.AI]目的：探索的・集中的な操作のための課題設定と戦略の提案
- ロボット操作において，視覚的な遮蔽は頻繁に発生し，タスク遂行の妨げとなるため，アクティブビジョンが重要視されている。
- 従来の視覚システムでは，遮蔽された領域の情報取得が困難であり，ロボットの自律的な操作能力を制限している。
- タスク完了に必要な情報を積極的に収集し，探索や集中を伴う複雑な操作を可能にするための基盤を構築すること。
- 新たなベンチマークであるEFM-10を確立し，探索と集中を必要とする4種類の操作タスク(合計10タスク)を定義した。
- 双腕アクティブパーセプション(BAP)戦略を提案し，片腕でアクティブビジョン，もう片腕で力覚センシングを活用する。
- EFM-10のタスクデータセットBAPDataを収集し，模倣学習によりBAP戦略の有効性を検証した。
エージェント型AIセキュリティにおける社会に着想を得たアプローチ：4Cフレームワーク [cs.CR, cs.AI]目的：エージェント型AIセキュリティの新たなフレームワーク
- AIの進化により，サイバーセキュリティの脅威が複雑化しているため，新たな対策が急務である。
- 既存のセキュリティ対策は，システム中心であり，AIの自律性や相互作用から生じるリスクを捉えきれていない。
- AIの行動的整合性と意図の維持を通じて，信頼性と統治可能性を高めることを目指す。
- 本研究では，社会のガバナンスに着想を得た4Cフレームワークを提案する。
- このフレームワークは，コア，コネクション，コグニション，コンプライアンスという4つの相互依存的な側面から，エージェント型AIのリスクを体系的に整理する。
- 既存のAIセキュリティ戦略を補完し，人間社会の価値観に沿ったAIシステムの構築を支援する。
境界制約付き拡散モデルによるフロアプラン生成：リアリズムと多様性の両立 [cs.RO, cs.LG, cs.CV]目的：フロアプラン生成におけるリアリズムと多様性のバランス
- 建築設計において，効率的かつ機能的なフロアプランの自動生成は重要な課題である。
- 拡散モデルはリアリズムに優れるが，多様性に欠ける傾向がある。
- 境界制約と多様性を考慮したフロアプラン生成手法の確立。
- 境界クロスアテンション（BCA）モジュールが境界への適合性を大幅に向上させる。
- 長時間の学習は多様性の低下を引き起こし，FIDでは検出できないトレードオフが明らかになる。
- 生成モデルがデータセットの事前知識に依存することを示唆し，汎化性能の向上が課題である。
パラメトリック条件付きを持つ深層多変量モデル [cs.DB, cs.LG, stat.ML]目的：異質な確率変数の集合に対する深層多変量モデル
- 多様なデータ構造を扱うため，柔軟なモデル構築が重要視される。
- 既存研究は特定のタスクに最適化され，汎用性に欠ける場合がある。
- 本研究では，汎用的なモデル構築を目指し，確率分布表現を試みる。
- 提案手法では，各変数のグループを，残りの変数に基づいて条件付き確率分布として表現する。
- モデル学習は，limiting distributionのデータ尤度を最大化するパラメトリックなマルコフ連鎖カーネルの訓練として捉えられる。
- この手法により，幅広い半教師あり学習シナリオに対応可能となる。
知識蒸留による大規模言語モデルにおける効率的なエピステミック不確実性推定 [cs.LG, cs.AI]目的：大規模言語モデルのエピステミック不確実性の効率的な推定手法
- 大規模言語モデルの安全性確保には，モデルの不確実性を定量的に評価することが不可欠である。
- 深層アンサンブルによるエピステミック不確実性の推定は，計算コストが課題となっている。
- 小規模モデルを活用することで，計算コストを抑えつつ不確実性を高精度に推定すること。
- 提案手法は，既存手法と比較して推定誤差を最大37%削減することを示した。
- 幻覚検出性能は，高コストな摂動法と同等のレベルを達成した。
- 推論コストをほとんど増加させずに，不確実性を考慮した言語モデルの展開を可能にする。
ワールドモデルによる実行可能な計画に基づく生成動画の基礎付け [cs.HC, cs.LG]目的：生成動画の計画を実行可能な行動系列へと繋げる手法
- 動画生成モデルは視覚的計画能力を示すが，現実世界の制約を無視した計画となりがちである。
- 生成された計画が時間的一貫性や物理的制約に違反し，実際の行動に変換できないという課題がある。
- 学習されたワールドモデルを用いて，動画計画を現実世界で実行可能な行動系列に変換することを目指す。
- 提案手法GVP-WMは，動画から生成された計画を，行動条件付きワールドモデルを用いて実現可能な軌道へと変換する。
- 動画によるガイダンスと潜在空間軌道最適化を組み合わせ，セマンティックな整合性を保ちつつ物理的に実行可能な計画を復元する。
- シミュレーション実験により，物理制約に違反する動画からも，長期的かつ実現可能な計画を生成できることを示した。
ゼロショットオフポリシー学習 [cs.LG, cs.AI]目的：ゼロショット環境下におけるオフポリシー学習手法
- 強化学習は，ロボット制御やゲームなど幅広い分野で活用されており，その重要性は増している。
- オフポリシー学習は，既存データからの学習が困難であり，分布のずれや価値関数の過大評価が課題である。
- 本研究は，ゼロショット環境下におけるオフポリシー学習の効率と適応性を向上させることを目指す。
- 後継測度と定常密度比の理論的な関係性を発見し，最適な重要度サンプリング比率を推論する手法を提案した。
- 提案手法は，タスクに合わせてオンザフライに最適なポリシーを導き出し，定常分布補正を効果的に行う。
- SMPL Humanoid，ExoRL，OGBenchにおいて，迅速なタスク適応能力が確認された。
静的なグラフの打破：堅牢な検索拡張生成のための文脈を意識したトラバーサル [cs.CL, cs.AI]目的：検索拡張生成における，文脈を意識したトラバーサルによる性能向上
- 検索拡張生成は，大規模言語モデルの知識不足を補い，より正確な応答を可能にする重要な技術である。
- 既存手法は固定されたグラフ構造に依存し，クエリの意図に応じた柔軟な経路探索が課題であった。
- クエリに応じてグラフ構造を動的に変化させ，関連性の高い情報への到達を助けることを目指す。
- 提案手法CatRAGは，従来のRAG手法と比較して，複数の多段型クエリのベンチマークにおいて一貫して高い性能を示した。
- 標準的なRecall指標では小幅な改善が見られるものの，完全な根拠経路の回収能力であるReasoning Completenessで大幅な改善が確認された。
- この結果は，CatRAGが部分的な文脈の取得と，完全に基づいた推論の実現との間のギャップを効果的に埋めることを示唆している。
自己進化型エージェントのための自己統合 [cs.LG]目的：自己進化型エージェントの進化メカニズム
- 大規模言語モデルエージェントの活用が期待される中で，長期的な相互作用を通じた進化が重要である。
- 既存手法は成功事例に偏り，失敗から学ぶ機会を逃す。また，経験の蓄積に伴い検索コストが増大し，コンテキストウィンドウを圧迫する。
- 失敗事例からの学習と，経験の効率的な内部化によるエージェントの長期進化を実現する。
- 本研究では，エラーパターンを要約する対照的な内省戦略と，経験をコンパクトなパラメータに蒸留する自己統合メカニズムを提案した。
- 提案手法は，エージェントが豊富な過去の経験を潜在空間に直接取り込むことを可能にする。
- 実験により，本手法が長期的なエージェント進化において優位性を持つことが示された。
アクセント付き音声認識のための中間CTC教師ありMixture-of-Experts [cs.CL, cs.AI]目的：アクセント付き音声認識における性能向上
- 音声認識は，人機インタフェースにおいて重要な役割を担う技術である。
- 既存の音声認識モデルは，限られた英語のアクセントデータで訓練されており，他のアクセントに対する性能が低い。
- 様々なアクセントに対応できる，汎用性と特化性を兼ね備えたモデルの構築。
- 提案手法Moe-Ctcは，Mixture-of-Expertsアーキテクチャと中間CTC教師あり学習を組み合わせることで，アクセント固有のパターンを捉えつつ，汎化性能を高める。
- 実験の結果，Moe-Ctcは，低リソースおよび高リソース条件下において，既知および未知のアクセントの両方で一貫した性能向上を示した。
- 特に，強力なFastConformerベースラインと比較して，最大29.3%の相対的なWER削減を達成した。
汎用的なプロンプト予測モデルによる効率的な強化学習を通じた大規模推論モデルのポストトレーニング [cs.CL, cs.IR, cs.AI, cs.LG]目的：大規模推論モデルのポストトレーニングにおける効率的な強化学習のためのプロンプト選択手法
- 大規模言語モデルの推論能力向上は重要である。しかし，計算コストが課題となる。
- 既存手法はコストが高いか，汎用性に欠ける。プロンプト特化モデルでは，他のプロンプトへの応用が難しい。
- プロンプトの難易度を予測する軽量なモデルにより，効率的なプロンプト選択を実現し，学習コストを削減する。
- 提案手法GPSは，プロンプトの難易度をベイズ推論により予測し，効率的なプロンプトバッチ選択を実現する。
- 多様な推論ベンチマークにおいて，GPSは既存手法と比較して，学習効率，最終性能，テスト時効率を大幅に向上させる。
- 小規模な予測モデルは，テスト時においても汎用的に機能し，計算資源の効率的な配分を可能にする。
AI生成画像検出器は，キャリブレーションによりSOTA精度を秘密裏に達成できる [cs.CV, cs.AI, cs.LG]目的：AI生成画像検出器のロバスト性向上
- AI生成技術の急速な発展に伴い，生成画像の識別が重要となっている。
- 既存の検出器は，テスト時に系統的な偏りを示し，誤分類が生じやすい。
- 分布シフトに対応し，検出器の決定境界を再調整することで，ロバスト性を向上させる。
- 提案手法は，再学習を必要とせず，わずかな検証データでロバスト性を大幅に改善する。
- ベイズ決定理論に基づき，モデルのロジットに学習可能なスカラー補正を適用する。
- これにより，テスト時分布シフトを補正し，信頼性の高いAI生成画像検出を実現する。
IntraSlice：LLMにおけるブロック内PCAを用いた高性能構造化プルーニングへ [cs.LG, cs.AI]目的：大規模言語モデルの構造化プルーニングによる高性能化
- 大規模言語モデルは高性能だが，巨大なサイズがデプロイの課題となる。
- 構造化プルーニングは高速化に貢献するが，性能劣化が深刻である。
- パラメータ増加と活性化分布の破壊を抑制し，より効果的なプルーニングを実現する。
- IntraSliceは，Transformerモジュールの構造的特徴を利用したブロック内モジュール内PCA圧縮プルーニングフレームワークである。
- 近似PCAを用いることで，追加パラメータなしで変換行列をモデルに融合できる。
- Llama2，Llama3，Phiシリーズでの実験により，既存手法を上回る圧縮性能が確認された。
FlyPrompt：脳に触発されたランダム拡張ルーティングと時間的アンサンブルエキスパートによる汎用継続学習 [cs.LG, cs.AI, cs.CV]目的：汎用継続学習における課題解決
- 機械学習モデルの適応性と知識の維持が重要視されており，特に変化するデータ環境下での学習が不可欠である。
- 既存手法は複数回の学習や明示的なタスク情報に依存し，リアルタイムで変化するデータストリームへの対応が困難である。
- エキスパートパラメータの割り当てと，限られた教師データ下での表現能力向上という継続学習の課題を解決する。
- FlyPromptは，果実蠅の記憶システムに着想を得て，インスタンスレベルでのエキスパート活性化と動的な決定境界適応を実現する。
- CIFAR-100，ImageNet-R，CUB-200のデータセットにおいて，最先端手法と比較してそれぞれ最大11.23%，12.43%，7.62%の性能向上を達成した。
- ランダム拡張分析ルーターと時間的アンサンブルにより，変化するデータ分布への適応能力と表現能力を向上させている。
スパイクガンマ：サロゲート勾配を用いない，時間分解能の高いスパイクニューラルネットワークのオンライン学習 [cs.CL, cs.NE, cs.LG]目的：スパイクニューラルネットワークの効率的なハードウェア実装に向けた学習手法
- スパイクニューラルネットワークは，省電力かつ低遅延なAI実現に不可欠である。
- 細かい時間分解能での学習が難しく，ハードウェア実装との乖離が生じやすい。
- サロゲート勾配を用いずに，時間分解能の高いオンライン学習を可能にすること。
- 提案手法SpikingGammaは，サロゲート勾配を必要とせず，直接誤差逆伝播を可能にする。
- 微細な時間パターンを最小限のスパイク数でオンライン学習できる。
- 複雑なタスクにおいても，高い精度でスケーラブルな性能を示す。
マルチモーダル推論における訓練不要な経験の再利用によるツール利用者から創造者への進化 [cs.HC, cs.CL, cs.AI]目的：マルチモーダル推論におけるツール利用からツール創造への進化
- LLMの能力拡張には外部ツールの活用が不可欠であり，その重要性は増している。
- 既存のツールでは対応できない課題が多く，誤ったツール出力がLLMの判断を誤らせる可能性がある。
- LLMの推論過程に内在する問題解決能力を活用し，自己進化するツール創造を可能にする。
- 提案手法UCTは，訓練不要でLLMをツール利用者から創造者に変革する新しいフレームワークである。
- 推論過程で得られた経験を再利用可能な資産に変換し，ツールを適応的に生成・更新する。
- 数学および科学分野のベンチマークにおいて，20.86%および23.04%の性能向上を示し，自己進化能力を実証した。
マルチモーダル継続指示チューニングのための安定化混合エキスパートモデル [cs.HC, cs.LG, cs.AI]目的：マルチモーダル継続指示チューニングにおけるエキスパートモデルの安定化
- 実世界での応用には，モデルの能力を継続的に拡張する必要があり，継続学習が重要となる。
- 既存手法では，エキスパートのルーティングがデータ分布の変化により不安定になりやすい。
- ルーティングとエキスパートのドリフトを抑制し，継続学習における性能劣化を防ぐ。
- 提案手法SAMEは，ルーティングのダイナミクスを直交部分空間に分解し，タスク関連方向のみを更新することで，ルーティングのドリフトを抑制する。
- 履歴入力共分散を用いたカーバチャーアウェアスケーリングにより，エキスパートの更新を調整し，エキスパートのドリフトを軽減する。
- 選択されたエキスパートを学習中に固定する適応的なエキスパート活性化を導入し，不要な計算とタスク間の干渉を低減する。
Transformerにおける創発的な類推推論 [cs.AI]目的：類推推論の創発
- 知能の中核機能であり，抽象的なパターンを転用する能力として重要である。
- Transformerがどのように類推推論を獲得・実行するか，そのメカニズムは未解明である。
- Transformerにおける類推推論のメカニズムを明らかにし，その創発条件を特定すること。
- 類推推論の創発は，データの特徴，最適化手法，モデルの規模に大きく依存することがわかった。
- 類推推論は，埋め込み空間における関係構造の幾何学的配置と，Transformer内部における関手の適用という2つの要素に分解される。
- 事前学習済みLLMにおいても同様の傾向が観察され，類推推論が具体的なメカニズムに根ざしていることを示唆する。
医師のように考える：診断知識グラフの探索を通じた会話型診断 [cs.AI]目的：会話型診断における診断知識グラフの探索
- 医療現場での正確かつ迅速な診断は，患者の予後を大きく左右する重要な課題である。
- 従来の会話型診断システムは，モデルの知識に依存しやすく，患者からの情報が不十分な場合に精度が低下する。
- 診断知識グラフを用いて仮説検証を繰り返すことで，不完全な情報下での診断精度向上を目指す。
- 提案システムは，既存の基盤モデルと比較して，診断の正確性と効率が向上した。
- 医師による評価において，シミュレータのリアリティと生成された質問の臨床的有用性が確認された。
- システムは，対話の文脈から診断仮説を生成し，質問を通じて仮説を検証する２段階の推論を行う。
RISC-Vアーキテクチャ向けDNNにおけるテンソルトレイン分解の最適化：デザイン空間探索とコンパイラ最適化 [cs.LG, cs.AI, cs.AR, cs.MS]目的：DNNのRISC-Vアーキテクチャへの効率的な展開
- DNNは自然言語処理や自律システム等，様々な分野で不可欠な技術である。
- リソース制約のあるデバイスへのDNN展開は，計算量とメモリ消費量の高さが課題となる。
- 低ランク分解によるFC層圧縮の効率化と，RISC-Vアーキテクチャへの最適化を目指す。
- 提案手法は，テンソルトレイン分解（TTD）のデザイン空間を探索し，非効率な形状や性能の低い解を除外する。
- コンパイラ最適化を適用することで，カスタムT3F層の性能を向上させ，推論時間を最小限に抑える。
- TTD適用層は，同じ圧縮モデルにおいてIREEより3倍，Plutoより8倍高速に動作する。
LLMにおける生成推論のためのレイヤープルーニングの限界 [cs.LG, cs.AI]目的：LLMのレイヤープルーニングによる圧縮と生成推論能力の低下
- 大規模言語モデル(LLM)は高性能だが，計算資源の制約が大きい。モデル圧縮は重要課題。
- 既存のプルーニング技術は，分類タスクでは有効だが，生成推論タスクでは性能が著しく低下する。
- 生成推論タスクにおけるプルーニングの影響を明らかにし，有効な適用範囲を特定すること。
- レイヤープルーニングは，多段階の推論を必要とするタスクにおいて特に性能劣化が顕著である。
- 自己生成応答を用いた教師ありファインチューニングにより，分類タスクの性能を最大90%まで回復できる。
- 生成タスクにおいても性能向上は認められるが，分類タスクと比較して回復の限界が明らかである。
表面連続性に基づく高速2Dガウススプラッティングによる3D再構成 [cs.CL, cs.CV, cs.AI]目的：疎な画像からの高精度な3Dシーン再構成
- 3Dシーンの再構成は，現実世界の理解や応用において不可欠な技術である。
- 既存手法では，最適化が困難で，連続的な表面を生成できず，アーティファクトが発生しやすい。
- 表面連続性の事前知識とアルファブレンド戦略を用いて，高精度な再構成を実現する。
- SurfSplatは，2Dガウススプラッティングを基盤とし，高い異方性と幾何学的精度を実現する。
- RealEstate10K，DL3DV，ScanNetの実験により，既存手法を凌駕する再構成品質が確認された。
- 新たに提案したHRRC評価指標により，高解像度再構成の品質が評価された。
保存と量子化：LLMにおける量子化誤差再構成のランク予算のバランス [cs.LG, cs.AI]目的：LLMの量子化誤差再構成におけるランク予算配分の最適化
- 大規模言語モデルの効率化は，計算資源の制約や実用的な展開のために不可欠である。
- 量子化はモデルを圧縮する効果的な手法だが，精度低下を招く可能性がある。
- 量子化誤差を再構成することで精度低下を抑制し，効率的なモデル圧縮を実現することを目指す。
- 提案手法であるSRRは，量子化前の重みの主要な特異値空間を保持することで，量子化誤差の再構成効率を向上させる。
- ランク配分基準を理論的に導出し，量子化によるエネルギーと回復不能な誤差のバランスをとることで最適なkを選択する。
- SRRは，量子化されたパラメータ効率的なファインチューニング（QPEFT）をサポートし，ファインチューニングの安定性を高める。
ClueTracer：質問から視覚的手がかりの追跡による，学習不要なマルチモーダル推論における幻覚抑制 [cs.CV, cs.AI]目的：マルチモーダル推論における幻覚抑制
- 画像と質問から高度な問題を解決するマルチモーダル推論モデルは，AI研究において重要性が増している。
- 推論過程で，モデルが質問に関係のない要素に過度に注目し，視覚的根拠から逸脱する「推論の漂流」が課題となっている。
- 質問から手がかりを追跡することで，関連性の高い領域に焦点を当て，幻覚を抑制することを目的とする。
- ClueTracerは，追加の学習なしで，様々な推論モデルの性能を平均1.21倍向上させた。
- 本手法は，推論モデルだけでなく，非推論モデルにおいても性能向上（1.14倍）に寄与する。
- ClueRecallという，視覚的手がかりの検索を評価する指標を新たに提案した。
超高速トレーニングの必要性 [cs.AR, cs.LG, cs.SY, eess.SY, hep-ex, quant-ph]目的：低遅延推論のためのFPGAにおける超高速なオンチップ学習
- 科学技術分野や産業における低遅延推論において，FPGAの性能が重要視されている。
- 既存のFPGAアクセラレータは静的なモデルを前提としており，学習・適応がCPU/GPUに依存している。
- 物理現象の変化に対応するため，FPGA上でリアルタイムに学習・推論を行うことを目指す。
- 従来の推論専用FPGAを，リアルタイム学習機械へと変革する可能性を示す。
- 量子誤り訂正，極低温量子ビット調整，プラズマ制御など，幅広い分野への応用が期待される。
- アルゴリズム，アーキテクチャ，ツールフローの再検討が必要となる。
エージェントメモリにおけるRAGを超えて：分離と集約による検索 [cs.RO, cs.CL, cs.AI]目的：エージェントメモリのための，分離と集約に基づいた検索手法
- 大規模言語モデル(LLM)を用いたエージェントの性能向上には，過去の対話履歴を適切に活用するメモリシステムが不可欠である。
- 従来のRAGは多様な文書集合を対象とするため，エージェントメモリのような一貫性のある対話履歴には冗長な情報をもたらす可能性がある。
- 本研究は，潜在的な要素に基づいた検索により，エージェントメモリにおける情報検索の効率性と精度を向上させることを目指す。
- 提案手法xMemoryは，メモリを階層的に構造化し，スパース性と意味情報を最適化することで，検索の忠実性と効率を高める。
- 実験の結果，LoCoMoとPerLTQAのデータセットにおいて，最新のLLMを用いた評価で，回答の質とトークン効率が向上した。
- xMemoryは，トップダウン検索により，簡潔かつ多様なテーマを選択し，必要に応じてエピソードやメッセージを拡張することで，不確実性を低減する。
制約付き生成モデリングのための論理誘導ベクトル場 [cs.LG]目的：制約付き生成モデリングにおける論理的知識の注入
- ニューロシンボリックシステムは，記号論理の構造性とニューラル学習の柔軟性を融合させる重要分野である。
- 生成モデルは，生成時に宣言的な制約を強制するメカニズムに乏しいという課題がある。
- 論理的制約を生成過程に組み込むことで，制約を満たす生成を実現することを目的とする。
- LGVFは，標準的なフローマッチングと比較して，制約違反を59～82%削減することに成功した。
- 線形およびリング設定では，MMDによる分布忠実度も向上したが，多障害設定では，制約適合性と忠実度のトレードオフが観察された。
- LGVFは，明示的な経路計画なしに，禁止領域を回避する創発的なベクトル場を生み出すことが示された。
SNAP：ロバスト計算への応用を持つ自己整合的合意原理 [cs.CL, cs.LG, stat.ML]目的：ロバスト計算のための自己教師あり型枠組み
- 外れ値の影響を受けやすい計算は，様々な分野で重要な課題である。
- 従来のロバスト計算手法は，パラメータ調整や事前知識を必要とする場合が多い。
- 本研究は，教師信号や事前知識なしで外れ値を抑制する手法を提案する。
- SNAPは，相互合意に基づく重み付けを行い，信頼性の高い要素を強調し，外れ値を抑制する。
- 提案手法では，外れ値の重みを指数関数的に抑制することで，高次元空間でも安定した計算を実現する。
- ベクトル平均化や部分空間推定において，反復的なWeiszfeldアルゴリズムや多変量平均値の平均法よりも優れた性能を示す。
光学文字認識によるゲノムモデリングの再考 [cs.CV, cs.AI, cs.CL, cs.LG]目的：ゲノムモデリングにおける新たなアプローチ
- ゲノム解析は生命科学において不可欠であり，疾患理解や個別化医療に貢献する。
- 既存のモデルは逐次的な処理に偏り，ゲノムの持つ構造的特徴を活かしきれていない。
- ゲノム情報を効率的に圧縮し，長文脈における理解を深めることを目指す。
- OpticalDNAは，ゲノムモデリングをOCRのように視覚的な文書理解として捉えることで，既存モデルを凌駕する性能を発揮した。
- 45万塩基の配列において，従来のモデルと比較して，ほぼ20分の1のトークン数で最高のパフォーマンスを達成した。
- わずか25万6千の学習可能パラメータで，最大985倍多くのパラメータを持つモデルを上回る成果を得た。
多様な周辺分布と条件付き分布下でのロバストなドメイン汎化 [cs.LG]目的：多様な周辺分布と条件付き分布の変化に対応したロバストなドメイン汎化手法
- 現実世界のデータは分布が変化しやすく，汎化性能が重要である。
- 従来のドメイン汎化は条件付き分布の変化に焦点を当て，周辺分布の変化は考慮されていなかった。
- 周辺分布と条件付き分布の両方の変化に対応し，汎化性能を向上させることを目指す。
- 提案手法は，周辺分布と条件付き分布を明示的に分解し，リスクギャップを特徴づける新たなリスク限界を導出した。
- 導出したリスク限界を最小化・検証するメタ学習手続きを設計し，未知ドメインへの強い汎化を保証する。
- 従来のドメイン汎化ベンチマークだけでなく，周辺分布と条件付き分布の両方の変化が大きい長期的な多ドメイン認識設定においても，最先端の性能を達成した。
DASH：バッチ処理されたブロック事前条件付けと効率的な逆平方根ソルバーによる高速シャンプー [cs.LG]目的：分散シャンプーの高速化
- 深層学習モデルの学習効率向上は，大規模モデルの活用に不可欠である。
- シャンプーは高精度だが，内部演算のコストが高く，計算速度が課題であった。
- GPU利用率向上と高速な逆平方根計算により，シャンプーの計算効率を高める。
- 提案手法DASHは，既存の分散シャンプーと比較して最大4.83倍高速な最適化ステップを実現した。
- Newton-DB反復は，検証時のパープレキシティにおいて，他の手法よりも低い値を示した。
- 行列のスケーリングがシャンプーの収束に重要な影響を与えることが明らかになった。
本当に知っているのか？ 大規模言語モデルにおける幻覚軽減のための事実に基づく自己検証学習 [cs.AI]目的：大規模言語モデルにおける幻覚軽減のための自己検証学習
- 大規模言語モデルの利用拡大に伴い，その信頼性が重要視されている。
- 大規模言語モデルは，事実に基づかない内容（幻覚）を生成することが課題となっている。
- モデル自身で事実に基づいた検証を行い，幻覚を抑制することを目指す。
- 提案手法VeriFYは，一貫性に基づく自己検証を通じて，モデルに事実の不確実性について推論することを学習させる。
- 訓練データに検証トレースを追加し，モデルが回答生成，検証クエリ生成，一貫性判断，回答/棄権の決定を行うように誘導する。
- 実験の結果，VeriFYは幻覚発生率を9.7～53.3%削減し，リコールの低下はわずかである。
スケール共変なスパイク波形 [cs.NE, cs.LG]目的：スパイク波形とウェーブレット変換の関係性
- 脳の情報処理メカニズム解明への貢献が期待される
- スパイクニューラルネットワークの表現能力の理論的基盤が不明確
- スパイクニューラルネットワークにおける効率的な信号処理の実現
- ウェーブレット変換とスパイクニューラルネットワーク間の理論的な繋がりが示された。
- リーキーインテグレート・アンド・ファイアニューロンのスケール共変性を利用した離散母波形の近似が確認された。
- 再構成実験により，本手法の実現可能性が示唆され，今後の誤差軽減が課題となった。
大規模バッチ推薦における適応的な品質・多様性のトレードオフ [cs.HC, cs.IR, cs.LG]目的：大規模バッチ推薦における品質と多様性のトレードオフ
- 推薦システムはユーザーエンゲージメントや収益向上に不可欠であり，その多様性が重要視されている。
- 類似アイテムの重複推薦や，大規模アイテムライブラリにおける計算コストが課題となっている。
- ユーザーのフィードバックに基づいて品質・多様性のトレードオフを動的に調整し，推薦の質を向上させる。
- 提案手法B-DivRecは，決定論的点過程とファジー剥離法を組み合わせることで，効率的に品質と多様性のバランスを実現した。
- ユーザーのフィードバックに応じて多様性を適応的に調整するアプローチを提案し，推薦の改善を図った。
- 映画推薦や薬剤リポジショニングのデータセットを用いて，提案手法の有効性と汎用性を実証した。
ヒッパサス：関係データにおける機械学習タスクのための効果的かつ効率的な自動特徴量拡張 [cs.DB, cs.LG]目的：機械学習における関係データの特徴量拡張の精度と効率の向上
- 機械学習の性能は特徴量の質に大きく依存する。関係データでは有用な特徴量が複数のテーブルに分散していることが一般的である。
- 大規模なスキーマや多段パスの探索において，特徴量拡張の計算コストが課題となっている。既存手法は精度と効率の間でトレードオフがある。
- LLMと統計的シグナルを組み合わせることで，効率的なパス探索と特徴量選択を行い，特徴量拡張の精度と効率を両立することを目指す。
- ヒッパサスは，LLMによる意味的推論と統計的シグナルを組み合わせることで，不要なパス探索を削減し，計算資源を高品質な候補に集中させる。
- 最適化された多方向結合アルゴリズムと特徴量の統合により，実行時間を大幅に短縮する。
- 実験結果から，ヒッパサスは既存の最先端手法と比較して，特徴量拡張の精度を最大26.8％向上させ，高い実行性能を示すことが確認された。
単一ニューロンによるモデル自己省察を介したLLMの安全性向上 [cs.RO, cs.AI, cs.LG]目的：大規模言語モデルの安全性向上
- LLMの発展において，安全性は不可欠な要素となっている。
- 既存の安全性調整は計算コストが高く，モデル間の汎用性に課題がある。
- 低コストで汎用性の高い安全性調整手法を確立すること。
- 提案手法は，専門家モデルの低コストな学習と単一ニューロンのゲート機構を用いる。
- モデルの内在能力と外部ガイダンスのバランスにより，実用性と安全性を両立。
- 学習コストとモデル規模に対する汎用性において優位性を示す。
背景物語を用いた多段階推論による事実だけでなく知識の編集 [cs.AI]目的：知識の内部化と，推論におけるその柔軟な応用
- AIの能力向上には，知識の獲得と活用が不可欠である。特に大規模言語モデルにおいて重要性が増している。
- 既存の知識編集手法は事実の記憶に偏り，文脈に応じた知識の統合が困難である。
- 新しい情報を既存の知識と統合し，多段階推論を通じて知識を内部化することを目指す。
- 本研究では，新しい情報を背景物語として提示し，文脈の中で事実関係を説明することで，知識の統合を促進する。
- 自己生成された多段階質問を用いることで，モデルは新しい情報と既存の知識を組み合わせた推論能力を学習する。
- 知識蒸留を用いることで，教師モデルの推論行動を学生モデルに効率的に伝達し，新しい知識の内部化を促す。
LLMを用いた最適化問題の定式化とコード生成のための正準中間表現 [cs.AI, cs.SE]目的：最適化問題の定式化とコード生成に関する研究
- オペレーションズ・リサーチの分野において，自然言語からの自動モデリングは重要性が増している。
- 複雑な運用ルールに対応するためには，複合制約と適切なモデリングパラダイムが必要となるが，既存のLLMベースのアプローチは苦戦している。
- 本研究は，複雑な運用ルールに対応可能な定式化を可能にすることを目的とする。
- 正準中間表現（CIR）を導入し，LLMが問題記述と最適化モデルの間に明示的に生成するスキーマを定義した。
- CIRは，制約の原型と候補となるモデリングパラダイムを通じて運用ルールの意味をエンコードすることで，ルールロジックと数学的具現化を分離する。
- 提案するR2Cフレームワークは，新しいCIR知識ベース上で動作し，問題テキストを解析し，ドメイン知識を検索してCIR実装を合成し，最適化モデルをインスタンス化する。構築したベンチマークにおいて，最先端の精度（47.2%）を達成した。
多様なグループのクリック嗜好を大規模広告画像生成に適合させる [cs.CV, cs.AI]目的：大規模広告画像生成におけるグループごとのクリック嗜好の適合
- 広告効果を高めるため，オンライン指標であるCTRの向上が重要視されている。
- 従来の画像生成手法は全体的なCTR最適化に偏り，グループ間の嗜好性の多様性を無視する。
- グループごとの嗜好性を考慮した画像生成により，ターゲティング広告の効果を最大化する。
- 本研究では，ユーザー属性と商品特性に基づいた動的なグループ分けを行うことで，各グループの嗜好を捉える。
- グループの特徴と画像を同時に理解するGroup-aware Multimodal Large Language Model (G-MLLM) を用いて，グループに特化した画像を生成する。
- 提案手法は，オフラインおよびオンライン両方の環境において最先端の性能を達成し，広告画像のCTR向上に貢献する。
マルチエージェント生成AIワークフローのための制約付きプロセスマップ [cs.AI]目的：マルチエージェント生成AIワークフローにおけるプロセス管理手法
- コンプライアンス等の規制環境下でのAI活用が重要視される中，複雑なワークフローの自動化が求められている。
- 既存のAIエージェントは，プロンプトエンジニアリングに依存しており，不確実性や連携，人間による監視が困難である。
- 本研究では，不確実性の定量化と人間によるレビューを組み込み，ワークフロー全体の効率化を目指す。
- 提案手法は，単一エージェントと比較して最大19%の精度向上を達成した。
- 人間によるレビューの必要性を最大85倍削減することに成功した。
- 特定の構成においては，処理時間の短縮も確認された。
情報ボトルネックとベクトル量子化による帯域効率の良いマルチエージェント通信 [cs.RO, cs.AI, cs.IT, cs.LG, cs.MA, math.IT]目的：マルチエージェント環境における帯域効率の良い通信手法
- ロボット工学等の実世界応用において，エージェント間の協調は重要であり，通信はその鍵となる。
- 現実のロボットシステムでは通信帯域が限られており，協調性能のボトルネックとなっている。
- 帯域制約下でタスクに必要な情報のみを選択的に伝達する通信手法を確立すること。
- 提案手法は，情報ボトルネック理論とベクトル量子化を組み合わせ，通信メッセージを効率的に圧縮・離散化する。
- 協調タスクにおいて，非通信ベースラインと比較して181.8%の性能向上，帯域使用量は41.4%削減を実現した。
- 成功率と帯域使用量のトレードオフ分析において，既存手法を上回る優れた性能を示した。
待つのではなく探求する：大規模言語モデルにおける深層データ調査の評価 [cs.RO, cs.AI, cs.CL, cs.DB, cs.LG]目的：大規模言語モデルにおける深層データ調査の評価
- AIエージェントの能力向上は，社会における様々な課題解決に不可欠である。
- 既存の言語モデル評価は，タスク遂行能力に偏っており，自律的な探求能力の評価が不足している。
- 言語モデルの自律的な情報探索能力を評価する新たなベンチマークと評価手法を確立すること。
- 深層データ調査（DDR）タスクとDDR-Benchベンチマークを新たに提案した。
- 最先端モデルは初期段階の自律性を示すものの，長期的な探索は依然として困難である。
- 効果的な探求型知性は，エージェントの構築やスケールだけでなく，モデル自身の戦略に依存する。
Auto-Comp：コントラスト視覚言語モデルの構成的プロービングのための自動パイプライン [cs.CV, cs.AI]目的：コントラスト視覚言語モデルにおける構成的推論の評価と分析
- 視覚と言語を組み合わせたAIモデルの性能向上は，画像認識や自然言語処理の発展に不可欠である。
- 既存の視覚言語モデルは，構成的な推論において誤りを犯しやすく，その原因特定が困難である。
- 本研究は，視覚と言語の役割を分離し，モデルの構成的推論の弱点を明らかにすることを目的とする。
- Auto-Compは，大規模なベンチマークを自動生成するパイプラインであり，モデルの様々な推論能力を詳細に分析することを可能にする。
- 20種類の視覚言語モデルの評価により，CLIPやSigLIPを含む多くのモデルが，色や空間関係の構成的推論において普遍的な失敗を示すことが明らかになった。
- 視覚言語的な文脈は空間推論を助ける一方で，局所的な属性の結合を妨げるという，意外なトレードオフが明らかになった。
複雑ネットワークシステムの双生: mABCD合成グラフ生成器のデータ駆動型較正 [cs.SI, cs.LG]目的：多層ネットワーク生成器mABCDの構成パラメータ推定
- 複雑系の解析において，関係性データの利用が不可欠となっている。
- 大規模実データ不足のため，グラフ生成器が多用されるが，系統的なバイアスを伴う。
- 実システムを模倣する合成ネットワーク生成を目指す。
- mABCDの構成パラメータを実世界システムから推定する方法を提案した。
- パラメータ間の強い依存関係により，独立推定は困難であり，同時予測が有効である。
- 提案手法により，実システムをデジタルツインとして再現可能なパラメータ設定の探索が可能となった。
ベイズ逆問題に対する拡散事後サンプリングの安定性とロバスト性について [cs.LG]目的：ベイズ逆問題における拡散に基づくソルバーの安定性とロバスト性の特徴づけ
- ベイズ逆問題は，不確実性を含む問題を解決する上で重要であり，幅広い分野に応用されている。
- 拡散に基づくソルバーは，尤度の仮定に依存するため，尤度が真のデータ生成プロセスと不一致の場合，性能が低下する可能性がある。
- 尤度の不一致に対するロバスト性を向上させる拡散事後サンプリング手法を提案し，安定性と性能を改善すること。
- 本研究では，拡散に基づくソルバーの事後分布近似誤差を特徴づけ，その安定性を理論的に証明した。
- 尤度の仮定と復元品質の関連性を明らかにし，尤度の不一致が性能低下を引き起こすことを示した。
- 提案手法であるロバスト拡散事後サンプリングは，尤度の不一致下でも安定性と性能を維持することが実験的に確認された。
LLM NVFP4事前学習における外れ値ダイナミクスの解剖 [cs.LG, cs.CL]目的：LLM NVFP4事前学習における外れ値の発生状況とその経時変化
- 大規模言語モデルは，その性能から様々な分野で重要性が増している。効率的な学習が課題となっている。
- 4bit演算は効率的だが，外れ値に弱く，BF16と比較して損失の差が生じる。
- 外れ値の発生源を特定し，損失の差を軽減する手法を開発すること。
- Softmax Attention (SA)とLinear Attention (LA)を比較した結果，LAの方が外れ値の影響を軽減できることが示された。
- 外れ値は，Softmax，ゲート，SwiGLUなどの特定のアーキテクチャ要素に起因することが明らかになった。
- Hot-Channel Patch (HCP)とCHONを導入することで，BF16との損失差を0.94%から0.58%に縮小し，精度を維持した。