arXiv雑要約
AI - 2026/03/02 公開
メタ重み付きオンラインサンプリングによるアライメント：データ生成と嗜好最適化のギャップを埋める [cs.CL, cs.AI, cs.LG]目的：大規模言語モデルと人間の価値観・意図のアライメント
- LLMの性能向上には，人間との整合性が不可欠であり，そのために嗜好最適化が重要である。
- 事前収集されたオフラインデータとモデルの動的な学習状態との間に分布の不一致が生じやすい。
- オフラインデータとオンラインデータのバランスを動的に調整し，アライメントギャップを縮小すること。
- MetaAPOは，オフラインデータとオンラインデータを動的に組み合わせることで，既存の嗜好最適化手法を様々な設定で上回る性能を示した。
- MetaAPOは，アライメントギャップを推定する軽量なメタ学習器を用いて，オンラインサンプリングの利点を評価し，的を絞ったオンライン生成を誘導する。
- オンラインアノテーションコストを42%削減できることも示された。
プラットフォームによるエージェントワークフローにおける障害のライフサイクル解明 [cs.AI, cs.SE]目的：プラットフォームによるエージェントワークフローの障害の現れ方，根本原因，および対応策の特定
- ローコードプラットフォームによるエージェントワークフローは開発を加速するが，信頼性・保守性の課題がある
- 自然言語やツール連携を介して障害が伝播しやすく，原因特定と修復が困難である
- エージェントワークフローにおける障害メカニズムを明らかにし，信頼性の高い設計・修復を支援する
- 307件の実際の障害事例を含むデータセットAgentFailを構築し，分析を行った。
- 障害パターン，根本原因，修復の難易度には，ワークフローのノードや原因によって差異が見られた。
- エージェントワークフローの主要な障害メカニズムを特定し，実用的な設計・修復ガイドラインを提示した。
RE-PO：LLMの整合性に関する汎用的なフレームワークとしてのロバストな拡張ポリシー最適化 [cs.AI]目的：LLMの整合性に関するロバストな手法の開発
- LLMは人間との対話において重要な役割を担うため，人間の価値観との整合性が不可欠である。
- 既存手法は，ラベルの信頼性を前提としているが，実際にはノイズを含むデータが存在する。
- ラベルノイズを軽減し，LLMのパフォーマンスを向上させることを目指す。
- RE-POは，期待値最大化法を用いて各ラベルの正しさを推定し，学習損失を適応的に再重み付けすることで，ラベルノイズの影響を抑制する。
- RE-POは，任意の選好損失と確率モデル間の理論的な繋がりを確立し，既存の整合性アルゴリズムをロバストなものへと変換する汎用的なフレームワークである。
- MistralやLlama 3モデルへの適用により，AlpacaEval 2の勝率が最大7.0％向上することが示された。
基盤推論モデルを用いた時間点過程の文脈内学習 [cs.LG]目的：時間点過程における文脈内学習の可能性
- イベント系列の理解は，複雑系の挙動解明や将来予測に不可欠である。
- 既存手法は，各システムごとにモデルを訓練する必要があり，汎用性に乏しい。
- 事前学習済みの基盤モデルを活用し，少ないデータで高精度な予測を可能にすること。
- 本研究では，Hawkes過程からサンプリングした大規模な合成データセットで事前学習されたFIM-PPが，追加学習なしで実世界のデータに対しても高い性能を示すことを示した。
- FIM-PPは，ベンチマークデータセットにおける次イベント予測において，専用モデルと同等の性能を達成した。
- 文脈内学習とamortized inferenceの組み合わせが，時間点過程モデリングの新たな方向性を示す。
MobileLLM-R1：オープンな学習レシピによる10億パラメータ以下の言語モデル推論器の限界探求 [cs.CL, cs.AI]目的：10億パラメータ以下の言語モデルにおける推論能力の向上
- 大規模言語モデルは自然言語処理の重要な要素であり，様々な応用が期待されている。
- 推論能力の獲得には大規模なモデルとデータセットが必要とされてきた。
- データセットの規模を削減しつつ，高性能な推論モデルを開発することを目指す。
- 質の高いデータセットを約2兆トークンに絞り込むことで，推論能力が十分に発揮できることを示した。
- MobileLLM-R1は，オープンソースデータのみで学習された既存モデルを大幅に上回る性能を実現した。
- MobileLLM-R1-950Mは，Qwen3-0.6Bに匹敵またはそれを上回る推論ベンチマークのスコアを獲得した。
汎用データ分析エージェントのスケール化 [cs.CL, cs.AI, cs.IR, cs.LG]目的：汎用データ分析エージェントの構築に関するレシピ
- 科学的発見の自動化やAIの進化において，データ分析エージェントの重要性が高まっている。
- 既存の手法は，プロプライエタリモデルへの依存度が高く，オープンソースモデルは多様なデータ形式や複雑な推論に対応できない。
- オープンソースのデータ分析エージェント構築における，データ不足，訓練戦略，コード実行の不安定性といった課題を解決する。
- DataMindというレシピとDataMind-12Kというデータセットを開発し，汎用的なデータ分析エージェントの性能向上を目指した。
- DataMind-14Bは，複数のデータ分析ベンチマークで，DeepSeek-V3.1やGPT-5といったプロプライエタリモデルを上回る最先端の性能を達成した。
- DataMind-7Bは，他のオープンソースモデルの中で最高のスコアを記録し，DataMind-12KとDataMind-7B,14Bはコミュニティに公開される予定である。
BEV-VLM：統一的なBEV抽象化による軌道計画 [cs.RO, cs.AI]目的：自動運転における軌道計画
- 自動運転の安全性向上は社会実装の鍵であり，精確な軌道計画が不可欠である。
- 従来の画像データのみでは，ノイズやオクルージョンに弱く，ロバストな軌道計画が困難である。
- BEVとHDマップの統合により，より高精度でロバストな軌道計画を実現すること。
- BEV-VLMは，カメラとLiDARデータを融合したBEV特徴マップをVision-Language Models(VLMs)に入力することで，高精度な軌道計画を可能にする。
- nuScenesデータセットを用いた実験により，既存の画像のみを使用する手法と比較して，軌道計画の精度が53.1%向上することが示された。
- 評価シナリオにおいて完全な衝突回避を実現し，VLMsがBEV特徴マップのような処理された視覚表現を効果的に解釈できることを実証した。
VoiceBridge：潜在ブリッジモデルによる汎用音声復元 [cs.SD, cs.AI, eess.AS]目的：多様な歪みからの高音質全帯域音声の効率的な復元
- 音声処理技術は，コミュニケーションや情報伝達において不可欠であり，その品質向上は重要な課題である。
- 従来の音声復元モデルは，特定のタスクに特化しており，多様な歪みに対応できる汎用性に課題があった。
- 本研究では，単一の潜在空間で多様な音声復元タスクを処理できる汎用的なモデルの開発を目指す。
- 提案手法VoiceBridgeは，エネルギー保存型変分オートエンコーダと，ジョイントニューラルプライヤーを導入することで，多様な歪みに対する復元性能を向上させている。
- VoiceBridgeは，単一の潜在空間から潜在空間への生成プロセスにより，様々な音声復元タスクを効率的に処理し，蒸留なしでワンステップ復元を実現する。
- 様々な音声データセットを用いた評価により，VoiceBridgeが，既存手法と比較して優れた性能を示すことが確認された。
過程と結果の関連付け：LLM推論のための条件付き報酬モデリング [cs.LG]目的：LLM推論における報酬モデリングの改善
- LLMの性能向上は，AI研究の重要な課題であり，特に複雑な推論能力の獲得が求められている。
- 既存の報酬モデルは，ステップ間の依存関係を捉えきれていないか，最終結果との整合性に課題がある。
- 因果関係を考慮した報酬モデリングにより，報酬ハッキングへの耐性と推論性能の安定化を目指す。
- 提案手法である条件付き報酬モデリング（CRM）は，各推論ステップを前のステップと最終結果に依存するように設計されている。
- CRMは，因果関係を捉え，報酬の帰属問題を解決し，サンプル間比較の信頼性を高める。
- 様々な実験において，CRMは既存の報酬モデルを凌駕し，安定した性能向上を実現した。
少ないものがより良い：自律運転のための軽量かつ強力な視覚言語モデル [cs.CV, cs.AI, cs.RO]目的：自律運転のための視覚言語モデルによる経路予測
- 自動運転は，社会における移動の効率化や安全性の向上に不可欠な技術である。
- 既存の自動運転システムは，計算コストが高く，多様な環境への適応が課題である。
- 本研究は，軽量なモデルで高性能な自律運転を実現し，汎用性とロバスト性を高めることを目指す。
- 提案手法Max-V1は，nuScenesデータセットにおいて，既存の基盤モデルと比較して全体的な性能を30%以上向上させた。
- 多様な車両から収集されたクロスドメインデータセットにおいても優れた汎化性能を示し，車両間のロバスト性と適応性を示唆する。
- 本研究は，基本的な運転行動を可能にするモデルを提示し，より高度な自動運転エージェント開発の基礎を築く。
構文の解明：言語モデルが文脈自由文法をどのように学習するか [cs.CL, cs.FL, cs.LG]目的：文脈自由文法における言語モデルの学習ダイナミクス
- 自然言語処理において，言語の構造を理解することは不可欠であり，文法はその基盤となる。
- 大規模言語モデルは高い性能を示すものの，学習のメカニズムは未だ解明されていない点が多い。
- 文脈自由文法に基づくサブグラム構造に対する言語モデルの学習挙動を明らかにすること。
- 言語モデルの損失関数は，上位レベルのサブグラム構造に対して線形に再帰的に分解されることが証明された。
- 小規模なTransformerモデルは，人間とは異なり，サブグラム構造を並行して学習することが確認された。
- サブグラムによる事前学習は，文法に対する内部表現を改善するが，深い再帰構造には依然として課題が残る。
MITS：ポイントワイズ相互情報を用いたLLMの木構造探索推論の強化 [cs.AI]目的：LLMの推論における木構造探索の効率と性能向上
- LLMの推論能力向上は，高度な問題解決や意思決定において不可欠である。
- 従来の木構造探索は，計算コストが高く，中間ステップの評価が困難である。
- 相互情報に基づいた効率的な探索手法により，推論の信頼性と計算効率を改善する。
- MITSは，ポイントワイズ相互情報(PMI)を用いたスコアリング関数により，中間ステップの評価と木構造の拡張を効率的に行う。
- エントロピーに基づく動的サンプリング戦略により，不確実なステップへの計算資源の割り当てを最適化する。
- 多様な推論ベンチマークにおいて，既存手法を上回る性能を示し，LLM推論のための効率的なフレームワークであることを確立した。
ラベル条件付きガウス混合Variational Autoencoderによる反事実的説明の合成 [cs.LG]目的：アルゴリズム的決定の影響を受けた個人への是正推奨
- アルゴリズムの公平性や透明性に対する社会的要請が高まる中で，意思決定の説明可能性が重要になっている。
- 既存手法では，入力やモデルの変動に対する頑健性，妥当性，多様性を同時に満たす反事実的説明が困難である。
- 入力から学習された潜在表現と潜在的セントロイド間の補間によって，複数の反事実的説明パスを生成し，頑健性と多様性を実現すること。
- 提案手法LAPACEは，ラベル条件付きガウス混合Variational Autoencoder（L-GMVAE）を用いて反事実的説明を合成する。
- L-GMVAEは，各クラスラベルを多様なプロトタイプセントロイドを持つガウス成分の集合で表現する潜在空間を学習する。
- 実験結果から，LAPACEは計算効率が高く，8つの定量評価指標で競争力のある性能を示すことが示された。
CLEAR-IR：赤外画像の鮮明度向上によるアクティブ再構成 [cs.RO, cs.CV, cs.LG]目的：暗環境下におけるロバストなロボット知覚の実現
- ロボットの自律性向上には，多様な環境下での安定した視覚認識が不可欠である。
- 暗所環境下では，RGB画像がノイズの影響を受けやすく，十分な性能を発揮できない場合がある。
- 赤外画像特有のパターンノイズを除去し，高精度な画像認識を可能にすること。
- 提案手法は，既存の赤外画像強調技術と比較して，画質とロボットの性能の両方を向上させる。
- 本研究は，RGB画像で学習されたタスクを，照明条件に左右されずに暗所環境下でも実行可能にする。
- シーンのRGBスタイルを再現することで，オンボード照明を必要とせずに低照度環境での運用を可能にする。
CMT-Benchmark：専門家研究者によって構築された物性理論ベンチマーク [cs.LG, cs.AI]目的：物性理論における高度な研究レベルの問題に対する大規模言語モデルの評価
- 物性理論は，現代物理学の重要な分野であり，新物質の発見や物性解明に不可欠である。
- 高度な専門知識を要する物性理論問題に対するAIの能力評価が不足している。
- AIが物性理論の問題を解決するための物理的推論能力のギャップを特定し，改善を促す。
- CMT-Benchmarkは，専門家が作成・検証した50個の問題で構成されるデータセットである。
- 最先端モデル（GPT5）でも問題の30％しか解けず，多くの問題がどのモデルにも解けなかった。
- このベンチマークは，AI研究支援者およびチューターの開発を促進すると期待される。
ロバストでプライバシー保護された特徴選択のための置換不変表現学習 [cs.LG, cs.AI]目的：ロバストかつプライバシーを保護する特徴選択のための表現学習手法
- 特徴選択は，データ分析において重要な事前処理であり，モデルの性能向上と計算コスト削減に貢献する。
- 既存手法は，複雑な特徴間の相互作用を捉えきれず，多様な応用事例への適応が困難であるという課題がある。
- 本研究は，分散環境下でのデータプライバシーを保護しつつ，各クライアントの特徴選択知識を統合する枠組みを構築することを目指す。
- 提案手法は，置換不変埋め込みとポリシー誘導探索を組み合わせることで，従来の勾配法に基づくアプローチの制約を克服する。
- プライバシー保護知識融合戦略により，機密データを共有することなく，統一された表現空間を構築することが可能となる。
- サンプルを意識した重み付け戦略により，異質なローカルクライアント間の分布の不均衡に対処し，汎化性能を向上させる。
生成モデルにおける品質と汎化のトレードオフ改善：カルレ・デュ・シャン・フローマッチング [cs.LG, cs.AI, math.DG]目的：生成モデルにおける品質と汎化のトレードオフの改善
- 深層生成モデルは，AI技術の発展に不可欠であり，多様な応用分野で活用されている。
- 既存の生成モデルは，高品質なサンプル生成と汎化性能のバランスを取ることが課題である。
- カルレ・デュ・シャン・フローマッチングは，データ幾何構造を考慮したノイズで正則化し，そのバランスを改善する。
- カルレ・デュ・シャン・フローマッチングは，標準的なフローマッチングよりも品質と汎化のトレードオフにおいて一貫して優れた性能を発揮する。
- 特に，データが不足している場合や不均一にサンプリングされたデータセットにおいて，顕著な改善が見られた。
- この手法は，データ幾何構造，汎化，記憶の関係を数学的に分析する枠組みを提供し，既存のフローマッチングパイプラインに容易に組み込むことができる。
ハイブリッドテンソルEM法による線形動的システム混合モデルの学習 [cs.LG, cs.SY, eess.SY, q-bio.NC, stat.ML]目的：線形動的システム混合モデルの学習
- 時系列データ分析において，多様な時間的ダイナミクスを持つ軌跡をモデル化する上で重要である。
- 複雑かつノイズの多い環境下では，線形動的システム混合モデルの適用が困難である。
- ノイズや複雑さに対する頑健性を高め，線形動的システム混合モデルの学習をより確実にすることを目指す。
- 提案手法であるテンソルEM法は，合成データにおいて，純粋なテンソル法やランダム初期化されたEM法と比較して，より信頼性の高い復元と改善されたロバスト性を示した。
- サル索脳皮質からの神経記録分析において，異なる条件を独立した部分システムとして適切にモデル化・クラスタリングできた。
- 逐次到達課題を行うサルからの神経データ分析にも適用され，複雑な神経データのモデリングにおいて有効であることが示された。
機械学習演算子におけるゼロショット超解像の誤った約束 [cs.CL, cs.LG, cs.AI, cs.CV]目的：機械学習演算子におけるゼロショット超解像の可能性の評価
- 科学的機械学習において，連続現象を離散的に表現する際のモデリングは重要な課題である。
- 機械学習演算子は高解像度推論を可能と謳われるが，その性能は検証されていない。
- 本研究では，機械学習演算子のゼロショット超解像能力の限界と改善策を明らかにする。
- 機械学習演算子は，訓練データよりも高解像度なデータに対する推論において，頻度情報の外挿と解像度の補間を適切に行えないことが示された。
- その結果，機械学習演算子は訓練解像度と異なる解像度での正確な推論が難しく，エイリアシングの影響を受けやすいことが判明した。
- エイリアシングを克服し，ロバストなマルチ解像度汎化を可能にする，データ駆動型マルチ解像度学習プロトコルを提案した。
DINOのウサギの穴へ：タスク関連概念からミンコフスキー幾何学へ [cs.CL, cs.CL, cs.CV, cs.AI]目的：DINOモデルが知覚する内容の解明
- 画像認識技術は，ロボット工学や自動運転など，幅広い分野で不可欠である。
- 深層学習モデルの内部表現はブラックボックスであり，解釈性が課題となっている。
- DINOモデルの表現を幾何学的に分析し，解釈可能性を高めることを目指す。
- DINOv2は，様々なタスクで概念を活用しており，タスクによって利用する概念が異なることが示された。
- 概念表現は必ずしも疎ではなく，密な部分も存在し，理想的な直交性から逸脱する傾向があることが明らかになった。
- 概念は，凸結合された原型によって形成されると考えられ，ミンコフスキー幾何学がその表現に合致することが示唆された。
層間注意の再配分によるマルチモーダルハルシネーションの軽減 [cs.AI]目的：マルチモーダル大規模推論モデルにおけるハルシネーションの軽減
- マルチモーダル推論は，人間のような知能を実現する上で不可欠であり，様々な応用が期待される。
- マルチモーダルモデルは，視覚情報の誤った解釈や推論のずれにより，ハルシネーションを起こしやすい。
- 層間での機能的な注意の不均衡を解消し，推論の一貫性と視覚的な忠実性を向上させる。
- 提案手法は，学習を必要とせず，既存のモデルに容易に組み込むことができる軽量なプラグインである。
- 3つの代表的なマルチモーダルモデルと5つのベンチマークにおいて，平均4.2%の性能向上を示した。
- 計算コストとレイテンシへの影響は，それぞれ1%未満，9%未満と小さい。
DropVLA：Vision-Language-Actionモデルに対する行動レベルのバックドア攻撃 [cs.CR, cs.AI, cs.RO]目的：Vision-Language-Actionモデルへの行動レベルのバックドア攻撃手法
- ロボットの自律性を高めるVLAモデルの活用が期待される中で，セキュリティ上の脆弱性が懸念される。
- 既存研究では，VLAモデルのタスクレベルでの乗っ取りは検討されているものの，個々の行動の制御は未解明である。
- 本研究は，限られたデータポイズニングで，特定の行動を意図したタイミングで実行させる攻撃手法を提案する。
- 提案手法DropVLAは，わずか0.31%のポイズニングで98.67%-99.83%の攻撃成功率を達成し，正常タスクの性能劣化は最小限に抑えられた。
- 画像のみのポイズニングで高い攻撃成功率が得られ，テキストとの組み合わせは効果の向上が見られなかった。
- 実機検証により，カメラ位置の変化による影響を受けつつも，現実世界での攻撃有効性が確認された。
単眼4D再構成における動的ガウススプラッティングの不確実性の重要性 [cs.CV, cs.AI, cs.GR]目的：単眼入力からの動的3Dシーン再構成における不確実性のモデル化
- 動的シーンの3D再構成は，ロボティクスやVR/ARなどに応用され，その重要性が高まっている。
- 単眼からの再構成は，オクルージョンや新規視点において曖昧になりやすく，精度向上が課題である。
- 視点や時間軸における観察頻度に基づき，ガウススプラッティングにおける不確実性を明示的にモデル化する。
- 提案手法USplat4Dは，ガウスごとの不確実性を推定し，時空間グラフを用いて最適化を行う。
- 実験の結果，USplat4Dはオクルージョン下での幾何学的安定性と，極端な視点からの高品質な合成を実現した。
- 不確実性の明示的なモデル化が，動的ガウススプラッティングの性能向上に貢献することが示された。
LLMのファインチューニングによるトムソンサンプリング [cs.LG, cs.AI]目的：大規模離散空間におけるベイズ最適化手法
- 探索空間が広大で構造化されていない問題への対応が求められている。
- 獲得関数の最大化計算コストがボトルネックとなることが多い。
- 獲得関数の最大化を回避し，効率的な探索を実現すること。
- プロンプト応答の改善，熱的に安定なタンパク質の探索，量子回路設計の3つのタスクで有効性が確認された。
- 従来のベイズ最適化と同等の後悔限界を理論的に導出した。
- ToSFiTは，文脈内ベイズ最適化，強化学習，進化探索などの手法と比較して，サンプル効率と計算効率の両方で優れた性能を示した。
オフラインからオンラインへの強化学習における敵対的ファインチューニング：ロバストなロボット制御のために [cs.RO, cs.AI]目的：ロバストなロボット制御のための敵対的ファインチューニング手法
- ロボット制御において，安全かつ効率的な学習は重要であり，特に現実世界での不確実性への対応が求められる。
- オフライン強化学習はサンプル効率が良いが，学習データにノイズや摂動があると，ロバスト性に課題がある。
- この研究は，オフライン学習の効率性とオンライン学習の適応性を両立させ，ロバストな制御を実現することを目的とする。
- 提案手法では，オフラインで学習したポリシーに対し，意図的に摂動を加えることで，ロバスト性を向上させている。
- 性能を考慮したカリキュラムにより，摂動確率を動的に調整することで，ロバスト性と安定性を両立している。
- シミュレーション実験の結果，提案手法は従来のオフライン学習手法よりもロバスト性が高く，収束も早いことが示された。
周期射影に基づく教師あり学習規則を持つ漸近安定な四元数値ホップフィールド型ニューラルネットワーク [eess.SY, cs.SY, math.DG, cs.LG, cs.AI]目的：四元数値を扱う教師あり学習ホップフィールド型ニューラルネットワークの設計
- ロボット制御などにおける姿勢表現に四元数が有効であるため，その応用が期待されている。
- 従来のニューラルネットワークでは，四元数の構造を維持した学習が困難であった。
- 周期射影戦略を用いることで，四元数の構造を維持しつつ安定的な学習を実現する。
- 提案手法は，数学的な厳密性に基づき，高い精度，高速な収束性，そして高い信頼性を実験的に確認した。
- QSHNNの軌跡は，滑らかな曲率を示すことが確認され，ロボットアームの関節姿勢制御への応用可能性を示唆する。
- 本研究は，超複素数や非可換代数構造下でのニューラルネットワーク設計のための枠組みを提供する。
変分推論による不確実性を考慮したデータ同化 [cs.LG, stat.ML]目的：不確実性を考慮したデータ同化手法
- 気象や海洋予測など，時間発展するシステムの状態推定に不可欠な技術である。
- 観測データには誤差や欠損が含まれており，状態推定の精度を制限する。
- 不確実性を明示的に扱うことで，より正確で信頼性の高い状態推定を目指す。
- 提案手法は，予測状態を多変量ガウス分布に従わせることで，不確実性を定量化する。
- カオス的なLorenz-96モデルを用いた実験で，高い精度で較正された予測が得られた。
- データ同化期間を長くすることで，予測性能の向上が期待できる。
分散学習における統一的なプライバシー保証：行列分解によるアプローチ [cs.LG]目的：分散学習におけるプライバシー保証の改善
- データ利用者のプライバシー保護と機械学習の発展が重要視されている。
- 分散学習では，プライバシー保護とモデルの精度維持のバランスが課題である。
- 既存のプライバシー会計手法の限界を克服し，より厳密なプライバシー保証を提供する。
- 本研究では，中心化学習のプライバシー会計に用いられる行列分解の手法を分散学習へ適用する。
- これにより，既存の分散学習アルゴリズムに対するプライバシー会計をより厳密に行うことが可能となる。
- また，提案手法MAFALDA-SGDは，合成データおよび実データにおいて既存手法よりも優れた性能を示す。
小さな草稿，大きな判断：推測による情報集約型視覚推論 [cs.CL, cs.CV, cs.AI, cs.CL]目的：情報集約型画像における視覚推論の性能向上
- 画像とテキストを組み合わせた理解が重要視される中，複雑な視覚情報の処理が課題となっている。
- 高密度なテキストとグラフィカル要素が混在する画像において，重要な手がかりの特定が困難である。
- 複数の視覚情報を統合し，正確な推論を行うための効率的な手法を確立することを目指す。
- 提案手法「Speculative Verdict (SV)」は，複数の軽量なモデルと大規模モデルを組み合わせることで，推論コストを削減しつつ高精度を実現した。
- SVは，多様な推論経路を生成し，合意形成によって信頼性の高い経路のみを最終判断に利用することで，エラーを修正し効率を高めた。
- InfographicVQAなど，情報集約型および高解像度視覚質問応答ベンチマークにおいて，既存手法を上回る性能を示した。
FAPO：欠陥を意識した方策最適化による効率的かつ信頼性の高い推論 [cs.LG]目的：大規模言語モデルの推論能力向上のための，欠陥を考慮した方策最適化手法
- 大規模言語モデルの推論能力は重要であり，その向上は様々な応用分野において不可欠である。
- 従来の強化学習では，誤った推論経路による正解も報酬化され，信頼性の低いパターンが学習に組み込まれることがある。
- 欠陥のある正解を初期段階では活用しつつ，最終的には信頼性の高い推論を促進する手法を開発する。
- 提案手法FAPOは，欠陥のある正解に対しパラメータフリーの報酬ペナルティを課すことで，初期の学習速度を維持しつつ，推論の信頼性を高める。
- 生成報酬モデル（GenRM）を導入し，推論過程におけるエラーを正確に特定することで，より効果的な欠陥検出を可能にした。
- 様々なドメインでの実験により，FAPOが結果の正確性，推論過程の信頼性，学習の安定性を向上させることが示された。
低リソース方言への大規模言語モデル適応：フランス方言ケーススタディ [cs.CL, cs.AI]目的：大規模言語モデルの低リソース方言への適応手法
- 言語資源の少ない方言への対応は，言語的多様性の維持と包容的なAIシステムの実現に不可欠である。
- 大規模言語モデルは，高リソース言語に偏っており，低リソース方言への対応が課題となっている。
- 本研究は，限られたデータと計算資源で方言学習を可能にする手法を模索する。
- 継続事前学習と低ランク適応（LoRA）を用いることで，少ないデータ量で方言への適応が可能となった。
- ケベックフランス方言への適応実験で，少数方言ベンチマークの性能が向上し，標準語の性能劣化は最小限に抑えられた。
- 性能向上は，コーパスの構成に大きく依存することが示された。パラメータ効率的なファインチューニングが方言のギャップを縮小しうる。
Transformerを超えて：状態空間とハイブリッドアーキテクチャにおける文脈学習の理解 [cs.CL, cs.AI]目的：文脈学習に関する評価
- 大規模言語モデルの性能向上は，自然言語処理の発展に不可欠である。
- 文脈学習のメカニズムは未だ十分に解明されておらず，アーキテクチャ間の差異が不明である。
- 異なるアーキテクチャにおける文脈学習の内部動作の違いを明らかにすること。
- Transformer，状態空間モデル，ハイブリッドモデルにおいて，タスク性能は類似しているものの，内部構造は異なることが示された。
- 文脈学習を担う関数ベクトルは，主に自己注意層とMamba層に存在することが明らかになった。
- 関数ベクトルは，パラメトリック知識検索を伴う文脈学習に重要であるが，文脈的知識理解には影響が少ないことが示唆された。
LLMベースの会話型プログラミング支援ツールに対するユーザーの誤解 [cs.HC, cs.AI]目的：LLMベースの会話型プログラミング支援ツールに対するユーザーの誤解の特定
- プログラミング学習の初期段階において，LLM支援ツールは有用な学習手段となりうる。
- ツール機能のばらつきや拡張機能の利用状況により，ユーザーが誤った認識を持ちやすい。
- LLM支援ツールの機能に関するユーザーの誤解を明らかにし，より適切な利用を促す。
- ユーザーは，Webアクセス，コード実行，非テキスト出力といった機能に関して，現実とかけ離れた期待を持っていることが示唆された。
- デバッグ，検証，最適化に必要な情報に関する概念的な理解の不足も示唆された。
- LLMベースのツールは，自身の機能を明確に伝え，プログラミングにおける誤解を解消するための根拠を示す必要がある。
教師あり強化学習：専門家の軌跡から段階的な推論へ [cs.CL, cs.AI, cs.LG]目的：多段階推論を必要とする問題に対する学習方法
- 大規模言語モデルの能力向上は，複雑なタスクへの応用を可能にする上で重要である。
- 小規模モデルでは，強化学習による学習が成功しにくく，過学習も問題となる。
- 専門家の知識を活用し，段階的な推論を促すことで，学習の効率と汎化性能を高める。
- 提案手法であるSRLは，問題を論理的な「行動」のシーケンス生成として再構成することで，小規模モデルでも難しい問題を学習可能にした。
- SRLは，SFTデータセットから抽出された専門家の行動との類似性に基づいて，段階的な報酬を与えることで，より豊かな学習信号を提供する。
- SRLで初期学習を行った後にRLVRで微調整すると，全体的な性能が向上することが示された。
DeepEyesV2：自律的なマルチモーダルモデルへ [cs.CL, cs.CL, cs.CL, cs.CV, cs.AI]目的：エージェント型マルチモーダルモデルの構築
- 画像とテキストを理解するだけでなく，外部ツールを活用できるモデルが求められている。
- 強化学習のみでは，安定したツール利用行動を誘導することが難しい。
- ツール利用のパターンを確立し，状況に応じたツール選択を可能にすること。
- DeepEyesV2は，リアルワールドな理解，数学的推論，検索を必要とするタスクで有効であることが示された。
- 二段階の学習パイプラインにより，複雑なツール連携が可能となり，文脈に応じたツール選択が実現した。
- RealX-Benchという包括的なベンチマークを導入し，マルチモーダル推論の評価に貢献した。
重み演算による言語モデルの操縦 [cs.CL, cs.LG]目的：言語モデルの挙動制御手法
- 大規模言語モデルの性能向上には，質の高いフィードバックが不可欠である。
- 限定的なデータでのフィードバックは，汎化性能の低下や意図しない挙動を引き起こす。
- 少ないデータでも効果的にモデルの挙動を制御し，汎化性能を維持すること。
- コントラストを用いた重み操縦は，モデルのパラメータを重み演算によって編集するpost-training手法である。
- この手法は，活性化操縦よりも高い外挿性能を示し，汎化性能の低下を抑制しながら挙動制御を実現する。
- タスク固有のfine-tuningにおいて，重み操縦は意図しない挙動のドリフトを軽減し，タスク性能を維持する効果が示された。
FPGAベースのリアルタイム波形分類 [cs.NE, physics.ins-det]目的：SiPM集積信号の波形分類
- 素粒子物理実験では，高分解能なカロリメトリーを実現するため，精密なエネルギー測定が不可欠である。
- 従来の閾値トリガーでは，ノイズや低いエネルギーの事象を誤って検出してしまう場合がある。
- 本研究は，FPGAを用いた高速な波形分類により，データ伝送量を削減し，オンラインでのエネルギー測定を可能とする。
- LUTベースのニューラルネットワークをFPGAに実装することで，低リソース消費と高速な推論を実現した。
- バイナリ多層ニューラルネットワークは，遺伝的アルゴリズムを用いて効率的に学習可能であることが示された。
- 提案手法は，デッドタイムのないオンライン処理に適した低遅延性を実現し，リアルタイム性の要求を満たした。
大規模言語モデルにおけるペルソナ役割演技下の道徳的感受性と頑健性 [cs.CL, cs.AI, cs.CY]目的：大規模言語モデルにおける道徳的判断の表現と変化の分析
- 言語モデルが社会的な文脈で利用される機会が増加しており，その道徳的判断を理解することが重要である。
- 言語モデルの道徳的判断がペルソナによってどのように影響を受けるか，定量的な評価方法が不足している。
- 言語モデルにおける道徳的感受性と頑健性を定量的に評価し，モデル間の差異を明らかにする。
- モデルの頑健性はモデルファミリーに大きく依存するが，モデルサイズには系統的な影響は見られない。
- Claudeファミリーが最も頑健であり，GeminiとGPT-4がそれに続く。他のファミリーは頑健性が低い傾向にある。
- 道徳的感受性はファミリー内のサイズが大きいほど高くなる。また，頑健性と感受性は正の相関関係にある。
DiffuMamba: Mambaバックボーンを備えた高スループット拡散言語モデル [cs.LG, cs.AI]目的：拡散言語モデルにおける推論効率の向上
- 言語モデルは自然言語処理の基盤であり，その性能向上が求められている
- Transformerベースの拡散言語モデルは計算コストが高く，推論速度が課題である
- Mambaバックボーンを活用し，Transformerに代わる効率的なモデルを開発する
- DiffuMambaは，Transformerベースのモデルと同等の性能を維持しつつ，最大8.2倍の推論スループットを実現した
- Mambaミキサーを用いたブロック拡散は，系列長に対して線形にスケールし，最も優れた性能を示した
- 拡散ベースの生成システムの将来的な方向性として，効率的な推論が重要であることが示された
降下か巻き戻しか？確率的勾配降下法によるアンラーニング [cs.LG]目的：機械学習モデルからの特定学習データの効果除去
- プライバシー保護の重要性が高まり，データ削除の効率的な手法が求められている。
- 既存のアンラーニング手法は，再学習に匹敵するコストを必要とすることが多い。
- 確率的勾配降下法を用いたアンラーニング手法の理論的保証を確立し，効率性を検証する。
- 強凸関数においてはD2Dがより厳密な保証を提供する。
- 凸関数および非凸関数においてはR2Dがより適切な手法である。
- 実験的に，各アプローチの長所と短所が確認された。
SWITCH：長期的具現化シナリオにおける触覚インターフェースのモデリングと取り扱いのベンチマーク [eess.SY, cs.SY, cs.CV, cs.AI, cs.RO]目的：触覚インターフェースにおけるモデリングと取り扱いの評価
- 現実世界での自律エージェントは，物理的・意味的インフラとの継続的な相互作用が不可欠である。
- 既存のベンチマークは，長期的相互作用と因果関係の要件を十分に考慮していない。
- この研究は，現実世界の制約下における触覚インターフェースの課題を評価し，解決策を探る。
- SWITCHベンチマークは，タスク認識VQA，意味的UIのグラウンディング，行動生成，状態遷移予測，結果検証の5つの能力を評価する。
- 商用およびオープンソースのLMMMsを用いた実験の結果，体系的な課題が明らかになった。
- SWITCHは，再現可能な評価とコミュニティによる貢献を促進するためのデータ，コード，および分割データを提供する。
フローマッチングにおける重要度重み付きスコア正則化ジョイントサンプリング [cs.CV, cs.AI, cs.LG]目的：フローマッチングモデルの出力関数の期待値推定の改善
- 複雑な分布を効率的に表現するフローマッチングモデルの応用範囲拡大
- 限られたサンプリング数での期待値推定における高分散の問題
- 多様性と品質を両立し，信頼性の高い期待値推定を実現する
- 提案手法は多様で高品質なサンプルを生成し，重要度重みと期待値の正確な推定を可能にする。
- スコアベース正則化により，データ多様体上のオフマニホールドドリフトを抑制し，サンプルの多様性を確保する。
- 非IIDサンプルの重要度重み付けにより，バイアスなし推定を可能にする。
脳MRI腫瘍分類における汎用CNNとドメイン特化CNN：事前学習効果の理解 [cs.RO, cs.CV, cs.AI]目的：脳MRI腫瘍分類のためのCNNアーキテクチャの比較分析
- 脳腫瘍の早期発見と適切な治療介入は重要であり，画像診断技術の進歩が求められている。
- 医療画像データは限られている場合が多く，事前学習済みモデルの選択が課題となる。
- 限られたデータ環境下で，ドメイン特化型事前学習が有効か検証する。
- ConvNeXt-Tinyが最も高い性能を示し，テスト精度93%を達成した。
- EfficientNetV2Sは85%の精度で良好な結果を得た。
- RadImageNet DenseNet121は68%の精度にとどまり，汎用CNNの方が有効な転移学習を示唆した。
SocialNav：社会に配慮した具現化されたナビゲーションのための人間を模倣した基盤モデルの学習 [cs.RO, cs.AI, cs.CV]目的：社会的に配慮したナビゲーションのための基盤モデル
- ロボットが人間の社会で活動するには，社会規範を理解し遵守することが不可欠である。
- 既存のナビゲーションシステムは，社会規範を考慮したナビゲーションに課題を抱えている。
- 社会規範を理解し，遵守するナビゲーションモデルを開発し，実用化を目指す。
- SocialNavは，階層的な「脳-行動」アーキテクチャを備え，社会規範を理解し，社会的に適切な軌跡を生成する。
- SocNavデータセット（700万サンプル）を用いて，認知活性化データセットと専門家による軌跡ピラミッドを構築した。
- 最新手法と比較して，成功率が38%向上，社会適合率が46%向上し，ナビゲーション性能と社会適合性の両方で著しい改善を示した。
注意機構を用いた協調的かつスケーラブルな特徴変換のための異種マルチエージェント強化学習 [cs.LG, cs.AI]目的：協調的かつスケーラブルな特徴変換
- 構造化データにおいて，深層学習モデルが複雑な特徴量間の相互作用を捉えることは困難である。
- 自動特徴変換は，ヒューリスティックや網羅的な探索に依存し，効率と時間面で課題があった。
- マルチエージェント強化学習を用いて，動的な特徴量拡張による不安定性を克服し，エージェント間の協調性を向上させる。
- 提案手法は，特徴量の選択と操作のための異種マルチエージェント強化学習フレームワークを導入し，協調的な特徴変換を可能にした。
- 共有された批判メカニズムとマルチヘッドアテンションに基づいた特徴エージェントにより，エージェント間の情報交換を促進し，学習の安定性を高めた。
- 実験により，提案手法の有効性，効率性，堅牢性，および解釈可能性が実証された。
エッジにおけるプライバシー保護型転倒検知：ソニーIMX636イベントベースビジョンセンサーとIntel Loihi 2ニューロモルフィックプロセッサの活用 [cs.NE]目的：高齢者介護のための非侵襲型ビジョンベースの転倒検知システムの開発
- 高齢化社会において，高齢者の安全確保は重要な課題であり，転倒検知はその中でも特に重要である。
- 従来の転倒検知システムは，プライバシー侵害のリスクや，計算資源の制約といった課題を抱えている。
- プライバシーを保護しつつ，低消費電力でリアルタイムな転倒検知を実現するシステムの構築を目指す。
- ソニーIMX636とIntel Loihi 2を組み合わせたニューロモルフィック転倒検知システムの有効性が示された。
- LIFベースの畳み込みSNNは，バイナリスパイクと比較して高いF1スコアと計算効率を達成した。
- MCUNetとS4Dモデルの組み合わせは，Loihi 2上で84%のF1スコアと低消費電力90mWを実現した。
強化学習仕様の改良の自動化 [cs.AI, cs.LG, cs.RO]目的：強化学習における複雑なタスク達成のための論理仕様改良
- 強化学習は複雑な制御問題解決に有効だが，適切な仕様設計が課題。
- タスクが未定義の場合，エージェントは有用な方策を学習できない。
- 粗い論理仕様を改良し，学習を容易にすること。
- AutoSpecというフレームワークを提案し，論理仕様の改良を探索的に行う。
- AutoSpecはSpectRL仕様論理で定義されたタスクに適用可能であり，仕様の健全性を維持する。
- 実験により，AutoSpecが複雑な制御タスクの解決に貢献することが示された。
放射線科医アシスタント：信頼性の高い放射線科レポート作成のための専門ツールを調整するエージェント的フレームワーク [cs.AI]目的：放射線科レポート作成の全ワークフロー
- 放射線科レポートは臨床において不可欠であり，医療の質に直接影響する。
- 既存の自動化手法はレポート作成に焦点を当てすぎており，ワークフロー全体の複雑さに対応できない。
- 単発モデルの限界を克服し，臨床基準に沿った質の高いレポート作成を支援すること。
- Radiologist Copilotは，画像局所化，解析計画，テンプレート選択，品質管理を統合した包括的なワークフローを実現した。
- 専門ツールを自律的に調整することで，放射線科医の視覚的推論と標準化されたレポート作成を支援する。
- 実験結果は，最先端の手法と比較してRadiologist Copilotが大幅に性能を向上させることを示している。
モデレーションから調停へ：LLMはオンライン炎上を調停できるか [cs.AI]目的：オンラインにおける炎上状況の調停におけるLLMの可能性
- オンラインコミュニケーションの普及に伴い，有害コンテンツ対策が重要課題となっている。
- 既存のモデレーションは有害コンテンツの検出に留まり，対立の根本的な解決には至らない。
- LLMを活用し，対立当事者の感情を理解し，建設的な対話を促す調停を実現する。
- LLMを，公平性と感情的な状況を評価する「判断」と，共感的で対立を緩和するメッセージを生成する「誘導」の2つの段階で調停を行う枠組みを提案した。
- Redditのデータセットを用いて評価を行った結果，APIベースのモデルはオープンソースモデルよりも推論能力と介入の整合性において優れた性能を示した。
- 本研究は，LLMがオンラインの社会的調停において有望な可能性を秘めている一方で，限界も存在することを示唆している。
LLM API のログ確率追跡 [cs.LG, cs.CR]目的：LLM API の一貫性監視
- LLM は様々な応用で利用され，その信頼性は重要である。継続的な監視が不可欠である。
- API を通じた LLM の更新は監視が難しく，モデルの変化が把握されていない場合がある。
- ログ確率を用いて，低コストでモデルの変化を検知し，API の信頼性を担保する。
- LLM のログ確率は非決定性だが，API の継続的な監視に利用できることが示された。
- 平均ログ確率に基づく簡単な統計的テストで，微調整レベルの変化を検出可能である。
- 既存手法より1000倍安価で，かつ高感度な変化検出を実現する TinyChange ベンチマークを導入した。