arXiv雑要約
AI - 2026/05/14 公開
拡散ポリシーの高速化のためのブロック単位適応キャッシュ [cs.AI, cs.RO]目的：拡散ポリシーの推論速度向上
- ロボット制御において，視覚と運動のモデリングは重要であり，その高性能化が求められている。
- 拡散ポリシーは計算コストが高く，リアルタイム制御への応用が困難であるという課題がある。
- 既存の高速化手法では拡散ポリシーに適用できず，ブロック単位での適応キャッシュにより解決を目指す。
- 提案手法BACは，中間的な行動特徴をキャッシュすることで，損失なく推論を高速化する。
- 特徴量の類似度が時間的に不均一な変化を示し，ブロックごとに異なるパターンを持つことを利用している。
- 複数のロボットベンチマークで，最大3倍の推論速度向上を達成し，既存のモデルに容易に組み込める。
速度を優先する計画：マスク拡散言語モデルのための間引きスケジュール [cs.CY, cs.RO, cs.CL, cs.AI, cs.IT, cs.LG, cs.NE, math.IT]目的：マスク拡散言語モデルにおける高速非自己回帰的テキスト生成
- 近年，大規模言語モデルの高速化が求められており，非自己回帰型生成モデルが注目されている。
- 既存の並列アンマスク手法は，位置間の相互作用を無視し，速度が低下する傾向にある。
- 並列アンマスク時のエントロピー増加の上界を最小化する間引きスケジュールを提案し，速度と品質のトレードオフを改善する。
- 提案手法DUSは，モデルの修正なしに最大5.8倍の高速化を実現し，速度と品質のバランスを改善する。
- 数学，コード，常識，指示応答など，多様なベンチマークにおいて，既存手法を上回る性能を示す。
- DUSは，適応サンプラーのポストフィルターとしても有効であり，性能向上に貢献する。
LoRA-Mixer：シリアルアテンションルーティングによる座標モジュールLoRAエキスパート [eess.SY, cs.SY, cs.LG, cs.AI]目的：大規模言語モデルのマルチタスク適応におけるLoRAとMoEの組み合わせ
- 大規模言語モデルの適応において，タスクごとに異なる専門知識を持つモデルを効率的に組み合わせることが重要である。
- 従来のLoRA-MoE手法では，パラメータ効率が低下したり，タスクの特殊化が限定的になる問題があった。
- LoRA-Mixerは，アテンションモジュールの線形層にLoRAエキスパートを組み込み，トークンレベルの専門化を促進する。
- LoRA-Mixerは，既存のルーティングおよびLoRA-MoEベースラインを上回り，学習可能なパラメータ数を48%削減した。
- GSM8K，CoLA，ARC-Cなどのベンチマークで，それぞれ3.79，2.90，3.95パーセントポイントの性能向上を達成した。
- 異なるモデルへの転移やアダプターの再利用実験により，本手法の汎用性とデータ効率が実証された。
生成動画の模倣によるロボットマニピュレーション：物理的なデモンストレーションなし [cs.RO, cs.AI, cs.CV]目的：生成された動画の模倣を通じたロボットマニピュレーションの実現
- ロボットの自律的なタスク実行能力向上は，人手不足解消や危険作業の代替に不可欠である。
- ロボットに複雑なマニピュレーションを教えるには，大量の物理的なデモンストレーションが必要となる。
- 物理的なデモンストレーションに頼らず，AI生成動画によってロボットにタスクを学習させる。
- AI生成動画による模倣が，実際のデモンストレーションと同程度の効果を発揮することが示された。
- 生成動画の品質向上は，ロボットのパフォーマンス向上に繋がることが確認された。
- 最先端の動画生成モデルが，ロボットマニピュレーションのための効果的な教師データとなり得る。
推論モデルはどこで拒否するのか？ [cs.CL, cs.AI, cs.LG]目的：推論モデルにおける拒否決定の発生箇所
- 有害な要求への対応は，安全なAI開発において不可欠である。
- 推論モデルでは，応答生成の過程で拒否判断がどこで行われるか不明である。
- 推論過程における拒否決定のメカニズムを解明し，より安全なモデル構築に貢献する。
- 推論過程（CoT）が拒否の有無に影響を与えることが確認された。特定の推論過程を固定することで，拒否/応答のばらつきが減少する。
- 蒸留モデルでは，推論の開始文のわずかな違いが拒否判断を決定し，そのパターンは教師モデル間で共通していた。
- モデル活性化からの線形拒否方向を抽出・除去することで有害な応答が増加するが，効果は非推論モデルほど確実ではない。
多腕サンプリング問題と探索の終焉 [cs.CL, cs.LG, math.OC, stat.ML]目的：多腕サンプリングにおける後悔の概念定義と，それに対するアルゴリズムの提案
- 機械学習や強化学習における意思決定問題の基礎であり，効率的な探索手法の確立が重要である。
- 探索と利用のトレードオフが未解決であり，最適な探索戦略が問題設定に依存する。
- サンプリングにおける探索の必要性を理論的に評価し，効率的なサンプリングアルゴリズムを開発する。
- 多腕サンプリングにおいて，最適に近い後悔境界を持つ単純なアルゴリズムが提案された。
- 最適化問題とは異なり，サンプリングはほとんど探索を必要としないことが示唆された。
- 多腕サンプリングと多腕バンディット問題を繋ぐ連続的な問題族が定義され，理論的な統一性が得られた。
RDMA：電子カルテからの費用対効果の高いエージェント駆動型希少疾患マイニング [cs.CL, cs.LG, cs.AI, cs.CL, cs.MA]目的：電子カルテからの希少疾患のマイニング手法
- 希少疾患は患者数こそ少ないが，累積すると無視できない規模となり，医療資源の適切な配分が重要である。
- 既存のICDコード体系では希少疾患を十分に捉えきれず，診断の遅延や適切な治療の妨げとなっている。
- 非構造化テキストデータから希少疾患を効率的に特定し，診断支援と医療の質の向上を目指す。
- 提案手法RDMAは，ファインチューニングやRAGと比較して，様々なデータ特性を持つベンチマークにおいて大幅な性能向上を示した。
- 量子化された小規模LLMを活用することで，推論コストを最大10分の1，ローカルハードウェアコストを最大17分の1に削減し，プライベートな環境での展開を可能にした。
- 不確実性フラグ機能により専門家の負担を軽減しつつ，高い合意品質を維持し，臨床現場での希少疾患のドキュメンテーションを支援する。
LLM量子化の幾何学：GPTQをBabaiの最近平面アルゴリズムとして [cs.LG]目的：大規模言語モデルの量子化におけるGPTQの数学的等価性の解明
- 大規模言語モデルの利用拡大には，計算コストの削減が不可欠である。量子化はそのための有力な手法の一つ。
- GPTQは広く用いられているが，その動作原理は代数的な更新系列として説明されており，幾何学的解釈や最悪の場合の保証が不明確。
- GPTQの理論的基盤を確立し，より高性能な量子化手法の設計に役立てること。
- GPTQは，線形層において，ヘッセ行列によって定義される格子上の古典的な最近ベクトルの問題に対するBabaiの最近平面アルゴリズムと数学的に同等であることが示された。
- この等価性に基づき，GPTQのエラー伝播ステップの幾何学的解釈が得られ，また，重みのクリッピングがない場合，Babaiのアルゴリズムのエラー上限をGPTQも継承する。
- クリッピングを回避する量子化手法を設計し，元のGPTQよりも優れた性能を発揮。効率的なGPU推論カーネルも提供された。
目標関連経験におけるテスト時オフライン強化学習 [cs.LG]目的：テスト時における目標関連経験を用いたオフライン強化学習によるポリシー改善
- 汎用的な基盤モデルの発展は，多様なタスクへの適応を可能にし，効率的な問題解決に貢献する。
- オフライン強化学習は，データ効率の面で課題があり，特にテスト時の目標への適応が困難である。
- テスト時に目標に関連する経験を選択的に利用することで，計算コストを抑えつつポリシーの性能向上を目指す。
- 提案手法であるGC-TTTは，テスト時に現在の状態と目標に基づいてオフラインデータを選択し，ポリシーを微調整する。
- GC-TTTは，様々なロボットの移動および操作タスクにおいて，標準的なオフライン事前学習を大幅に上回る性能を示した。
- GC-TTTは，モデルサイズの拡大と比較して，より低い計算コストで性能向上が可能であることが示された。
言語モデリングのためのマルコフ圏の枠組み [cs.LG, cs.AI, cs.CL]目的：言語モデリングの内部メカニズム解明
- 言語モデルは自然言語処理の基盤であり，その性能向上は様々な応用を可能にする。
- 言語モデルの学習過程や表現の獲得原理，そしてそれらが複雑な振る舞いを支える理由が未解明である。
- マルコフ圏の理論を用いて，言語モデルの学習，表現，能力の関係性を統一的に説明する。
- マルコフ圏の枠組みにより，隠れ状態が将来のトークンに関する情報量と，推測デコーディング等の並列ドラフティング手法との関係性が定量化された。
- 標準的な負の対数尤度（NLL）損失関数が，最尤次トークンだけでなく，データの持つ条件付き不確実性を学習することの理論的根拠が示された。
- 線形ソフトマックスヘッドにおいて，NLLの二次上限近似と正規化により，表現方向と予測プロトタイプの整合性が保証された。
CADDesigner：汎用エージェントによる概念的CADモデル生成 [cs.AI, cs.CL]目的：概念的CADモデル生成
- CADは設計の効率化に不可欠だが，高度な専門知識が求められる。
- CADの利用障壁が高く，初期段階での設計が困難である。
- LLMを活用し，より容易なCADモデリングを可能にすること。
- CADDesignerは，テキストやスケッチから対話的に要件を明確化し，高品質なCADコードを生成する。
- 新規パラダイムECIPを導入し，反復的な視覚的フィードバックを取り入れることでモデル精度を向上。
- 生成された設計事例を知識ベースに蓄積し，継続的な知識獲得とコード生成の改善を実現。
信頼性の高い協調学習のための集中型適応的サンプリング [cs.LG]目的：独立したマルチエージェントポリシーの信頼性向上
- マルチエージェント強化学習は，複雑な協調タスクの自動化に不可欠である。
- 独立したポリシー勾配法は最適解に収束しない場合があり，不安定になりやすい。
- 共同サンプリングエラーを軽減し，ポリシー勾配学習の信頼性を高めることを目指す。
- 提案手法CoSERは，現在の共同ポリシーに対するアンダーサンプリングされた共同行動に高い確率を置く集中型行動ポリシーを適応的に調整する。
- CoSERは，独立したオンポリシーサンプリングと比較して，共同サンプリングエラーをより効率的に削減できることが示された。
- このエラー削減が，独立したポリシー勾配アルゴリズムの信頼性を高めることが実験的に確認された。
スキルベースの視覚・言語ナビゲーションエージェントの分解と構築 [cs.AI, cs.CL, cs.CV]目的：視覚・言語ナビゲーションにおけるスキルベースの推論フレームワーク
- 自然言語による指示と3D環境のナビゲーションは，ロボット工学や仮想現実において重要な課題である。
- 既存手法は未知の状況への汎化性能が不十分であり，複雑な空間・時間的推論が困難である。
- 解釈可能なスキル分解と，動的なスキル選択による汎化性能の向上を目指す。
- 提案手法SkillNavは，ナビゲーションを複数の原子的なスキルに分解し，それぞれのスキルに対応する専門のエージェントを用いる。
- SkillNavは，GSA-R2Rベンチマークにおいて，従来よりも優れた汎化性能を達成した。
- VLMベースのルーターを用いて，視覚情報と過去の行動に基づいて最適なエージェントを動的に選択する。
グラフニューラルネットワークの厳密検証：増分制約ソルビングによるアプローチ [cs.LG, cs.AI, cs.CR]目的：グラフニューラルネットワークの厳密な検証手法
- グラフニューラルネットワークは，不正検知や医療など重要な分野で活用が拡大している。
- 既存の検証手法では，一般的な集約関数のサポートが不足しており，実用性に課題があった。
- エッジの追加・削除に対する摂動に対する厳密な保証を効率的に計算することを目指す。
- 本研究では，制約ソルビングとバウンドタイトニングを組み合わせることで，厳密な検証を実現した。
- 集約関数として，合計，最大，平均をサポートし，特に最大と平均は初の実装となる。
- 実データセットを用いた評価により，実用性と有効性が確認され，既存手法と比較して優れた性能を示した。
GLASS：LLMの推論時スパース化のためのグローバル・ローカル集約 [cs.LG, cs.AI, cs.CL]目的：LLMの推論時のスパース化手法
- LLMの利用拡大には，リソース制約のあるデバイスでの実行が不可欠である。
- 既存の学習不要なスパース化手法は，入力プロンプトのみで重要度を推定するため不安定になりやすい。
- プロンプトの長さや生成内容によって精度が低下する問題を解決する。
- GLASSは，局所的なプロンプトとグローバルなモデルの情報を統合することで，安定したスパース化を実現する。
- 短プロンプトや長文生成といった難しい条件下で，perplexityを最大45.10%，KL divergenceを25.73%低減する。
- デバイス上でのデコード速度を向上させ，実用的なLLMの展開に貢献する。
時の試練：ベンチマーク汚染のTemporal Signalの再考 [cs.AI]目的：ベンチマーク汚染におけるTemporal Signalの解釈に関する研究
- 大規模言語モデルの評価において，ベンチマークデータの汚染検出は不可欠である。
- カットオフ以降の性能低下が汚染の指標とされてきたが，その信頼性に疑問がある。
- ベンチマーク問題の構造がTemporal Signalに与える影響を明らかにし，より堅牢な汚染検出手法を模索する。
- カットオフ後の性能低下は，問題の構造に大きく左右されることが示された。
- LLMによる問題の変換は，Temporal Signalを効果的に除去しうる。
- 影響関数分析により，この現象のメカニズムが説明された。
高エネルギー物理におけるニュートリノイベント分類のための視覚言語モデルの適応 [cs.LG, cs.AI, cs.CV, hep-ex]目的：高エネルギー物理実験におけるピクセル化された検出器データからのニュートリノ相互作用の識別
- 素粒子物理学は，宇宙の基本的な構成要素と相互作用を解明する重要な研究分野である。
- ニュートリノイベントの分類は，実験データの解釈において精度と効率が課題となっていた。
- 従来のCNNやViTと比較して，視覚言語モデルの性能向上と解釈可能性の向上を目指す。
- Transformerベースのアーキテクチャは，従来のCNNよりも分類精度とロバスト性において優れた性能を示した。
- 視覚言語モデルは，補助的なテキスト情報や意味情報の統合により，より柔軟な予測を可能にした。
- この研究は，実験ニュートリノ物理におけるマルチモーダル推論のための新しい道を開く可能性を示唆している。
活性化の言語化手法は特権情報を伝達するか？ [cs.CL, cs.RO, cs.CL, cs.LG]目的：LLMの活性化と言語化手法による情報伝達の評価
- LLMの内部動作の解釈は，その信頼性と安全性を高める上で不可欠である。
- 既存の言語化手法が，LLMの内部状態ではなく入力情報を反映している可能性がある。
- 言語化手法がLLMの内部動作を本当に解釈しているか検証し，より適切な評価方法を提案する。
- 既存の言語化手法は，対象モデルの内部情報にアクセスしなくても高い性能を示す場合があることが示された。
- 言語化された内容は，言語化LLMのパラメータ知識を反映している可能性が示唆された。
- LLMの動作を厳密に評価するためには，ターゲットを絞ったベンチマークと実験制御が必要である。
CR-Net：交差層低ランク構造によるパラメータ効率的な学習のスケーリング [cs.LG]目的：大規模言語モデルの効率的な事前学習
- 大規模言語モデルの発展には，計算資源の効率的な利用が不可欠である。
- 既存の低ランク手法は，性能低下や計算コスト，メモリ消費量の問題がある。
- 層間活性化残差の低ランク性を活用し，これらの問題を解決する。
- CR-Netは，最先端の低ランクフレームワークと比較して，一貫して高い性能を示す。
- 計算資源およびメモリ消費量を削減しつつ，優れた性能を維持する。
- 60Mから7Bパラメータまでのモデル規模で事前学習実験を行い，その有効性を検証した。
拡散行動世界モデル：行動推論遷移によるオフライン強化学習 [cs.LG, cs.AI]目的：オフライン強化学習のための拡散行動世界モデル
- 強化学習は，複雑な環境下での意思決定を自動化する上で重要な技術である。
- オフライン強化学習では，既存のデータセットからの学習が必要であり，データ効率が課題となる。
- 生成モデルを活用し，データ拡張によって学習効率の向上を目指す。
- 拡散に基づいた世界モデルDAWMは，状態，行動，残りの報酬に基づいて未来の軌跡を生成する。
- DAWMは，効率的な行動推論のために逆ダイナミクスモデル（IDM）を組み込んだモジュール設計を採用している。
- D4RLベンチマークにおいて，DAWMで拡張されたデータで学習したTD3BCやIQLが，既存手法を上回る性能を示した。
LiLAW：サンプル難易度を学習し，ノイズの多い学習を改善するための軽量学習型適応重み付け [cs.LG]目的：深層ニューラルネットワークにおけるノイズとデータ異質性に対するロバスト性の向上
- 深層学習は多くの分野で成果を上げる一方，ノイズやデータ品質への依存が課題である。
- ノイズの多いデータや異質なデータで学習を行うと，モデルの汎化性能が低下する可能性がある。
- LiLAWは，サンプルごとの難易度に応じて損失重みを調整することで，ノイズに強い学習を目指す。
- LiLAWは，3つの学習可能なパラメータのみを用いて，サンプル難易度（易，中，難）に応じた損失重みを動的に調整する。
- 検証ミニバッチを用いてパラメータを更新することで，クリーンな検証セットなしでサンプル優先度を適応的に学習する。
- 様々なデータセット，ノイズタイプ，損失関数，アーキテクチャで精度とAUROCが向上し，特に高ノイズ環境で効果が確認された。
FMC-DETR：周波数分離による航空画像物体検出のためのマルチドメイン協調 [cs.RO, cs.CL, cs.CV, cs.LG]目的：航空画像における物体検出の性能向上
- リモートセンシング技術は，資源監視，交通管理，UAV救助など幅広い分野で不可欠である。
- 高解像度航空画像における微小物体の検出は，視覚的特徴の弱さや大域的文脈のモデリング不足により困難である。
- 既存手法の文脈的相互作用の遅延と非線形推論の限界を克服し，微小物体検出の精度を向上させる。
- 提案手法FMC-DETRは，Wavelet Kolmogorov-Arnold Transformer(WeKat)バックボーンとMulti-Domain Feature Coordination(MDFC)モジュールを導入することで，低周波構造の認識能力とマルチスケール依存関係の適応的非線形モデリングを強化する。
- Compact Partial Fusion(CPF)モジュールは，特徴の多様性とマルチスケール相互作用を改善し，情報フローを安定化させ，冗長な摂動を低減する。
- 複数のリモートセンシングベンチマークにおいて，FMC-DETRは最先端の性能を示し，ベースライン検出器を大幅に上回る結果が得られた。
線形時系列予測における特性根の分析と正則化 [cs.LG, cs.AI]目的：線形時系列予測における特性根の役割の系統的な研究
- 時系列予測は多くの分野で重要な課題であり，その精度向上は不可欠である。
- 複雑なモデルの効果はデータセットによって大きく変動し，安定した性能が課題である。
- ノイズの影響を軽減し，よりロバストで解釈可能な予測モデルを構築することを目指す。
- 特性根は長期的な挙動を支配し，インスタンス正規化などの設計選択がモデルの性能に影響することが示された。
- ノイズが存在する場合，モデルは虚偽の特性根を生成し，データスケーリングが重要になることが明らかになった。
- 提案手法であるReduced-Rank RegressionやRoot Purgeは，主要なベンチマークで最先端の結果を達成し，理論的洞察を検証した。
ソフトマックス関数を超えて：カテゴリ変数の自然パラメータ化 [cs.LG, stat.ML]目的：カテゴリ変数の自然パラメータ化
- 深層学習において，カテゴリ変数モデルは多様なタスクで活用されている重要な要素である。
- 離散的なカテゴリ変数は，勾配降下法による学習において困難をもたらすことが課題となっていた。
- ソフトマックス関数の代替としてcatnat関数を提案し，勾配降下法の効率化を目指す。
- 提案手法catnat関数は，ソフトマックス関数と比較して，学習効率の向上が確認された。
- グラフ構造学習，変分オートエンコーダ，強化学習等の実験で，より高いテスト性能が示された。
- 実装が容易であり，既存のコードベースへの組み込みも容易である。
義務論的議論 [cs.AI, cs.LO]目的：義務論的議論の意味論の定義
- 規範や義務を扱う議論の基礎を築く上で重要である。
- 既存の意味論では，義務の衝突時に弱い許可を扱えない。
- 弱い許可を扱える新たな義務論的議論の理論を提案する。
- 従来のグラウンデッド意味論では弱い許可が扱えないことが再確認された。
- 弱い許可をサポートする新たな意味論を提案した。
- 提案手法は，義務の衝突時にも適切な議論結果を得ることを可能にする。
AIビデオ会議における人偽装をバイオメトリクス情報の漏洩を利用して暴く [cs.CV, cs.AI]目的：AIビデオ会議における人偽装の検知
- ビデオ会議の普及に伴い，セキュリティ上の脅威が深刻化している。
- 既存のディープフェイク検出器は合成映像に対しては有効でない。
- 送信される潜在変数を分析し，人偽装を検知する手法を開発する。
- 潜在変数に内在するバイオメトリクス情報を活用することで，RGB映像を見ることなく人偽装を検出する。
- 提案手法は，既存の防御策よりも優れた性能を示し，リアルタイムで動作する。
- 異なる生成モデルや未知のデータに対しても高い汎化性能を示す。
エージェントによるツール選択の定量的な安全性評価 [cs.CR, cs.AI]目的：ツール選択パイプラインの安全性仕様を満たす確率の上限
- 大規模言語モデルはエージェントシステムで活用され，その安全性は重要である。
- 既存の評価は限定的な環境で行われ，実際のツール環境での脆弱性が課題である。
- 現実的なツール環境下でのツール選択パイプラインの安全性保証を目指す。
- LLMCert-Tは，ツール選択パイプラインが安全性仕様を満たす確率の上限を統計的に算出する。
- この手法は，実際のツール分布を考慮した評価を可能にし，安全性の客観的な指標を提供する。
- 既存のLLMエージェントは，Distractor SelectionやTop-N Saturation仕様下で脆弱であることが示された。
制約思考：言語モデルによる探索における制約付き推論のためのフレームワーク [cs.LG]目的：言語モデルを活用した探索における制約付き推論のためのフレームワーク
- 大規模言語モデルの活用が進む中で，複雑なタスクにおける推論能力向上が重要となっている。
- 既存の推論手法では，実行不可能な行動や誤ったステップが生じやすいという課題がある。
- 高レベルな意図と制約を満たす推論を実現し，効率的かつ検証可能な計画立案を目指す。
- 提案手法「制約思考」は，意図と制約のペアを組み合わせることで，探索空間を効率的に絞り込む。
- リスクゲーム，CADコード生成，算術推論の3つのドメインにおいて，既存手法を上回る精度と構造的整合性を示した。
- 制約思考は，LLMによる制約ガイド型推論の汎用的な基盤を提供し，ドメイン適応能力の高い計画立案を可能にする。
UniJEPA：統一的な連続・離散表現学習によるロボットポリシーの強化 [cs.CL, cs.RO, cs.AI]目的：多様なタスクに対応できる汎用的なロボットポリシーの構築
- ロボット工学において，実世界のような複雑な環境で動作可能な汎用的なロボットの開発が重要である。
- 既存手法では，ビジョン言語モデルと視覚生成モデルのどちらか一方に依存しており，両方の強みを活かせていない。
- 視覚的特徴の動的なモデル化と，予測表現から行動へのマッピング学習を通して，その問題を解決する。
- UniJEPAは，100万件以上の指示操作動画の事前学習により，高次元の視覚的特徴を動的にモデル化する能力を獲得した。
- ロボットによるデータ収集でファインチューニングすることで，予測表現から行動トークンへのマッピングを学習する。
- シミュレーション環境と実世界の分布外タスクにおいて，ベースライン手法をそれぞれ9％，12％上回る性能を示した。
意味的知識が革新を導き，文化的進化を促進する [cs.MA, cs.AI, cs.CY, cs.NE]目的：文化的進化における意味的知識の役割
- 文化進化は人類に特有であり，知識や技術の蓄積を通じて複雑化する。
- 従来の理論では革新をランダムな変動と捉え，複雑な文化進化を説明できない。
- 意味的知識が革新を導き，累積文化を促進するメカニズムを解明する。
- 意味的知識は，意味のある解法への探索を促し，革新の成功を高めた。
- 意味的知識は，過去の発見からの一般化を可能にし，累積文化の変化を加速させた。
- 意味的知識がない場合，革新は偶然に近く，表面的な探索戦略に依存した。
間欠的な貢献を持つ確率的予測市場 [cs.LG]目的：確率的予測市場の設計と分析
- データ利用の増加と正確な予測の需要から，予測の重要性が高まっている。
- データ所有権や競争上の利害関係により，関係者の連携が制限される場合がある。
- エージェントの参加と退出が自由な適応的な予測市場の設計を目指す。
- 提案された市場設計は，エージェントの過去のパフォーマンスを考慮し，時間変動に対応する。
- 欠損した提出があっても最適な予測の組み合わせを学習するロバストな回帰モデルを用いる。
- サンプル内およびサンプル外のパフォーマンスを考慮した報酬分配メカニズムを導入する。
専門知識を活用：ワンショットMoE圧縮において剪定が優位である理由 [cs.LG, cs.AI]目的：MoEモデルの専門家圧縮における最適戦略の解明
- 大規模言語モデルの効率的な運用には，メモリ消費量の削減が不可欠である。
- MoEモデルの圧縮手法として，専門家のマージと剪定が提案されているが，どちらが優れているかは課題である。
- 本研究は，生成タスクにおいて剪定がマージよりも優れていることを実証し，新たな剪定基準を提案する。
- 生成タスクにおいて，既存のマージ技術は専門家ルーティングの制御喪失により誤差が生じることが示された。
- 提案手法REAPは，ルーターのゲート値と専門家の活性化ノルムを考慮し，再構成誤差の上限を最小化する。
- 20Bから1Tパラメータの多様なMoEモデルで，REAPはマージや他の剪定手法を上回り，特に50%圧縮時に優れた性能を発揮した。
VERA-MHコンセプトペーパー [cs.CY, cs.AI, cs.HC, cs.SI]目的：メンタルヘルスにおけるAIチャットボットの安全性評価
- メンタルヘルス分野でのAI活用は，アクセスの向上や負担軽減に貢献し得る。
- AIチャットボットの安全性評価手法が確立されておらず，リスク管理が課題である。
- AIチャットボットの自殺リスク対応の安全性を自動で評価する手法を開発する。
- VERA-MHは，AIチャットボットの自殺リスクに関する安全性を自動評価するシステムである。
- 専門家が作成した評価基準に基づき，ユーザーエージェントと判定エージェントを用いて評価を行う。
- GPT-5やClaudeといった大規模言語モデルの初期評価を実施し，システムの改善に役立てている。
潜在変数を拡張した離散拡散モデル [cs.LG, cs.AI, stat.ML]目的：潜在変数を拡張した離散拡散モデルの提案
- 言語生成の高速化に貢献する離散拡散モデルの重要性が高まっている。
- 従来のモデルではトークン間の依存関係が無視され，少ステップでの性能が低下する。
- トークン間の構造を捉えつつ，効率的なパラメータ化を維持し性能向上を目指す。
- LADDモデルは，最先端のマスク付き離散拡散モデルと比較して，無条件生成の評価指標において改善が見られた。
- 少ないサンプリング予算で，ステップごとに多くのトークンをアンマスクする必要がある場合に有効である。
- 連続潜在変数(Co-LADD)と離散潜在変数(Di-LADD)のインスタンス化を行い，2つの推論スケジュールを検討した。
スケーリング則とモデル構造：推論効率の良いLLMへ [cs.LG, cs.AI]目的：LLMの推論効率と精度を向上させるモデル構造の探索
- LLMは高性能化が進む一方，その推論コストが実用上の大きな課題となっている。
- モデルの精度と推論効率のトレードオフは十分に解明されていない。
- モデル構造（隠れ層サイズ，MLPとAttentionのパラメータ配分，GQA）が推論効率に与える影響を分析する。
- 提案する条件付きスケーリング則は，最適なモデル構造を予測し，既存のオープンソースモデルを上回る性能を示す。
- 同じ学習コストにおいて，最適化されたモデルはLLaMA-3.2よりも最大2.1%高い精度と42%高い推論スループットを達成する。
- 隠れ層サイズ，MLP/Attention比率，GQAなどのモデル構造が，推論コストと精度に重要な影響を与えることが示された。
離散拡散の抜け道：サンプリングの壁を決定的に回避 [cs.LG]目的：離散拡散モデルにおけるサンプリングの壁の克服
- 近年，並列デコーディングによる生成モデルとして離散拡散モデルが注目されている。
- カテゴリカルサンプリング以降，分布情報が失われ，その後のステップで十分な情報が利用できないという問題がある。
- 決定論的潜在経路を導入し，情報を維持することで，より高品質な非自己回帰テキスト生成を目指す。
- 提案手法Loopholingを導入したLDDMは，既存のモデルと比較して生成パープレキシティを最大61%削減した。
- LDDMは自己回帰モデルとの差を縮小し，場合によってはそれを上回る性能を示した。
- また，算術ベンチマークテストにおいても，推論タスクの性能が向上した。
自動音声認識における最小ベイズリスク復号の再評価 [cs.CL, cs.LG, eess.AS]目的：自動音声認識および音声翻訳における最小ベイズリスク復号の有効性
- 近年，テキスト生成の精度向上において，最小ベイズリスク復号が注目されている。
- 音声認識では現在，ビームサーチが主流だが，精度向上の余地がある。
- 音声認識と翻訳において，ビームサーチを超える最小ベイズリスク復号の有効性を示す。
- Whisperモデルを用いて英語と日本語の音声認識・翻訳実験を実施した結果，最小ベイズリスク復号はビームサーチを上回る精度を示した。
- 特に，様々な実験設定において，最小ベイズリスク復号がより高い精度を達成した。
- 本研究は，オフライン音声認識・翻訳において高精度を要求される場合に，最小ベイズリスク復号が有望な手法であることを示唆する。
プライバシー保護付き方策最適化のサンプル複雑性について [eess.SY, cs.SY, cs.LG, cs.AI]目的：プライバシー保護付き方策最適化におけるサンプル複雑性
- 強化学習はロボティクス等の幅広い分野に応用され，その重要性が増している。
- 機密性の高いデータを用いる場合，プライバシー侵害のリスクが課題となる。
- プライバシー保護下での効率的な方策最適化手法を理論的に考察する。
- 本研究では，方策最適化に特化した微分プライバシーの定義を提示した。
- 広く用いられる方策勾配法等のサンプル複雑性を，プライバシー制約下で解析した。
- プライバシー保護コストはサンプル複雑性の低次項として現れる場合が多いことが示された。
高次線形注意機構 [cs.LG, cs.AI, cs.CL]目的：長文脈における自己回帰言語モデルのスケーラビリティ向上
- 言語モデルの性能向上のためには，長文脈を扱えるスケーラブルな注意機構が不可欠である。
- 従来の注意機構は計算コストが高く，長文脈への適用が困難であるという課題があった。
- 高次の相互作用を効率的に捉え，計算コストを削減する注意機構の開発を目指す。
- 提案手法である高次線形注意機構(HLA)は，定数サイズの状態を維持しつつ，線形時間でトークンごとの出力を計算する。
- HLAは，$n \times n$行列を具現化することなく，効率的な計算を実現する。
- この結果から，HLAは注意機構と再帰型アーキテクチャの利点を兼ね備えた，スケーラブルな構成要素となりうる。
シャープネス誘導による確率形状化を用いたグループ相対方策最適化 [cs.LG]目的：大規模言語モデルの推論能力向上を目指した，検証可能な報酬付き強化学習における最適化手法
- 大規模言語モデルの推論能力は重要であり，その向上は自然言語処理分野における重要な課題である。
- 強化学習を用いた言語モデルの学習では，汎化性能の制御が難しく，過学習のリスクが存在する。
- シャープネスを考慮した方策最適化により，汎化性能を向上させ，より安定した学習を実現することを目指す。
- 提案手法GRPO-SGは，勾配の大きさが過剰に変動するトークンを抑制することで，最適化を安定化させる。
- 数学的推論，論理パズル，ツール拡張型質問応答タスクにおいて，GRPOと比較して一貫した性能向上を示した。
- GRPO-SGは，汎化性能を重視したGRPOの有効な拡張として機能することが示された。
CodeClash：目標指向型ソフトウェアエンジニアリングのベンチマーク [cs.SE, cs.AI]目的：目標指向型ソフトウェアエンジニアリングにおける言語モデルの評価
- ソフトウェア開発は，単なるタスクの解決だけでなく，高レベルな目標達成が重要である。
- 既存のベンチマークは具体的なタスクに偏っており，言語モデルの目標達成能力を十分に評価できていない。
- 言語モデルが，明示的な指示なしに反復的にコードを開発し，よりオープンな目的を達成できるか検証する。
- CodeClashは，言語モデルが競争的な目的を達成するために最良のコードベースを構築する多段階トーナメントのベンチマークである。
- モデルは，対戦相手のコードを分析し，テストスイートを作成するなど，コードベースを改善する方法を自律的に決定する必要がある。
- 実験の結果，モデルは戦略的思考に限界があり，長期的なコードベースのメンテナンスにも苦戦することが示された。
最小限の分布仮定下における差分プライバシー非パラメトリック信頼区間 [cs.CR, cs.LG]目的：差分プライバシー非パラメトリック信頼区間の構築
- データ分析におけるプライバシー保護の重要性が増しており，統計的推論とプライバシーのバランスが求められる。
- 既存手法は，漸近正規性などの強い仮定に依存したり，特定のプライバシーメカニズムに制限されたりする。
- 幅広い条件下で任意の差分プライベート推定量を信頼区間に変換する汎用的な枠組みを提案し，実用的な解決策を提供する。
- 提案手法は，特定の limiting distribution を必要とせず，どのような推定量にも適用可能な汎用性を持つ。
- 実験的に，非滑らかな関数や困難な分布に対して，既存の手法よりも優れた性能を示した。
- 本研究により，差分プライバシー下での統計的推論の可能性が広がり，プライバシー保護されたデータ分析の発展に貢献する。
なぜ「シカゴ」は欺瞞的なレビューを予測するのか？LLMを用いた語彙的手がかりからの言語現象の発見 [cs.DC, cs.AR, cs.IR, cs.DL, cs.CL, cs.LG]目的：欺瞞的なレビューを識別するための言語現象
- オンラインレビューは消費者の意思決定に影響を与えるため，その信頼性が重要である。
- 機械学習による欺瞞レビューの識別は可能だが，その根拠となる特徴が不明瞭である。
- LLMを用いて，識別特徴を人間が理解しやすい言語現象として説明することを目指す。
- LLMは，欺瞞的なレビューを識別する際の，直感的でない語彙的手がかりを言語現象として解釈できる。
- 提案する検証フレームワークにより，抽出された言語現象がデータに基づき，他の領域にも適用可能であることが示された。
- これらの現象は，欺瞞検出分類器がない環境下でも，レビューの信頼性評価に役立つ。
半径補償：リーマン多様体上のチャートベース生成モデルにおける半径歪みの修正 [cs.LG, cs.AI, cs.IT, math.DG, math.IT, stat.ML]目的：リーマン多様体上のチャートベース生成モデルにおける基底分布の特性
- 多様体上の生成モデルは，複雑なデータ構造を捉える上で重要である。リーマン多様体を用いることで，データの幾何学的な特徴を考慮できる。
- 従来のチャートベース生成モデルでは，チャートや曲率の違いにより，接空間のスケールと測地線半径の関係が変化する問題があった。
- 測地線半径の尤度，チャート不変な半径フィッシャー情報，接空間の等方性を同時に満たす基底分布を確立し，モデルの安定性と曲率推定の精度向上を目指す。
- 提案手法である半径補償（RC）は，ユーザー指定の一次元法則に従った測地線半径を実現し，チャートを数値的プレコンディショナーとして活用する。
- RCを用いることで，訓練の安定性が向上し，より明確な曲率推定が可能になる。曲率がチャートによる歪みを補正する必要がなくなる。
- バランスの取れた指数チャートを導入することで，モデルの密度分布を変化させずに条件付けを改善し，統計的な意味と数値的な条件付けを分離した。
ドットをつなぐ：電離層予測モデル向け機械学習対応データセット [cs.LG, astro-ph.EP, astro-ph.IM]目的：電離層予測モデル開発を支援するための，機械学習利用に適したデータセット
- 電離層は通信，航空安全，衛星運用に不可欠であり，その予測は宇宙天気予報の重要な課題である。
- 電離層観測データはSparseであり，複雑な相互作用により高精度な予測が困難である。
- 多様なデータソースを統合し，次世代予測モデル開発と既存システムの課題解決を目指す。
- 太陽観測データ，太陽風パラメータ，地磁気活動指標，全電子数コンテンツマップ等の異種データを統合したデータセットを構築した。
- 構築したデータセットを用いて，静穏時および地磁気活動時の垂直TEC予測において，時空間機械学習モデルの性能を評価した。
- 本研究は，電離層ダイナミクス及び太陽地球相互作用の理解を深め，科学的探求と運用予報を支援する基盤を提供する。
スペクトル学習：ハイパースペクトル画像分類のための汎用フレームワーク [cs.CV, cs.AI]目的：ハイパースペクトル画像分類における学習効率の向上
- ハイパースペクトル画像は，地表の詳細な分析に不可欠であり，多様な応用分野で利用されている。
- 深層学習モデルの学習には膨大な計算資源が必要であり，実用的な展開が制限されている。
- 計算コストを削減しつつ，ハイパースペクトル画像の分類精度を維持することを目的とする。
- 提案手法SpectralTrainは，カリキュラム学習とPCAによるスペクトル次元削減を統合し，学習効率を大幅に向上させた。
- Indian Pines，Salinas-A，CloudPatch-7の３つのベンチマークデータセットで，高い汎化性能が確認された。
- 学習時間の2～7倍の高速化を実現し，バックボーンネットワークの種類によらず効果が認められた。
拡散モデルにおけるエネルギーのスケーリング則：画像生成における計算量の定量化 [cs.RO, cs.LG, cs.CV, cs.CY]目的：拡散モデルの画像生成におけるエネルギー消費量の予測
- 画像生成AIの急速な発展に伴い，その莫大な計算資源消費と環境負荷が問題となっている。
- モデル構成やハードウェアによってエネルギー消費量が異なるにも関わらず，体系的な予測手法が存在しなかった。
- 拡散モデルの計算複雑度に基づき，GPUエネルギー消費量を予測するスケーリング則を確立し，持続可能なAI利用に貢献する。
- 拡散モデルの推論処理をテキストエンコーディング，反復ノイズ除去，デコーディングに分解し，反復ノイズ除去がエネルギー消費の大部分を占めることを仮説として検証した。
- 確立したエネルギーのスケーリング則は，個々のアーキテクチャ内で高い予測精度($R^2 > 0.9$)を示し，異なるアーキテクチャ間でも高い相関関係を維持した。
- これらの結果は，拡散モデル推論が計算資源に依存することを確認し，エネルギー消費量の推定が持続可能なAI展開計画の基盤となることを示した。
FireScope：思考連鎖オラクルを用いた山火事リスクラスタ予測 [cs.CV, cs.LG]目的：山火事リスクのラスタ予測
- 気候変動や森林管理の不備により，山火事の規模や頻度が世界的に増加しており，対策が急務である。
- 既存手法は，山火事リスク予測に必要な因果的推論やマルチモーダルな理解が不十分である。
- 視覚情報，気候データ，地理的要因を統合し，大陸を跨いだ汎化性能を持つ高精度なリスクモデルを開発する。
- FireScopeは，米国で訓練し，ヨーロッパでテストすることで，著しい性能向上を達成した。
- 専門家からのフィードバックと自動解析により，FireScopeの思考過程が信頼性が高く，意味的に妥当であることが確認された。
- 言語に基づく推論が視覚生成における汎化性能を向上させることが示され，解釈可能性も高められた。
QuickLAP：半自律システムのための迅速な言語・行動選好学習 [cs.AI, cs.RO]目的：言語と行動の両方のフィードバックに基づく報酬関数の推定
- ロボットは人間との協働が不可欠であり，その学習において言語と行動の理解が重要である。
- 行動のみのフィードバックは意図が不明確，言語のみでは物理的な根拠に欠けるという課題がある。
- 曖昧なフィードバックに対処し，リアルタイムで頑健な報酬学習を実現することを目指す。
- QuickLAPは，言語を潜在的な選好の確率的観測として扱うことで，報酬の特徴量の重要度を明確化する。
- LLMを活用し，自由記述の言語情報から報酬特徴量への注意マスクと選好の変化を抽出する。
- 半自律運転シミュレーターで，QuickLAPは従来のベースラインと比較して報酬学習エラーを70%以上削減した。
拡散が制約を破るとき：RLとMCTSを用いた逐次自己回帰的生成 [eess.SY, cs.SY, eess.SY, cs.SY, cs.CL, cs.CV, cs.AI, cs.CL]目的：制約付き生成における課題とその解決策
- データ駆動型生成モデルは言語や画像処理で成功を収めている。
- 拡散モデルは，設計や計画といった制約が厳しいタスクにおいて，制約違反を起こしやすい。
- 低次元部分多様体におけるサンプル生成の難しさを克服し，制約を満たす生成を目指す。
- 拡散モデルの制約充足の困難さは，低次元部分多様体近傍でのサンプル生成の難しさに起因することが示された。
- 逐次自己回帰的生成に問題を再構成することで，制約を満たす生成が可能になることが確認された。
- 強化学習とモンテカルロ木探索の組み合わせが，実行可能性とタスクの成功率を向上させる。