arXiv雑要約
AI - 2026/02/02 公開
活性化パターンを超えて：スパースオートエンコーダ特徴の重みベース文脈外説明 [cs.LG]目的：スパースオートエンコーダ特徴の解釈
- 言語モデルの表現を解釈可能な特徴に分解する技術として重要性が増している。
- 既存手法は活性化パターンに依存し，特徴の訓練目的である計算役割を見過ごしている。
- 重み解析により，活性化データなしで特徴の機能的影響を測定し解釈を目指す。
- 約4分の1の特徴が直接出力トークンを予測することが示された。
- 特徴は深さ依存的な構造を持つ注意機構に積極的に参加していることが確認された。
- 意味的特徴と非意味的特徴の分布プロファイルは注意回路において明確に異なる。
HeaPA：難易度を考慮したヒープサンプリングとLLM強化学習のためのオンポリシークエリ拡張 [cs.LG, cs.CL]目的：LLM強化学習における効率的なロールアウト生成手法
- 大規模言語モデルの推論タスク学習にはRLVRが広く用いられるが，計算コストが大きい。
- 従来のプロンプトプールは静的，または学習状況と連携が弱く，効率的な学習が困難である。
- ヒープサンプリングとオンポリシー拡張により，効率的な学習とパフォーマンス向上を目指す。
- HeaPAは，既存手法と比較して，精度向上と計算量の削減を両立した。
- 特にモデル規模が大きくなるほど，その効果が顕著になることが示唆された。
- ヒープベースの境界サンプリングとオンポリシーによるプール成長が，その要因である。
制御可能な情報生成 [cs.AI]目的：知的な行動の生成
- 人工知能研究において，報酬なしでの自律的な行動獲得は重要な課題である。
- 既存の情報理論的アプローチは設計者の選択に依存し，柔軟性に欠ける点が課題である。
- 設計者の介入なしに，自律的な情報生成を可能にする原理を確立すること。
- 本研究では，制御可能な情報生成（CIP）という新たな内在的動機付け原理を提案した。
- CIPは最適制御から導出され，外部報酬と内部報酬の間のつながりを示す。
- 開放ループと閉鎖ループのコルモゴロフ・シナイエントロピーの差として定義され，混沌の追求と制御を奨励する。
マスク拡散言語モデルの暗黙的正則化の調整：$k$-パリティからの知見による汎化性能の向上 [cs.LG, cs.AI]目的：マスク拡散言語モデルにおける汎化性能の向上
- 言語モデルは自然言語処理の基盤であり，その性能向上は様々な応用分野に不可欠である。
- 拡散言語モデルの汎化性能は，自己回帰モデルと比較して未だ十分に研究されていない。
- 本研究は，$k$-パリティ問題を通して，拡散モデルの学習風景を改善し，汎化性能を向上させることを目指す。
- マスク拡散（MD）目的関数は，特徴学習を促進する信号領域と，暗黙的な正則化として機能するノイズ領域に分解できることが示された。
- MD目的関数を用いた学習により，$k$-パリティ問題において，グロッキング現象を経ずに迅速かつ同時的な汎化が可能になった。
- マスク確率分布の最適化により，50Mパラメータモデルのパープレキシティが改善し，8Bパラメータモデルで最大8.8%の性能向上を達成した。
過度な事前知識への依存克服：自己検証フレームワークによるLVLMにおける物体幻覚の軽減 [cs.CV, cs.AI]目的：大規模ビジョン言語モデルにおける物体幻覚の軽減
- 画像キャプション生成において，LVLMの信頼性を高めることが重要である。
- LVLMは言語の事前知識に過度に依存し，存在しない物体を生成してしまうという問題がある。
- 言語の事前知識への依存を抑制し，物体幻覚を軽減する手法を開発する。
- 本フレームワークは，画像キャプション生成における物体幻覚を大幅に軽減することを示した(LLaVA-v1.5-7BにおいてCHAIRI指標で65.6%の改善)。
- 先行研究を凌駕する性能であり，LVLM本来の潜在能力を引き出す新たな道を示す。
- 生成文の長さが長くなるほど，言語の事前知識への依存が強まり，幻覚が発生しやすくなることを明らかにした。
チャットボットは意図を持つのか？人間とAIの主体性の理解 - 人間と人間のようなチャットボットの対話において [cs.HC, cs.AI]目的：人間とAIのチャットにおける主体性の相互作用
- AI技術の進展により，チャットボットが単なるツールから伴侶へと変化し，人間との関係性が重要になっている。
- AIとの対話において，誰が対話を主導し，境界線を設定するのかが不明確であり，主体性の所在が曖昧になっている。
- 人間とAIの対話における主体性がどのように形成され，相互作用するのかを明らかにすること。
- 人間とAIのチャットルームにおける主体性は，参加者が境界線を設定し，フィードバックを提供することで生み出される共有体験である。
- AIが意図を誘導し，実行を促進すると認識されるにつれて，制御は転換し，ターンごとに共同構築される。
- 主体性（意図，実行，適応，区切り，交渉）を人間，AI，ハイブリッドの３者で捉えるフレームワークを提案する。
時間的グラフパターン機械 [cs.LG, cs.AI, cs.SI]目的：動的システムの解明
- ネットワーク構造の変化を理解する上で，時間的グラフ学習は不可欠である。
- 既存手法は特定のタスクに依存し，短期的な依存関係や静的な近傍構造に限定される。
- 普遍的な進化パターンを学習し，ドメイン間の転移性を高めることを目指す。
- 本研究で提案するTGPMは，時間的に偏ったランダムウォークを用いて相互作用パッチを合成する。
- Transformerを用いて，グローバルな時間的規則性と文脈固有の相互作用ダイナミクスを捉える。
- マスク化トークンモデリングや次時点予測などの自己教師あり事前学習により，ネットワーク進化の法則を明示的に符号化する。
低次元特徴部分空間における機械的アンラーニング [cs.LG, cs.AI]目的：事前学習済みモデルからの特定データの影響除去
- 機械学習モデルのプライバシー保護は重要であり，個人のデータ削除要求への対応が求められている。
- 既存の機械的アンラーニング手法は，大量のデータ再読み込みやモデル全体の更新にコストがかかる。
- 低次元特徴部分空間を利用することで，効率的かつ安全なデータ削除を目指す。
- 提案手法LOFTは，主成分投影を用いて低次元特徴空間でアンラーニングを行う。
- LOFTは，少ない計算量でモデルを更新し，プライバシー漏洩リスクを軽減する。
- 多様なモデル，データセット，タスクにおいて，LOFTの高いアンラーニング性能と計算効率が確認された。
非専門家向けカスタマイズされた輻輳制御 [cs.NI, cs.LG]目的：非専門家によるカスタマイズされた輻輳制御の実装
- ネットワーク性能は現代社会の基盤であり，その最適化は重要である。
- 汎用的な輻輳制御は，特定のユーザーの要求を満たせない場合がある。
- 非専門家でも容易にカスタマイズされた輻輳制御を実装可能にすること。
- 本研究では，大規模言語モデルとBPFを活用し，非専門家が輻輳制御をカスタマイズするフレームワークNECCを提案した。
- NECCは，ユーザーが容易にモデル化，実装，展開することを可能にする。
- 実世界での評価により，NECCの性能が有望であることが示された。
EvoEGF-Mol：構造ベース創薬のための指数幾何学的流れの進化 [cs.LG]目的：構造ベース創薬のための指数幾何学的流れの進化
- 創薬において，分子構造と生物活性の関係を理解することは，新薬開発の根幹をなす。
- 従来の創薬手法では，原子座標と化学的性質の統計的性質を適切に捉えきれていない。
- 分子を指数型分布として捉え，幾何学的な流れを最適化することで，創薬の精度向上を目指す。
- EvoEGF-Molは，CrossDockにおいて，PoseBustersと同等の高い性能（93.4%のパス率）を示した。
- モデルは，実世界のMolGenBenchタスクにおいて，既存手法を上回り，生物活性を持つ足場構造の回収と医薬品化学フィルタを満たす候補化合物の生成に成功した。
- 指数幾何学的流れの進化により，分子の幾何学的精度と相互作用の忠実性が向上した。
拡散モデルにおける表現アラインメント射影による学習不要の表現ガイダンス [cs.CV, cs.AI]目的：拡散モデルの表現ガイダンスによるセマンティックアラインメントの改善
- 近年の生成モデルの発展により，高品質な画像合成が可能となり，制御可能なサンプリングが実現した。
- 推論時のガイダンス手法は，教師なし特徴表現を十分に活用できていないという課題がある。
- 拡散Transformerにおける初期ノイズ除去段階のセマンティックドリフトを軽減し，一貫性のあるアラインメントを促す。
- 表現アラインメント射影を用いることで，モデルアーキテクチャを変更せずにセマンティックアンカーを提供できる。
- SiTsおよびREPAsを用いた実験で，ImageNet合成においてFIDスコアが大幅に低下した（例：REPA-XL/2は5.9から3.3へ）。
- 提案手法はSiTモデルへの代表的なガイダンスよりも優れており，classifier-free guidanceとの組み合わせでも相乗効果が得られた。
大規模言語モデルにおける報酬なし探索が心理学における潜在学習を明らかにする [cs.LG]目的：大規模言語モデルにおける潜在学習の動態
- 認知科学において，柔軟性と汎化能力の限界が課題となっている。報酬への依存度を下げる必要がある。
- 既存の大規模言語モデルは，主に報酬に基づいた強化学習パラダイムに依存している。
- 心理学における潜在学習の知見を大規模言語モデルに応用し，性能向上を目指す。
- 報酬なしの探索段階で，タスク関連知識が偏りなく整理され，その後の報酬導入時に性能が向上する。
- 本研究で提示した二段階の探索体制で事後学習を行ったモデルは，報酬ベースの強化学習のみで学習したモデルよりも高い能力を獲得した。
- 実験結果から，大規模言語モデルにおいても潜在学習の動態が存在することが確認された。
分散強化学習教師からの継続的ポリシー蒸留 [cs.LG]目的：継続的強化学習における知識獲得と忘却抑制のメカニズム
- 生涯学習エージェント実現への不可欠性。多様なタスクへの適応能力が求められる。
- 逐次的なタスクストリームへの直接適用では，スケーラビリティが課題となる。
- 分散学習とポリシー蒸留を組み合わせ，効率的な継続学習を目指す。
- 提案手法は，分散強化学習教師と蒸留による継続学習フレームワークである。
- Meta-Worldベンチマーク実験で，教師の85%以上の性能を維持し，タスクごとの忘却を10%以内に抑制した。
- MoEアーキテクチャとリプレイ手法により，継続学習の安定性と柔軟性を向上させている。
ルールプランナー：3Dフロアプランニングにおける設計ルール統合のためのオールインワン強化学習エージェント [cs.AR, cs.AI]目的：3Dフロアプランニングにおける設計ルールの統合
- 集積回路の微細化に伴い，複雑な設計ルールへの対応が重要になっている。
- 既存手法では，限られた設計ルールしか扱えず，違反時の修正に手間がかかる。
- 様々な設計ルールを統一的に処理し，設計プロセスを自動化することを目指す。
- 提案手法は，設計ルールをマトリックス表現でモデル化し，行動空間の制約と報酬設計によりルール違反を抑制する。
- パブリックベンチマークでの実験により，有効性と汎用性が示された。
- 本フレームワークは，新たな設計ルールにも柔軟に対応可能である。
変換を拡張したGRPOがPass@kを向上させる [cs.LG]目的：Pass@kの改善
- 大規模言語モデルの推論能力向上は，その実用化において重要である。
- 言語モデルは表層的な言い回しに敏感であり，問題の本質を捉えられない場合がある。
- GRPOの弱点である多様性の崩壊と勾配消失を，変換によって克服し，汎化性能を高める。
- TA-GRPOは，質問のセマンティックに等価な変形版を生成し，報酬をプールすることで，勾配消失を抑制する。
- 多様な言い回しでの学習は，複数の解法戦略を促進し，汎化性能の向上に寄与する。
- 数学および科学分野のベンチマークテストにおいて，TA-GRPOは一貫してPass@kを向上させた。
大規模推論モデルにおける潜在的なスパイク操舵による認知慣性の軽減 [cs.LG]目的：大規模推論モデルの認知慣性軽減策
- 大規模言語モデルの性能向上は目覚ましいが，推論コストが課題である。
- モデルが過剰な思考や思考の硬直に陥る「認知慣性」が問題視されている。
- 隠れ状態の変動から認知慣性を検出し，リアルタイムで思考を誘導する。
- STARSは隠れ状態のL2距離のスパイクを検出し，認知的な転換点を特定する。
- 幾何学的軌道解析を用いて転換点の構造を診断し，状態に応じた言語的ヒントを注入する。
- 様々なベンチマークで，冗長なループを抑制し，誤った軌道の修正により精度を向上させる効果が確認された。
FraudShield：LLMに対する詐欺攻撃に対する知識グラフを活用した防御 [cs.CR, cs.AI, cs.CL]目的：LLMへの詐欺情報の操作による有害な結果を抑制する手法
- LLMは業務自動化に不可欠だが，詐欺に対する脆弱性が課題である。
- 既存の防御方法は，効果，解釈可能性，汎用性に限界がある。
- 詐欺戦術とキーワードの関係性を知識グラフで表現し，LLMの安全性を高める。
- FraudShieldは，4つの主要なLLMと5つの詐欺タイプに対し，既存の防御法を凌駕する性能を示した。
- 本手法は，LLMの生成根拠を明確にする解釈可能な手がかりを提供する。
- 詐欺戦術とキーワードの知識グラフにより，LLMへの入力内容を強化し，安全な応答を導く。
オーストラリアの小中学生におけるAIリテラシー，安全意識，STEM分野への関心：ワークショップ介入の効果評価 [cs.CY, cs.AI]目的：オーストラリアの小中学生におけるAIリテラシー向上と，概念理解の促進
- AI技術は社会に浸透しており，若者のAIに対する理解は不可欠である。
- ディープフェイク等の合成メディアのリスクが高まる中，学生の露出や行動に関する知見が不足している。
- 学生のAIリテラシーと安全意識を高め，STEM分野への関心を促すことを目指す。
- 介入後，学生のAI知識と自信の自己評価が向上し，Netflix等のAI活用プラットフォームの認識も改善された。
- ディープフェイクの閲覧経験は82.4%に達し，共有・作成経験も一定数見られた。
- ワークショップ後のSTEM分野への関心は上昇傾向にあったが，効果量は小さく，継続的な取り組みの必要性が示唆された。
予算制約下での推論のための弾力性スペクトル状態空間モデル [cs.DC, cs.LG]目的：予算制約下での推論のための弾力性スペクトル状態空間モデル
- 近年，大規模基盤モデルの利用が拡大しており，様々なハードウェア環境への適応が求められている。
- 既存手法はモデル群の学習や知識蒸留に依存し，リアルタイムなモデルサイズ調整が困難である。
- 本研究は，一度の学習で任意のスケールへのリアルタイムなモデル縮小を可能にする手法を提案する。
- 提案手法である弾力性スペクトル状態空間モデル（ES-SSM）は，追加学習なしで様々な計算資源に適合可能である。
- ES-SSMは，テキスト，論理，検索，画像，音声など，多様な長系列ベンチマークにおいて，既存のTransformerやSSMと同等の性能を示した。
- 推論時の予算に応じてモデルを縮小することで，安定した性能と計算コストのトレードオフを実現した。
フローマッチングモデルの段階的微調整 [cs.NI, cs.LG]目的：フローマッチングモデルの微調整手法
- 生成モデルは，多様な応用で重要な役割を果たすが，データ効率が課題となる場合が多い。
- 限られたデータや分布の変化下では，従来の微調整が事前学習の効果を損なう可能性がある。
- 分布シフト下でのスケーラブルな適応を実現する，理論的根拠に基づいた微調整手法を提案する。
- 提案手法GFTは，事前学習と目標分布のドリフト間を滑らかに補間する温度制御された中間目的関数を定義する。
- GFTは，周辺および条件付きの目的関数に対して収束性を証明し，学習中の適切な結合を維持する。
- 実験的に，GFTは収束性を向上させ，確率経路を短縮し，高速な推論を可能にするとともに，生成品質を維持する。
行動充足な目標表現 [cs.LG, cs.AI]目的：オフラインの目標条件付き強化学習における目標表現の性質
- 複雑なタスクを解決するために，強化学習において目標を階層的に扱う手法が重要である。
- 従来の目標表現は，価値関数の推定に十分な情報のみを保持するため，最適な行動選択が困難になる場合がある。
- 行動選択に必要な情報を保持する「行動充足性」を満たす目標表現を定義し，その有効性を示す。
- 価値充足性は行動充足性を意味しないことが示され，行動充足性が制御の成功とより強く関連していることが実験的に確認された。
- 低レベルポリシーの標準的なlog-loss学習が，自然に「行動充足性」を満たす表現を誘導することが示された。
- ベンチマーク実験において，価値推定で学習した表現と比較して，提案手法の表現の方が常に優れた性能を示した。
複数当事者多目的最適化における公平性考慮型性能評価 [cs.NE]目的：複数当事者多目的最適化問題における公平性評価手法の開発
- 多岐にわたる意思決定者が関わる状況において，各々の目的を考慮した最適な解の探索が重要である。
- 従来の評価指標は平均化されており，特定の当事者に有利な評価となり得る不公平性の問題がある。
- 異質な意思決定者間の合意形成を促し，公平な解の評価を可能にすることを目指す。
- 提案手法は，ゲーム理論に基づき公平性評価関数が満たすべき4つの公理を形式化している。
- 妥協率ベクトルを導入することで，古典的な最適解の定義を拡張し，Nash積に基づいた評価枠組みを構築した。
- 実験結果から，提案手法が合意を考慮した公平性を反映し，アルゴリズム性能を適切に識別できることが示された。
継続的なタスク変動下における生涯学習型車両経路問題 [cs.LG, cs.AI]目的：継続的に変動するタスク下での生涯学習型車両経路問題の解決
- 車両経路問題は，物流効率化の鍵となる重要な課題である。
- 既存手法では，タスクの継続的な変動や学習資源の制約を考慮できていない。
- 限られた学習資源下で，知識の忘却を防ぎつつ，新たなタスクへの適応を目指す。
- 提案手法DREEは，継続的なタスク変動下において学習効率を向上させ，破滅的忘却を軽減する。
- DREEは，新たなタスクを学習しつつ，既存の知識を保持し，未知のタスクへの汎化性能を高める。
- DREEは，様々な既存のニューラルソルバーに適用可能である。
破壊された合成性：算術におけるTransformerの直感に反する学習ダイナミクス [cs.LG, cs.AI]目的：算術タスクにおけるTransformerの学習ダイナミクスとその原因の解明
- 大規模言語モデルは急速に進化しており，その能力向上は様々な分野に貢献する。
- 言語モデルの学習方法と，人間とのスキル構成における乖離が課題となっている。
- Transformerがどのようにスキルを習得し，構成するのか，そのメカニズムを明らかにすること。
- Transformerは，人間のような段階的なルールに従ってスキルを構成せず，逆順や並行してスキルを獲得することが示された。
- この結果，分布シフトが発生すると予期せぬ混合エラーが発生し，「破壊された合成性」と呼ばれる現象が確認された。
- 学習ダイナミクスは，因果関係や手続き的な構成ではなく，訓練データとの相関関係のマッチングによって形成されることが示唆された。
UAV支援VLCにおけるDRLを活用した軌道計画：最適な高度と報酬設計 [cs.CL, cs.LG]目的：UAV支援VLCシステムにおける三次元軌道計画
- UAVとVLCの統合は，柔軟な通信と効率的な照明を提供する有望な技術であるため重要である。
- UAVの飛行距離を最小化し，データ収集効率を最大化する軌道計画は課題であった。
- 複雑な環境下での適応的なUAV動作戦略を実現し，データ収集効率の向上を目指す。
- 最適な飛行高度を導出することで，従来の方式と比較して飛行距離を最大35%削減できることが示された。
- 新規のフェロモン駆動型報酬メカニズムにより，収束ステップ数が約50%短縮され，効率的なデータ収集が可能となった。
- 提案手法は，UAV支援VLCデータ収集において優れた性能を発揮することがシミュレーションによって確認された。
自己報酬が機能する理由：言語モデルの反復的アライメントに関する理論的保証 [cs.AI]目的：自己報酬型言語モデルの反復的アライメントの理論的保証
- 言語モデルの性能向上には，人間によるフィードバックが不可欠だが，コストとスケーラビリティに課題がある。
- 自己報酬型言語モデルは実証的に成功しているが，そのメカニズムについては理論的な理解が不足している。
- 初期モデルの質に依存する自己報酬型言語モデルの限界と，反復による改善の度合いを理論的に解明する。
- 単一の更新ステップにおいて，初期モデルの質が重要な影響を与えることが理論的に示された。
- サンプルサイズnが増加するにつれて，パフォーマンスは$\widetilde{\mathcal{O}}\left(1/\sqrt{n}\right)$の速度で向上することが証明された。
- 反復回数Tが増加するにつれて，初期モデルへの依存度は指数関数的に減少することが明らかになり，自己報酬の成功理由が説明された。
パーキンソン病の精密な意思決定のための主観的・客観的測定における説明可能なAI：SCOPE-PD [cs.LG, cs.AI]目的：パーキンソン病の精密な意思決定を支援するための説明可能なAI予測フレームワーク
- パーキンソン病は，遺伝，臨床，ライフスタイルに影響される複雑な疾患であり，早期発見が重要である。
- 従来の診断方法には主観性が伴い，診断の遅れが生じやすいという課題がある。
- 主観的・客観的評価を統合し，個別化されたリスク推定を可能にする説明可能なAIモデルを開発する。
- SCOPE-PDは，主観的および客観的な臨床評価データを統合し，パーキンソン病の予測を行うフレームワークである。
- ランダムフォレストアルゴリズムは，98.66％という高い精度を達成し，震え，運動緩慢，表情が重要な特徴として特定された。
- SHAP分析を用いてモデルの解釈可能性を検証し，予測根拠を明確化した。
グラフ生成のための変分ベイズフローネットワーク [cs.LG]目的：グラフ生成におけるノードとエッジの属性のサンプリングと構造的制約の充足
- グラフ構造は，様々な分野でデータ表現として重要であり，その生成技術は応用範囲が広い。
- 既存のグラフ生成モデルは，ノードとエッジの関連性を十分に捉えられておらず，生成の安定性に課題がある。
- ノードとエッジの関連性を考慮した生成モデルを構築し，生成の質と多様性を向上させる。
- 提案手法VBFNは，変分リフティングにより，ノードとエッジ間の結合を考慮した生成を可能にする。
- VBFNは，表現から誘導される依存グラフを用いて，ラベル漏洩を防ぎつつ，ノードとエッジの一貫性を強制する。
- 合成データおよび分子グラフデータセットにおいて，VBFNは既存手法よりも高い忠実性と多様性を示す。
ダーウィニアンメモリ：GUIエージェント進化のための訓練不要な自己調整型メモリシステム [cs.CL, cs.AI]目的：GUI自動化における長期タスク実行の改善
- GUI自動化は，多様なアプリケーション操作を可能にする重要な技術である。
- 既存のメモリシステムは，動的なGUI環境への適応が難しく，性能低下を招く。
- 本研究は，GUIタスクにおけるエージェントの自己進化能力を向上させることを目指す。
- ダーウィニアンメモリシステム（DMS）は，生存競争の原理に基づいた動的なメモリエコシステムを構築する。
- DMSは，タスクを再利用可能な単位に分解し，有用性に基づいた自然選択により最適な経路を維持する。
- 実世界での実験により，DMSは成功率を平均18.0％，実行安定性を33.9％向上させることが示された。
検証可能な推論トレース報酬によるTableQAの性能向上 [cs.AI]目的：TableQAエージェントの推論能力向上
- TableQAは，テキストや画像処理とは異なり，テーブルの状態を経路的に変換する必要があり，複雑な推論が求められる。
- 既存手法では，テーブル変換における段階的な推論のフィードバックが不足しており，推論能力の改善が課題である。
- RE-Tabは，テーブル変換における報酬を与えることで，エージェントの推論経路を誘導し，性能向上を目指す。
- RE-Tabは，状態遷移とシミュレーション推論において，検証可能な報酬を与えることで，TableQAにおける最先端の性能を達成した。
- 推論コストを約25%削減し，QAの精度を最大41.77%向上，テスト時の推論サンプル数を33.33%削減することに成功した。
- 様々なLLMとベンチマークにおいて一貫した改善が見られ，RE-Tabの汎用性が確認された。
合理主義者から学ぶ：中間的な解釈可能な根拠の抽出 [cs.LG, cs.AI]目的：深層ニューラルネットワークの解釈可能性向上
- 深層学習の利用拡大に伴い，その判断根拠の透明性が重要視されている。
- 根拠抽出は組み合わせの探索空間が大きく，基盤モデルの能力不足が課題となる。
- 教師モデルの根拠と予測から学習し，解釈性と予測性能を向上させる。
- 提案手法REKDは，言語モデルBERTやViTを用いた実験で，学生モデルの予測性能を大幅に改善した。
- REKDは，教師（合理主義者）の根拠と予測を利用することで，より効率的な学習を実現する。
- 本手法は，どのようなブラックボックスニューラルネットワークにも適用可能である。
強化学習のファインチューニングにおける設計選択の解明：バッチ式文脈バンディット学習の視点 [cs.LG, cs.AI]目的：強化学習のファインチューニングにおける設計選択の影響と重要性に関する理解
- 強化学習は，複雑な意思決定問題への応用が期待され，その性能向上は重要である。
- 設計選択間の相互作用により，各選択肢の貢献度を特定することが困難である。
- 設計選択の影響を分離し，重要な選択肢を特定することで，効率的な学習を目指す。
- バッチ式文脈バンディット学習との関連性を示すことで，実験的な分析を可能にした。
- アドバンテージ関数やロールアウト数などの要素が学習と汎化に与える影響を明らかにした。
- 特に重要な設計選択肢を特定し，今後の研究の方向性を示唆した。
幾何学的なデコーディング：複雑な推論のための埋め込み空間の混雑緩和 [cs.HC, cs.CC, cs.AI]目的：大規模言語モデルにおける複雑な推論の改善
- 大規模言語モデルの性能向上は，AI研究の重要な課題である。
- 既存のデコーディング手法は，埋め込み空間におけるトークンの関係性を考慮していない。
- 埋め込み空間の混雑を緩和し，より多様で正確な推論を可能にする。
- 埋め込み空間における混雑現象を定量的に評価し，その程度と数学の問題解決の成功との間に統計的な関連性を見出した。
- 新しいサンプリング手法CraEGを提案し，幾何学的なガイドによる再重み付けを通じて混雑を緩和する。
- 複数のモデルとベンチマークにおいて，生成性能，堅牢性，多様性が向上することを示した。
非定常時系列データにおける切り替え状態空間モデルを用いた学習による先送り [cs.LG, stat.AP]目的：非定常時系列データに対する先送り学習
- 時系列データ分析は，金融，気象，医療など幅広い分野で不可欠である。
- 環境変化への適応が難しく，予測精度が低下する可能性がある。
- 専門家の予測を活用し，状況に応じた最適な専門家選択を目指す。
- 提案手法は，専門家残差をモデリングすることで，時系列データの非定常性を捉え，予測精度を向上させる。
- 共有グローバル因子を用いることで，専門家間の情報伝達を可能にし，先送り学習の効率を高める。
- 実験結果から，提案手法はコンテキストバンデットのベースラインや共有因子を持たないアブレーションと比較して優れていることが示された。
ニューラルに着想を得た事後分布近似（NIPA） [cs.LG, stat.CO, stat.ML]目的：効率的なベイズ推論のためのサンプリングアルゴリズム
- 人間の学習効率の高さに着目し，そのメカニズムを解明することが重要である。
- ベイズ推論は計算コストが高く，大規模な問題への適用が困難である。
- 生物学的効率の原理を応用し，ベイズ推論のスケーラビリティを向上させる。
- 提案手法は，モデルベース，モデルフリー，エピソード制御の3つのモジュールを組み合わせる。
- モデルベースモジュールは高精度だが計算コストが高く，モデルフリーモジュールは高速だが精度が低い。
- エピソード制御モジュールは過去のサンプルを再利用し，迅速なサンプリングを実現する。
圧縮性ナビエ-ストークス方程式に対する自己回帰ニューラル演算子の長期ロールアウトのベンチマーク：保存量の補正 [cs.LG]目的：圧縮性ナビエ-ストークス方程式に対する自己回帰ニューラル演算子の長期予測性能評価
- 偏微分方程式の数値解法は科学技術計算の基盤であり，高精度かつ高速な解法が求められている。
- 深層学習による解法は高速だが，自己回帰誤差の累積により長期予測において精度が低下する。
- 物理量の保存則を深層学習モデルに組み込み，長期予測の安定性を向上させる。
- 提案手法である保存量補正により，モデルアーキテクチャに依存せず，自己回帰ニューラル演算子の長期安定性が一貫して向上した。
- スペクトル領域におけるニューラル演算子の性能を分析した結果，現在のアーキテクチャには高周波成分の扱いに課題があることが示された。
- 乱流モデリングにおいては，高周波成分に重点を置いたアーキテクチャの検討が重要である。
検知と行動：メタブラックボックス最適化による自動動的最適化器 [cs.NE, cs.LG]目的：動的最適化問題における自動的な環境変化の検知と自己適応
- 動的最適化問題は現実世界の様々な問題に応用可能であり，その重要性は高い。
- 従来の動的最適化手法は，人間の手動による適応戦略に依存しており，汎用性に課題がある。
- 本研究は，強化学習を用いて自動的に環境変化を検知し，最適化戦略を自己適応させることを目指す。
- 強化学習を活用した二層学習による最適化アプローチを提案し，環境変化の検知と探索戦略の適応を自動化した。
- 提案手法は，未知の動的最適化問題に対しても，優れた汎化性能を示すことが実験的に確認された。
- 多様な合成インスタンスを含むテストベッドを用いた評価により，提案手法の柔軟性と高性能が実証された。
制約のある駐車シナリオにおける経路計画のための強化学習の適応 [cs.IR, cs.RO, cs.AI]目的：制約された駐車シナリオにおけるリアルタイム経路計画
- 自動運転システムの実現には，リアルタイムでの経路計画が不可欠である。複雑な環境下での効率的な計画が求められる。
- 従来の経路計画手法は，完璧な環境認識を前提とし，現実世界の制約に弱く，計算コストが高いという課題がある。
- 現実世界の制約下でもリアルタイムに動作する，効率的かつロバストな経路計画手法を確立すること。
- 提案手法は，従来の経路計画手法と比較して，成功率が96%向上し，効率が52%向上した。
- 強化学習を用いることで，理想的な環境認識を必要とせず，簡素で実用的な実装が可能となった。
- 開発したベンチマークは，自動運転システムの将来の研究を促進するため，オープンソースとして公開されている。
効率的な短文生成のためのLLMのホログラフィック特性について [cs.CL, cs.AI]目的：LLMの強力な生成能力に関連する特性の解明
- LLMの発展は，文脈学習や思考の連鎖といった能力への関心を高めている。
- LLMの生成能力の根本的な特性に関する研究は不足している。
- LLMのホログラフィック特性を解明し，推論効率の向上を目指す。
- LLMは生成プロセスの初期段階でターゲット側のキーワードを捉える傾向があることが明らかになった。
- この現象を「言語モデルのホログラフィック特性」と名付けた。
- 提案手法HOLOは，自動評価と人間による評価の両方で，既存手法と同等の性能を達成した。
LLM評価者は本当に自己中心的か？自己選好評価の妥当性検証 [cs.IR, cs.CL, cs.AI, cs.LG]目的：大規模言語モデルの自己選好評価における評価バイアスの検証
- LLMの自動評価は，効率化に貢献するが，その信頼性確保が重要である。
- LLMが自身の出力を優先する傾向があり，評価の客観性を損なう可能性がある。
- 評価バイアスの原因を特定し，信頼性の高い評価手法を確立することを目指す。
- LLM評価者は，自身が誤答した問題に対して自己出力を優先する傾向が確認された。
- 提案するEvaluator Quality Baselineにより，初期結果の統計的有意性が51%に低下した。
- この基盤は，ノイズの多いデータを除去し，自己選好評価研究の精度向上に貢献する。
外骨格制御空間の探索：人間協調型シミュレーション [cs.RO, cs.GR, cs.LG]目的：外骨格支援の最適化
- 移動能力の向上に貢献する外骨格技術は，医療・介護分野での活用が期待されている。
- 外骨格制御器の最適化には多くの人実験が必要だが，歩行困難な人々の参加は困難である。
- 人間実験に頼らず，シミュレーションによる外骨格支援の最適化を目指す。
- Exo-ploreは，神経筋シミュレーションと深層強化学習を組み合わせることで，人実験なしに股関節外骨格の支援を最適化できる。
- 生成された現実的な歩行データにより，外力への人間の適応を捉え，確率的な歩行の変動にもかかわらず，信頼性の高い最適化結果が得られる。
- 病的な歩行にも対応可能であり，病状の重症度と最適な支援レベルの間に強い線形関係が認められた。
EUGens：効率的，統一的，汎用的な密結合層 [eess.SY, cs.SY, cs.LG, cs.AI]目的：効率的なニューラルネットワークにおける密結合層の改良
- 機械学習モデルの実用化には，計算資源の制約下でも高速な推論が不可欠である。
- 従来の密結合層は，計算量とパラメータ数が多く，ボトルネックとなりやすい。
- EUGensは，計算効率と表現力を両立させ，大規模モデルの実装を可能にする。
- EUGensは，ランダム特徴を利用し，既存の効率的な密結合層の拡張を統合・改善する。
- 推論時間を二次から線形に短縮し，パラメータ数と計算量を削減しながら，表現力を維持する。
- TransformersやMLPへのEUGensの統合により，推論速度とメモリ効率が大幅に向上した。
富の囁き：プロンプト注入によるGoogleエージェント決済プロトコルのレッドチーム化 [cs.CR, cs.AI]目的：エージェント決済プロトコルにおける脆弱性の特定
- LLMエージェントの利用拡大に伴い，金融取引の自動化が重要になっている。
- プロンプトに起因する操作への脆弱性が，決済システムの安全性に脅威を与えている。
- エージェント決済プロトコルの実用的な堅牢性を検証し，脆弱性を明らかにすること。
- 間接的および直接的なプロンプト注入攻撃により，AP2に脆弱性が存在することが判明した。
- 「ブランド囁き攻撃」と「金庫囁き攻撃」という2つの攻撃手法により，製品ランキングの操作と機密ユーザーデータの抽出が可能となった。
- Gemini-2.5-FlashとGoogle ADKフレームワークを用いた実験で，単純な敵対的プロンプトがエージェントの行動を確実に覆すことが示された。
データ活用による拒否：メモリ拡張型プラグアンドプレイ選択的予測 [cs.CV, cs.LG]目的：選択的予測における拒否オプションの性能向上
- 汎用的な基盤モデルの信頼性を高めることは，様々な応用において重要である。
- 既存の選択的予測は限定的なタスクに焦点を当て，オープンセット問題への対応が課題であった。
- 画像キャプション生成等の多様なタスクにおいて，基盤モデルへの追加学習なしに選択的予測を可能とする。
- MA-PaPSPは，既存のPaPSPや他の選択的予測手法と比較して，選択的キャプション生成，画像テキストマッチング，詳細分類で優れた性能を示した。
- 視覚言語表現の不安定性と類似度スコアの校正不良に対処するため，画像テキストペアの検索データセットを用いてメモリ拡張を行う。
- 検索された最近傍ペアの平均化とコントラスト正規化により，埋め込みの分散を低減し，スコアの校正を改善する。
PerfGuard：性能を考慮したビジュアルコンテンツ生成エージェント [cs.AI]目的：ビジュアルコンテンツ生成におけるツール性能の境界をモデル化し，タスク計画とスケジューリングに統合するフレームワーク
- 大規模言語モデルによるエージェントは自動化を可能にするが，ツール実行の成功を前提としており，性能のばらつきに対応できていない。
- 既存フレームワークは，ツール性能の正確な境界を区別できず，反復的なツール更新に対応できないため，計画と実行に不確実性をもたらす。
- 本研究は，ビジュアルコンテンツ生成におけるツール性能の不確実性を解消し，より信頼性の高いタスク実行を目指す。
- PerfGuardは，ツール選択の精度，実行の信頼性，ユーザーの意図との整合性において，最先端の手法よりも優れていることが実験的に示された。
- 性能を考慮した選択モデリング（PASM）により，汎用的なツール記述子の代わりに，詳細な性能評価に基づいた多次元スコアリングシステムが導入された。
- 適応的優先度更新（APU）により，理論的なランキングと実際の実行ランキングを比較することで，ツール選択が動的に最適化される。
ビデオ大規模言語モデルにおける幻覚の軽減：時空間・意味的対照デコーディングによるアプローチ [cs.CV, cs.AI]目的：ビデオ大規模言語モデルにおける幻覚軽減策
- 近年のビデオ理解技術の発展に伴い，ビデオ大規模言語モデルの重要性が増している。
- ビデオ大規模言語モデルは幻覚を起こしやすく，内容と矛盾した情報を生成する可能性がある。
- 既存手法の限界を克服し，より高精度な幻覚軽減策を確立することを目指す。
- 本研究では，時空間的整合性と意味的関連性を意図的に破壊する負例を作成する新しいデコーディング戦略を提案した。
- 提案手法は，オリジナルビデオ特徴量との対照デコーディングを通じて，幻覚を効果的に抑制できることを示した。
- 実験の結果，幻覚の軽減に加え，ビデオ理解や推論能力も維持されていることが確認された。
FedDis：連合学習のための因果的特徴分離フレームワーク [cs.LG, cs.AI]目的：連合学習における交通予測のための因果的特徴分離
- 交通予測は都市計画や交通管理において不可欠であり，その精度向上が社会経済活動に大きく貢献する。
- 分散型交通データは非独立かつ同一分布（non-IID）になりやすく，既存の連合学習手法の性能を低下させる。
- クライアント固有の局所的変動と，クライアント間のグローバルな空間的・時間的パターンを分離し，予測精度を向上させる。
- FedDisは，パーソナライズドバンクとグローバルパターンバンクという二重構造により，クライアント固有の情報と共通知識を分離する。
- 相互情報最小化の目的関数を用いることで，両バンク間の情報的な直交性を強制し，効果的な特徴分離を実現する。
- 4つの実データセットにおける実験により，FedDisが最先端の性能，効率性，拡張性を示すことが確認された。
誘導グラフニューラルネットワークを用いたEコマースにおける非侵襲的グラフベースのボット検出 [cs.LG]目的：Eコマースにおけるボット検出手法
- Eコマースの健全な運営には，不正なボットからの保護が不可欠である。
- 従来のIPブロックやCAPTCHAは，高度なボットによって回避されることが多い。
- ボットの巧妙な活動を検出し，既存システムへの影響を最小限に抑えること。
- 本研究では，ユーザーセッションをグラフ構造で表現し，誘導グラフニューラルネットワークを用いてボットを検出する。
- 提案手法は，セッションレベルの多層パーセプトロンと比較して，AUCおよびF1スコアにおいて優れた性能を示した。
- グラフのわずかな変更や未学習のセッション・URLに対しても，高い頑健性と汎化性能が確認された。
SpanNorm: 深層Transformerにおける学習安定性と性能の両立 [cs.CL, cs.AI, cs.LG]目的：深層Transformerの学習安定性と性能向上
- 大規模言語モデルの発展には，深層Transformerの安定した学習が不可欠である。
- 従来の正規化手法では，学習安定性と性能のトレードオフが存在した。
- SpanNormは，このトレードオフを解消し，より強力で安定なTransformerの構築を目指す。
- SpanNormは，Transformerブロック全体にわたる残差接続を確立し，信号伝播を安定化させる。
- 集約された出力を正規化するPostNormスタイルを採用し，モデル性能を向上させる。
- 理論的分析により，SpanNormが信号分散を抑制し，勾配消失や表現崩壊を防ぐことが示された。
ミックスアップ基盤モデルに基づくハイパースペクトル画像分類のためのドメイン間少数ショット学習 [cs.CV, cs.AI, cs.LG]目的：ハイパースペクトル画像分類におけるドメイン間少数ショット学習の性能向上
- ハイパースペクトル画像は，地表の物質識別などに有用であり，多様な分野で活用が期待されている。
- 少数サンプルでの学習が困難であり，ドメイン間のデータ分布の差異が分類精度を低下させる。
- 基盤モデルを活用し，データ拡張やドメイン間の差異を軽減することで，高精度な分類を実現する。
- 提案手法MIFOMOは，リモートセンシングの基盤モデルを活用し，少ない学習データでも高い汎化性能を示す。
- コレスセント投影(CP)により，基盤モデルをダウンストリームタスクへ迅速に適応させ，過学習を抑制する。
- ミックスアップドメイン適応(MDM)とラベル平滑化により，ドメイン間の差異やノイズに対するロバスト性を向上させる。