arXiv雑要約
AI - 2026/06/15 公開
GNARLy 問題への取り組み：強化学習によるグラフニューラルアルゴリズム推論の再構築 [cs.LG, cs.AI]目的：ニューラルアルゴリズム推論における課題解決
- 組み合わせ最適化問題など，複雑な問題を解決するアルゴリズムの自動学習は重要である。
- 既存手法では，有効な解を生成できず，複数の正解を扱えないなどの問題があった。
- 強化学習を用いることで，アルゴリズム学習の構造化と性能向上を目指す。
- 提案手法GNARLは，CLRS-30問題において高いグラフ精度を達成した。
- NP困難問題において，既存のNARアプローチを上回る性能を示した。
- 専門家アルゴリズムが存在しない問題にも適用可能であることが示された。
Q-Net：カルマンフィルタに基づくニューラルネットワークによる待ち行列長の推定 [cs.CL, cs.CL, cs.LG, cs.AI]目的：信号制御交差点における待ち行列長の推定
- 交通管理において，待ち行列長の正確な把握は交通流の最適化に不可欠である。
- 待ち行列長の推定は，車両の流れの観測が不完全であるため困難である。
- 異なる空間・時間分解能を持つデータソースを統合し，待ち行列長を正確に推定すること。
- Q-Netは，状態空間モデルに基づく待ち行列推定フレームワークであり，交通保存則の違反に対処する。
- AIを活用したカルマンフィルタにより，データから時間変動するゲインダイナミクスを学習する。
- オランダのロッテルダム市における評価では，Q-Netは既存手法を凌駕し，待ち行列の形成と消失を正確に追跡した。
ワーキングメモリ課題遂行能の多次元ベイズ活性機械学習 [eess.SY, cs.SY, cs.LG, cs.HC]目的：ワーキングメモリ課題における遂行能の評価手法
- 認知科学研究において，実験計画の最適化は，効率的なデータ収集と分析に不可欠である。
- 従来の実験では，単一の要因しか制御できず，個人の認知能力を十分に捉えられていない。
- 空間負荷と特徴結合負荷の二軸制御により，より詳細なワーキングメモリ能力の評価を目指す。
- ベイズ活性分類アプローチは，従来の適応実験法と同等の精度で課題遂行能を評価できた。
- 空間負荷と特徴結合負荷の相互作用における個人差を明らかにすることができた。
- 本手法は，従来のサンプリング戦略よりも迅速にモデルへの適合が可能であることが示された。
シャプレー値によるシフト不変属性スコアリングを用いたKolmogorov-Arnoldネットワーク [cs.LG, cs.AI]目的：Kolmogorov-Arnoldネットワークにおけるノード重要度の評価方法
- 予測精度だけでなく，特徴量と結果の関係性を理解することが重要である。
- 従来のニューラルネットワークは解釈が難しく，内部の機能関係が不明瞭である。
- 入力座標のシフトに影響されないノード重要度の評価手法を開発すること。
- ShapKANは，シャプレー値を用いてノードの重要度を評価することで，シフト不変性を実現している。
- 従来のmagnitude-based手法とは異なり，ShapKANはノードの実際の貢献度を定量化し，一貫した重要度ランキングを提供する。
- 実験により，ShapKANが真のノード重要度を維持しつつ，効果的なネットワーク圧縮を可能にすることが示された。
RAMAC：マルチモーダルリスク認識オフライン強化学習と行動正則化の役割 [cs.LG, cs.AI]目的：オフライン強化学習におけるリスク認識型ポリシー学習
- 安全性が重要な分野では，オンラインでのデータ収集が困難なため，オフライン強化学習が注目されている。
- 従来のオフライン強化学習は，安全性を確保するために性能を犠牲にするか，表現力の低いポリシーに制限されていた。
- 本研究は，リスクと性能の両立を目指し，リスク認識型かつ表現力の高いポリシー学習を可能にする。
- RAMACは，拡散モデルなどの生成モデルと分布関数型批評家を組み合わせた，シンプルかつモジュール化されたフレームワークである。
- 実験の結果，RAMACはStochastic-D4RLにおいて，CVaR0.1の改善と高い報酬の両立を示した。
- 行動クローニングによる行動のずれ制御が，分布外行動を抑制し，CVaRの安定化に寄与することが示された。
全二重音声対話言語モデルにおける時間的思考 [cs.CL, cs.AI]目的：全二重音声対話言語モデルにおける応答品質の向上
- 近年，対話システムのリアルタイム性が求められており，全二重対話モデルへの関心が高まっている。
- 既存の全二重対話モデルは，聴取時に沈黙トークンを予測するだけで，人間のような思考を伴わない。
- 本研究は，全二重対話における応答品質向上のため，時間的思考という新しいメカニズムを提案する。
- 時間的思考は，音声入力を逐次的に処理し，過去の情報のみに基づいて推論を行う。
- 時間的思考は，追加の遅延なく，聴取中に推論を完結させる。
- 実験の結果，客観指標と人間評価の両方で，応答品質の一貫した向上が確認された。
後学習における分布バイアス：推論経路のマルコフ分析 [cs.LG, cs.AI]目的：後学習戦略における推論経路の分布バイアス
- 大規模言語モデルは広範な知識を持つ一方，特定のタスクにおける推論能力に限界がある。
- 既存の後学習手法では，探索が重要視されるものの，新たな推論パターンが生まれないという矛盾が存在する。
- マルコフ連鎖モデルを用いて，後学習が既存の推論経路を強化し，希少な経路を忘却するメカニズムを解明する。
- 後学習手法(RLVR, ORM/PRM)は，高確率の推論経路を優先するため，希少だが重要な推論経路を忘却しやすい。
- 簡単な事例の拒否やKL正則化などの探索戦略は，希少な推論経路の維持に貢献することが示された。
- 理論的な結果は，実験シミュレーションによって裏付けられている。
プロンプトエンジニアリングによる（倫理）哲学ジャーナル：AI支援倫理研究にプロセス透明性が求められる理由 [cs.CY, cs.AI, cs.DL]目的：AI支援倫理研究におけるプロセス透明性の必要性
- 倫理学研究は，社会の価値観や行動規範を形成する上で不可欠である。
- AIの活用が増える中で，倫理的判断の根拠やプロセスが不透明になる懸念がある。
- AI支援倫理研究における透明性義務を，研究者の誠実性に基づく説明責任として確立すること。
- 本研究では，倫理学研究における透明性義務が，単なる結果の評価を超え，研究者のコミットメントの可視化に根ざすことを論じる。
- 「意味のある人間による制御」を実現するための透明性要素を５つ提示し，論文自体でその実践例を示す。
- 提示されたフレームワークは暫定的なものであり，継続的な改訂を前提としている。
短期エネルギー予測のためのトレンドを考慮したマルチタスク学習 [cs.LG]目的：短期エネルギー需要予測の精度向上
- 電力市場や系統運用において，正確な需給予測は不可欠である。
- 既存手法は回帰タスクとして扱われ，トレンドの方向性や一貫性を捉えにくい。
- トレンドと変動を分離し，方向性と数値予測を同時に高めることを目指す。
- 提案手法は既存手法と同等の数値予測精度を達成し，トレンド予測性能を向上させた。
- トレンドの表現方法や変動のモデル化方法に関する検討を行った。
- 不確実性を考慮したタスク重み付けにより，マルチタスク学習の安定化と自動チューニングを実現した。
HULFSynth：コントラスト係数推定による超解像度および超低磁場MRI合成 [cs.CV, cs.LG]目的：高磁場画像から超低磁場画像への，およびその逆方向の画像合成
- MRIは臨床診断に不可欠だが，高磁場装置は高価であり，場所も限られる。
- 超低磁場MRIはコストが低い一方，画質が劣るという課題がある。
- 高磁場と超低磁場のコントラスト変化の物理的原理に基づく合成手法を開発する。
- 合成された超低磁場画像において，白質-灰白質のコントラストが52%向上した。
- 64mT画像においても，コントラストが37%向上し，本手法の有効性が示された。
- ターゲットコントラスト，ノイズ，初期シードに対するロバスト性が確認された。
一次微分オラクルを持つ非凸強凸二重最適化における下限複雑性 [cs.LG, math.OC, stat.ML]目的：非凸強凸二重最適化問題に対する下限複雑性の導出
- 機械学習等の最適化問題に応用され，効率的な解法開発が求められている。
- 二重最適化問題は構造が複雑で，下限複雑性の解析が遅れている。
- 一次微分オラクルモデル下での下限複雑性を明らかにし，既存手法とのギャップを示す。
- 決定論的オラクルモデル下では，$\Omega(\kappa^{3/2}\epsilon^{-2})$回のオラクル呼び出しが必要となることを示した。
- 確率的オラクルモデル下では，$\Omega(\kappa^{5/2}\epsilon^{-4})$回の確率的オラクル呼び出しが必要となることを示した。
- 二重最適化問題における上限と下限のギャップを明らかにし，更なる研究の必要性を示唆した。
認知：マルチモーダルLLM CAPTCHAソルバーに対する評価から防御へ [cs.CR, cs.AI]目的：マルチモーダル大規模言語モデル(MLLM)による視覚CAPTCHAのセキュリティ侵害
- CAPTCHAは，ボットからの不正アクセスを防ぐ上で重要な役割を担っている。
- MLLMの進化により，従来のCAPTCHAのセキュリティが脅かされている。
- MLLMの弱点を分析し，より堅牢なCAPTCHA設計の指針を示す。
- MLLMは，認識型や低インタラクションCAPTCHAにおいて，人間と同程度の精度で解答可能であることが示された。
- 微細な位置特定や多段階の空間推論を必要とするCAPTCHAは，MLLMにとって依然として困難である。
- CAPTCHAの構造的変更，特に微細な位置特定と暗黙的なカウントの導入により，MLLMの成功率を大幅に低下させることが確認された。
プロセスマイニングによる臨床経路の適応的識別とモデリング [cs.LG]目的：臨床経路の知識ベースの拡張
- 医療の質の向上，資源の効率化，患者の回復促進に貢献する臨床経路の重要性が高まっている。
- 既存の臨床経路は，ガイドラインや専門知識に基づいて手動で作成され，実際の診療の実態を反映しにくい。
- プロセスマイニングを用いて，実際の診療データから臨床経路を自動的に学習し，知識ベースを拡充することを目指す。
- 提案手法は，プロセスマイニングとコンフォーマンステストを組み合わせることで，臨床経路の知識ベースを精度良く拡張可能であることを示した。
- Syntheaデータセットを用いた実験では，AUC 95.62%という高い精度を達成し，臨床経路の多様なバリエーションに対応できることを示した。
- 本手法は，臨床経路の簡潔性を維持しながら（arc-degree simplicity 67.11%），知識ベースを効果的に拡張できる。
整列しているがステレオタイプか？LLMベースの画像生成モデルにおけるシステムプロンプトが人口統計学的偏りをどのように形成するか [cs.CV, cs.LG]目的：LLMベースのテキスト-画像モデルにおける人口統計学的偏りの形成機構
- 画像生成技術の発展は，多様な表現を可能にする一方で，社会的な偏りを助長する可能性も孕んでいる。
- LLMベースのモデルは，テキスト理解度が高い反面，潜在的なバイアスを画像生成に反映しやすいという課題がある。
- システムプロンプトの調整によって，バイアスを軽減しつつ，ユーザーの意図を損なわずに画像生成を行うことを目指す。
- LLMベースのテキスト-画像モデルは，非LLMベースのモデルと比較して，人口統計学的偏りが顕著に強いことが示された。
- システムプロンプトはテキスト埋め込みに強い影響を与え，結果として偏った画像生成を引き起こすことが明らかになった。
- FairProという学習不要のデバイアスフレームワークが，公平性を考慮した指示生成によって人口統計学的格差を大幅に減少させることを実証した。
局所脳エキスパートの多角的融合による解釈可能なアルツハイマー病診断 [eess.SY, cs.SY, cs.LG, cs.AI, cs.CV, eess.IV]目的：アルツハイマー病診断のための多角的融合モデリング
- アルツハイマー病の早期正確な診断は，効果的な介入のために不可欠である。
- 従来の融合手法は特徴量の単純な連結に依存し，脳領域ごとのバイオマーカーへの適応的な重み付けが困難である。
- 脳領域ごとの貢献度を考慮した，解釈可能な診断モデルを開発する。
- 提案手法MREF-ADは，既存手法と比較して競争力のある性能を達成した。
- MREF-ADは，構造的および分子イメージングがAD診断にどのように寄与するかに関する，解釈可能な知見を提供する。
- 各モダリティと脳領域レベルでの貢献度を明確に示せる。
オートエンコーダ転移学習による多精度空力データ融合 [cs.DC, cs.LG, physics.flu-dyn, stat.ML]目的：多精度空力データの融合手法
- 空力予測の精度向上は航空機の設計・性能最適化に不可欠である。
- 高精度な空力シミュレーションは計算コストが高く，データ駆動型モデリングの制約となる。
- 少ない高精度データで，低精度データと組み合わせることで高精度予測を可能にする。
- オートエンコーダと転移学習を用いて，少ない高精度データで低精度データの誤差を補正し，高精度な圧力予測を実現した。
- 新開発のMulti-Split Conformal Prediction (MSCP) フレームワークにより，95%を超える信頼区間を持つ不確実性評価を可能にした。
- データ効率と不確実性評価を組み合わせることで，データ不足環境下での空力回帰のためのスケーラブルかつ信頼性の高いソリューションを提供する。
深層学習とエリス可能性：共通ノイズを持つMcKean-Vlasov FBSDEsに対する手法 [cs.LG, q-fin.CP, q-fin.MF]目的：McKean-Vlasov前方後方確率微分方程式（MV-FBSDEs）の数値解法
- 金融工学や経済学において，確率微分方程式は不確実性をモデル化する上で不可欠である。
- 共通ノイズを持つMV-FBSDEsの解法は，計算コストが高く，効率的な数値解法が求められている。
- 深層学習とエリス可能性を組み合わせることで，計算コストを抑えた効率的な解法を開発する。
- エリス可能性を利用し，パスごとの損失関数を導出し，ニューラルネットワークによる近似を可能にした。
- 平均場相互作用項を再帰型ニューラルネットワークでパラメータ化し，解の精度を向上させた。
- 実証的な結果から，本手法が複雑な平均場ゲームにおいても有効であることが示された。
シュレーディンガーのナビゲーター：ゼロショット物体ナビゲーションのための未来のアンサンブルの想像 [cs.RO, cs.AI, cs.CV]目的：未知環境におけるゼロショット物体ナビゲーションの性能向上
- 汎用サービスロボット実現には，地図作成や特定タスクの学習なしでの物体探索能力が不可欠である。
- シミュレーションで高い性能を示す手法が，現実世界では隠蔽や潜在的危険により性能が低下する。
- 不確実性の高い環境下でのロバストかつ安全なナビゲーションを実現する。
- 提案手法は，複数の未来状態を考慮することで，隠れた目標物の発見率を向上させた。
- 適応的なサンプリングにより，不確実性の高い領域に焦点を当て，より安全な経路選択を可能にした。
- シミュレーションと実機実験の両方で，既存のゼロショットナビゲーション手法を上回る性能を示した。
脆弱な知識，堅牢な指示追従：Llama-3.2における幅プルーニングの二分化 [cs.RO, math.DG, cs.CL, cs.AI, cs.LG]目的：Llama-3.2モデルにおけるGLU-MLP層の幅構造プルーニングの効果の検証
- 大規模言語モデルの効率化は，計算資源の制約と実用的な応用展開のために不可欠である。
- モデルの圧縮手法であるプルーニングは，一般的に性能低下を引き起こすとされてきた。
- モデルの構造パラメータである拡張比率が，タスク性能に選択的に影響を与えることを解明する。
- 拡張比率の低下は，パラメータ的知識を要するタスクや言語モデルのperplexityを低下させる。
- 一方，指示追従能力は，拡張比率が2.4倍の均衡比率において向上する（IFEvalで最大+46%）。
- 多段階推論能力は堅牢であり，プルーニングが均一な性能低下を引き起こすという従来の研究の想定を覆す。
逐語的チャンクが抽出されたアーティファクトを上回る：長編LLM会話のためのメモリ表現の制御されたアブレーション [cs.AI, cs.CL, cs.IR]目的：長編LLM会話におけるメモリ表現の有効性比較
- LLMの長文コンテキスト処理能力の限界から，会話履歴の効率的な要約が重要視されている。
- 従来の会話メモリシステムは構造化されたアーティファクトを用いるが，その有効性について厳密な検証が不足している。
- 本研究は，構造化アーティファクトと逐語的チャンクのどちらがより有効なメモリ表現であるかを検証する。
- LoCoMoベンチマークにおいて，逐語的チャンクは構造化アーティファクトよりも15.9ポイント高い性能を示した。
- LongMemEval-Sベンチマークにおいても，逐語的チャンクは構造化アーティファクトよりも22.0ポイント高い性能を示した。
- 構造化アーティファクトは逐語的チャンクに含まれる詳細な情報を損失しているため，性能が低下する。
大規模化における成功：エンタープライズ検索ベンチマーク構築とインデックス維持クエリ適応 [cs.IR, cs.AI, cs.CL, cs.LG]目的：大規模マルチテナント検索のためのベンチマーク構築と，インデックスを維持したままクエリに適応させる手法
- 企業内検索は，大量の情報を効率的に活用する上で不可欠であり，生産性向上に貢献する。
- マルチテナント環境では，ドメイン適応のための関連性ラベルが不足しており，データ活用が進んでいない。
- 大規模データセットを用いた効率的なクエリ適応手法を確立し，実用的なエンタープライズ検索を実現する。
- DevRev-Searchという技術顧客サポート用のパッセージ検索ベンチマークを構築した。
- クエリエンコーダーのみをファインチューニングするインデックス維持クエリ適応戦略が，高い性能と効率性を示す。
- DevRev-Search，SciFact，FiQA-2018での実験により，この手法の有効性が確認された。
CuMA：人口統計を意識したアダプター混合による疎な文化的価値観を通じたLLMの調整 [cs.DB, cs.CL, cs.AI, cs.LG]目的：文化的価値観に配慮したLLMの調整手法
- グローバルな利用を前提としたLLMにおいて，多様な文化的背景への対応は不可欠である。
- 既存のLLMは，対立する価値観を学習する際，平均化された表現に陥りやすい。
- 文化的価値観の多様性を維持しつつ，LLMの性能を向上させること。
- 提案手法CuMAは，人口統計を意識したルーティングにより，文化的価値観を分離した専門的なサブ空間を構築する。
- 実験結果から，CuMAは既存手法と比較して，文化的価値観の多様性を維持しつつ，高い性能を示すことが確認された。
- CuMAは平均化による価値観の崩壊を効果的に抑制し，多様な文化的背景を持つユーザーへの対応を可能にする。
トークンレベルにおけるLLM協調：FusionRoute [cs.AI, cs.CL, cs.LG]目的：トークンレベルでのLLM協調による高性能化
- 多様な分野で優れた性能を示すLLMの活用が重要視されている。
- 汎用モデルは大規模化が必要であり，専門モデルは汎化性能に課題がある。
- トークンごとに最適なLLMを選択し，補完的なロジットを加えることで問題を解決する。
- FusionRouteは，Llama-3およびGemma-2ファミリーにおいて，数学的推論，コード生成，指示応答など多様なベンチマークで優れた性能を示した。
- 既存の協調手法，モデル統合，直接ファインチューニングよりも性能が向上し，専門モデルと同等の結果を得た。
- 専門モデルのみのルーティングが持つ根本的な限界を理論的に解析し，学習可能な補完的な生成器によって克服可能であることを示した。
連結行列SVD：圧縮限界，インクリメンタル近似，および誤差制約クラスタリング [cs.IR, math.NA, cs.LG, cs.NA]目的：行列の圧縮可能性と，誤差制約下でのクラスタリング手法
- 機械学習や信号処理など広範な分野で大規模行列を扱うことが多く，効率的な圧縮が不可欠である。
- 既存手法では，行列をどのように連結・圧縮すれば良いか，理論的な保証がない。
- 行列連結と圧縮における誤差を制御し，最適なクラスタリングを実現することを目指す。
- 本研究では，行列の連結とSVD圧縮に関する新しいスペクトル限界を確立した。
- インクリメンタルTruncated SVDに基づく効率的な近似推定器を開発し，大規模行列の圧縮を可能にした。
- 誤差制約下で行列をクラスタリングする3つのアルゴリズムを提案し，速度，精度，スケーラビリティのトレードオフを実現した。
実行可能な解釈可能性は対称性に基づいて定義されねばならない [cs.AI, cs.LG, cs.NE]目的：AIにおける解釈可能性の定義の形式化
- AIの信頼性と安全性を高める上で，モデルの挙動を理解する解釈可能性は不可欠である。
- 既存の解釈可能性の定義は曖昧で，検証や設計が困難なため，実用的な進歩が阻害されている。
- 対称性に着目し，解釈可能性を形式的に定義・検証するための枠組みを構築すること。
- 解釈可能なモデルを確率モデルの一種として捉え，対称性に基づいた形式化を試みた。
- 推論，介入，反事実など，解釈可能な推論をベイズ推論として統一的に表現できることを示した。
- 安全性基準や規制遵守の検証に向けた形式的な枠組みを提供できる可能性を示唆した。
PACプライバシーによるプライベート予測 [cs.LG, cs.CR]目的：プライベート予測におけるプライバシー保護の実現
- 機械学習モデルのAPI提供が進み，出力のプライバシー保護が重要になっている。
- 既存の差分プライバシーは非凸モデルへの適用が難しく，ノイズ量の見積もりが困難である。
- PACプライバシーを活用し，適応的なクエリへの線形な情報漏洩量の保証を目指す。
- PACプライバシーを用いることで，高精度なプライベート予測が可能になった（CIFAR-10で87.79%）。
- 100万件のクエリ応答において，メンバーシップ推論攻撃の成功確率を51.08%以下に抑えることができた。
- 大量のプライベートラベルを用いて蒸留モデルを構築し，公開可能なモデルの作成を可能にした。
プロの翻訳者は機械生成テキストを識別できるか [cs.CL, cs.AI]目的：機械知能によって生成された短編小説の識別能力
- 機械翻訳の進化は，翻訳の質と人間の役割に大きな影響を与えるため，重要である。
- AI生成テキストの識別は難しく，誤識別が編集作業の質を下げる可能性がある。
- プロ翻訳者がAI生成テキストを識別する能力を評価し，識別指標を明らかにすること。
- 一部の翻訳者（16.2%）は，AI生成テキストと人間が書いたテキストを統計的に有意に区別できた。
- AI生成テキストの識別において，低いバースト性と物語の矛盾が信頼できる指標として浮かび上がった。
- 文法的な正確さや感情的なトーンは誤識別の原因となることが示された。
LLMにおけるトークンレベルの因果的帰属：ヤコビアン・スコープ [cs.CL, cs.AI]目的：大規模言語モデルの予測に対するトークンレベルの因果的帰属の解明
- LLMは自然言語処理の発展に不可欠であり，その解釈可能性向上は重要である。
- LLMの複雑な構造により，特定の予測に影響を与えるトークンを特定することが困難である。
- LLMの予測におけるトークンの影響を定量化し，解釈可能性を向上させることを目指す。
- ヤコビアン・スコープは，勾配に基づいたトークンレベルの因果的帰属手法であり，LLMの予測を解釈する。
- 本手法は，命令理解，翻訳，文脈内学習における暗黙の政治的バイアスや翻訳戦略を明らかにした。
- 実装とインタラクティブなデモを公開し，カスタムテキストでの探索を促進する。
SMART：Transformerに基づく代理モデルを用いた，生形状からのスケーラブルなメッシュフリー空力シミュレーション [cs.LG, cs.AI, cs.CV, cs.NE]目的：複雑形状における空力シミュレーションの効率的な代替手法
- 自動車などの複雑形状のシミュレーションは，設計・開発において不可欠である。
- 従来のシミュレーションでは，形状に応じたメッシュ生成にコストがかかる。
- メッシュ生成を不要としつつ，シミュレーション精度を向上させること。
- SMARTは，点群データのみから物理量を予測するニューラル代理モデルである。
- 構造とパラメータ特性を捉えた潜在空間と，物理デコーダによる層間相互作用が特徴である。
- 既存のメッシュ依存型手法と比較して，競争力があり，多くの場合で性能を上回る。
効率的な探索学習：自己設定目標による適応的ポリシーの事前学習 [cs.LG, cs.AI, cs.RO]目的：効率的な探索と適応能力の向上
- 強化学習における学習効率向上のためには，事前知識が重要である。人間の発達に着想を得た自己目標設定が注目されている。
- 多様なタスクに対応するためには，汎化性能の高い事前学習が求められるが，ゼロショットでの解決は困難な場合が多い。
- 事前学習分布外のタスクや未知のタスクに対しても，効果的な探索と適応を可能にする方法を模索する。
- 提案手法 ULEE は，メタ学習フレームワークにおいて，効率的な多エピソード探索と適応を最適化する。
- ULEE は，敵対的な目標生成戦略により，エージェントの能力の限界で訓練を維持し，自己設定目標を効果的に学習する。
- XLand-MiniGridベンチマークにおいて，ULEE による事前学習は，未知の目標，環境ダイナミクス，マップ構造への汎化性能を向上させる。
下流タスク誘導による継続事前学習のためのタスク設計 [cs.ET, cs.LG, cs.AI]目的：継続事前学習におけるタスク設計
- 大規模言語モデルや画像認識モデルの性能向上には，継続的な事前学習が不可欠である。
- 従来の継続事前学習は，評価が粗く，効率的な改善が困難である。
- 下流タスクからのフィードバックを用いて，事前学習タスクを最適化することを目指す。
- V-pretrainingは，下流タスクの損失減少を予測することでタスクを設計し，汎化性能を損なわずにターゲット能力を向上させる。
- Qwenモデルに対して，わずか1,024のGSM8K例を用いたV-pretrainingにより，GSM8K Pass@1が7.4ポイント向上した。
- DINOv3をADE20KやNYUv2に転移する際に，V-pretrainingは性能向上とImageNetの線形精度維持を両立した。
残差コンテキスト拡散言語モデル [cs.CL, cs.CL, cs.AI]目的：拡散言語モデルにおける計算資源の再利用
- 大規模言語モデルは，自然言語処理の様々なタスクにおいて高い性能を発揮しており，その重要性は増している。
- 既存の拡散言語モデルは，計算効率が悪く，特に長いテキストの生成において課題がある。
- 本研究は，拡散言語モデルにおける計算資源の無駄を削減し，効率を向上させることを目指す。
- 本研究で提案するRCDモジュールは，拡散過程で破棄されたトークンの情報を活用することで，精度向上を実現した。
- RCDは，既存の拡散言語モデルに容易に組み込むことができ，わずか3億トークン程度の追加学習で効果が認められた。
- 特に，難易度の高いAIMEタスクにおいて，RCDはベースラインの精度をほぼ2倍にし，ノイズ除去ステップ数を大幅に削減した。
Pix2Fact：視覚だけでは不十分である -- 高解像度実世界シーンにおけるWeb検証を用いた詳細VQAのベンチマーク [cs.CV, cs.LG]目的：詳細な視覚的根拠付けと外部知識を必要とする課題に対する視覚言語モデルの性能評価
- 視覚と言語の理解を組み合わせたAI技術は，現実世界の複雑な問題を解決するために不可欠である。
- 既存のベンチマークは，視覚的根拠付けと外部知識を分離して評価しており，両者の相乗効果が考慮されていない。
- 現実世界の複雑なシーンにおいて，高度な視覚理解と知識検索能力を必要とする課題に対するモデルの限界を明らかにする。
- 最新の視覚言語モデル（Gemini-3.1-Proを含む）は，Pix2Factベンチマークにおいて平均51.7%の精度しか達成できず，困難な課題であることが示された。
- 低精度の主な要因は，視覚的根拠付けエラー，検索ツールの浅い活用，そして長尾の非構造化ローカル情報の取得困難にある。
- Pix2Factは，詳細な視覚的理解と堅牢な知識検索を統合した次世代の視覚言語エージェント開発を促進するための重要なベンチマークとなる。
合成意味情報獲得報酬によるエージェント的推論の最適化 [cs.AI]目的：エージェント的推論における検索プロセスの最適化
- 大規模言語モデルの推論能力向上の鍵として，外部知識の活用が重要視されている。
- 検索プロセスを最適化するための，密で原理に基づいた報酬信号が不足している。
- 意味情報獲得報酬を用いて，効率的な知識探索を促す枠組みを提案すること。
- 提案手法InfoReasonerは，七つの質問応答ベンチマークにおいて，既存の検索拡張ベースラインを安定して上回る性能を示した。
- 平均で最大5.4%の精度向上を達成し，エージェント的推論の効率的な学習を可能にした。
- 情報獲得をモデルの信念状態の不確実性減少として再定義し，理論的な保証を提供している。
高速自己回帰型ビデオ拡散モデルと，時間キャッシュ圧縮および疎な注意機構を備えたワールドモデル [cs.CV, cs.AI]目的：自己回帰型ビデオ拡散モデルにおける推論時間のボトルネック軽減
- ビデオ生成技術の発展は，長編コンテンツやインタラクティブなゲームエンジン等，多様な応用を可能にする。
- 自己回帰型モデルでは，生成が進むにつれてKVキャッシュが肥大化し，遅延増大やGPUメモリ消費の問題が生じる。
- キャッシュ圧縮，プロンプト選択，疎な注意機構により，メモリ効率と速度を改善し，長時間の安定した生成を目指す。
- 提案手法FAST-ARは，既存の自己回帰型拡散モデルに容易に組み込むことが可能である。
- 実験の結果，推論速度は最大で5倍～10倍向上し，視覚的な品質は維持された。
- 特に，長時間の生成において，安定したスループットとほぼ一定のGPUメモリ使用量を実現した。
階層的符号ベース分散学習における異質性によるドリフトの軽減 [cs.RO, cs.DC, cs.IT, cs.LG, math.IT]目的：階層的符号ベース分散学習における異質性ドリフトの軽減策
- 大規模IoTシステムでは，通信制約が厳しく，効率的な分散学習が重要である。
- 符号ベース分散学習は効率的だが，階層型アーキテクチャとデータ異質性下での挙動が不明確である。
- データ異質性によるモデルのドリフトを抑制し，学習の安定性と精度を向上させる。
- 提案手法DC-HierSignSGDは，クラウド支援による勾配補正により，異質性によるバイアスを軽減する。
- デバイス-エッジ間の通信量を大幅に削減しながら，フル精度階層的SGDと同等の性能を達成する。
- 厳しいデータ異質性下での実験により，提案手法の安定性と精度の向上が確認された。
量子化進化戦略：低精度コストでの量子化LLMの高精度ファインチューニング [cs.LG, cs.AI]目的：量子化LLMのファインチューニング手法
- LLMの利用拡大のためには，メモリ制約のあるデバイスでの展開が重要である。
- 量子化によりモデルが静的になり，ファインチューニングが困難となるという課題がある。
- 量子化されたモデル空間における，高精度なファインチューニングの実現を目指す。
- 本研究では，量子化進化戦略（QES）を提案し，量子化空間での直接的なフルパラメータファインチューニングを可能にした。
- QESは，誤差フィードバックの蓄積とステートレスシードリプレイにより，メモリ使用量を削減しつつ，高精度な重み更新を実現している。
- 実験結果から，QESは最先端のゼロ次ファインチューニング手法を凌駕し，量子化空間でのLLMのスケーリングを可能にする。
LLM強化学習における信頼領域の再考 [cs.RO, cs.LG, cs.AI, cs.CL]目的：LLMの強化学習における学習安定性と効率の向上
- LLMの性能向上には，強化学習によるファインチューニングが不可欠である。
- PPOのクリッピング機構は，LLMの巨大な語彙サイズに対して最適ではない。
- DPPOは，PPOのクリッピングをより原理的なダイバージェンス制約に置き換える。
- DPPOは，PPOと比較して，学習の安定性と効率が向上することを示した。
- DPPOは，ダイバージェンスの直接推定に基づき，低確率トークンへの過剰なペナルティを抑制する。
- バイナリ近似とTop-K近似により，メモリ消費量を抑えながら有効なダイバージェンスを捉える。
HyperPotter：オーディオ偽装検知における高次相互作用の魅力 [cs.IR, cs.CL, cs.SD, cs.AI, eess.AS]目的：オーディオ偽装検知における高次相互作用の捉え方
- AI技術の発展により，人間の聴覚を欺くほどリアルな偽装音声が生成可能になり，社会問題化が懸念されている。
- 既存手法は局所的な特徴量やペアごとの関係性に依存しており，複数の要素間の複雑な相互作用を見落としている。
- 高次相互作用を捉えることで，より識別性の高いパターンを検出し，偽装音声を高精度に検知することを目指す。
- 提案手法HyperPotterは，クラスを考慮したプロトタイプ初期化を用いたクラスタリングに基づくハイパーエッジにより，高次関係性を捉える。
- 13のテストセットにおいて，11セットでベースラインを上回り，平均EERを12.68%削減，改良セットでは22.15%削減を達成した。
- 結果は，様々な状況下での高い汎化性能と，深刻なコーデック歪みやチャンネル歪みに対する一定の耐性を示唆している。
プロテアンコンパイラ：きめ細かいフェーズ順序決定を駆動するアジャイルフレームワーク [cs.PL, cs.AI, cs.CL, cs.LG, cs.PF]目的：きめ細かいフェーズ順序決定を可能にするアジャイルフレームワーク
- コンパイラ最適化は，プログラムの性能向上に不可欠であり，その効果は最適化の順序に大きく左右される。
- 最適化順序の決定は探索空間が広大で，手動では困難であり，ベンチマークスイート変更時に再調整が必要となる。
- 本研究は，機械学習をシームレスに統合し，コードセグメントレベルでのきめ細かい最適化順序決定を可能とする。
- Protean CompilerはLLVMに組み込まれ，Cbenchアプリケーションで平均4.1%，最大15.7%の高速化を達成した。
- 第三者のMLフレームワークとの連携も容易であり，SusanとJpegアプリケーションでそれぞれ10.1%，8.5%の高速化を実現した。
- Protean CompilerはLLVMにシームレスに統合され，高度なコンパイラとして利用可能である。
大規模言語モデルにおける効率的な推論：極端な圧縮率によるChain-of-Thought圧縮 [cs.LG]目的：大規模言語モデルの推論効率向上
- 大規模言語モデルの能力向上は，様々な自然言語処理タスクの発展に不可欠である。
- Chain-of-Thought推論は計算コストが高く，実用上の制約となる場合がある。
- 圧縮率を上げながら論理的忠実性を維持し，高速かつ高精度な推論を実現すること。
- 提案手法Extra-CoTは，数学的推論ベンチマークにおいて，既存手法を大きく上回る性能を示す。
- Qwen3-1.7Bを用いたMATH-500データセットにおいて，73%以上のトークン削減と0.6%の精度向上を達成した。
- セマンティック情報を保持する圧縮器と，混合比率の教師ありファインチューニング，制約付き階層的報酬最適化が貢献している。
トークン化された専門家混合を用いたGNNの一般化 [cs.LG]目的：GNNの頑健性と一般化性能の向上
- グラフニューラルネットワークは様々なタスクで高い性能を示すが，実用化においては課題が多い。
- 展開されたGNNは，分布シフトや摂動に対して脆弱であり，安定性と一般化性能のトレードオフが存在する。
- この研究は，分布シフトや摂動に対してよりロバストなGNNを開発し，その性能限界を打破することを目指す。
- STEM-GNNは，専門家混合を用いたエンコーダー，ベクトル量子化されたトークンインターフェース，リプシッツ正則化されたヘッドを組み合わせることで，３つの側面（安定性，一般化性能，ロバスト性）のバランスを改善した。
- ９つのベンチマークにおいて，STEM-GNNは次数/類似性シフトに対するロバスト性を向上させ，特徴/エッジの破損に対する耐性を高め，クリーンなグラフ上でも競争力のある性能を維持した。
- 本研究は，インスタンス条件付きルーティングの脆弱性を克服し，より安定したGNNの推論を可能にする新しいフレームワークを提案する。
深層二重デバイアス縦断効果推定：ICE G計算による手法 [cs.LG]目的：縦断的治療効果の推定
- 逐次的な意思決定において，治療効果の正確な推定は不可欠である。
- 治療と交絡因子のフィードバックにより，縦断的治療効果の推定は困難である。
- ICEにおける誤差伝播を軽減し，よりロバストな推定を実現すること。
- 提案手法D3-Netは，ICE学習中の誤差伝播を抑制し，最終的な修正を行うことでバイアスと分散を低減する。
- Sequential Doubly Robust (SDR) 擬似アウトカムとマルチタスクTransformerを活用し，学習の安定化と表現学習の正則化を図る。
- 最終推定にはLTMLEを用い，元のデータに対してターゲットを絞ったデバイアスを行うことで，ロバスト性と最適性を確保する。
条件付き共形テスト・マルチンゲールによる分布シフトの検定 [cs.LG, stat.ML]目的：分布シフトの検定手法
- 機械学習モデルの性能維持には，入力分布の変化への対応が不可欠である。
- 既存手法では，変化後のデータが参照データセットに混入し，検知の遅延や検出力の低下を招く。
- 固定された参照データセットを用いて分布シフトを検出し，検知遅延を削減することを目的とする。
- 提案手法は，参照データセットに対する変動を考慮したロバストなマルチンゲール構築により，常に有効なタイプIエラー制御を実現する。
- 理論的に，漸近的な検出力1と，有界な期待検出遅延が保証される。
- 実験的に，標準的なCTMよりも高速にシフトを検出し，信頼性の高い分布シフト検知器となる。
LLM強化学習のためのピボット駆動型リサンプリングによる深層密な探索 [cs.LG, cs.AI, cs.CL]目的：大規模言語モデル強化学習における効果的な探索戦略
- 大規模言語モデルの強化学習は，自然言語処理の多様なタスクに応用可能であり，その発展が重要である。
- 既存手法は探索効率が低く，高次元な言語空間において有益な軌跡を発見することが困難である。
- 失敗した軌跡から回復可能な深層状態に焦点を当て，探索の効率性と安定性を向上させることを目指す。
- 提案手法DDEは，ピボットと呼ばれる回復可能な深層状態に着目し，局所的にリサンプリングを行うことで探索効率を高める。
- DEEP-GRPOは，データ駆動型ユーティリティ関数と二重ストリーム最適化によって，グローバルな方策学習と局所的な修正更新を分離する。
- 数学的推論ベンチマーク実験において，既存手法と比較して一貫して高い性能を示すことが確認された。
NeST：LLMの安全性に対するニューロン選択的チューニング [cs.CR, cs.LG]目的：大規模言語モデル（LLM）の安全性向上
- LLMの社会実装において，安全性は不可欠であり，その重要性は増している。
- 既存手法は，コストのかかるファインチューニングに依存し，モデル間の安全性維持が課題。
- 活性化プロービングによる安全関連ニューロンの特定と効率的な更新で安全性を確保する。
- NeSTは，少量のパラメータ（平均0.4M）のみを学習することで，テキストモデルにおけるジェイルブレイク攻撃の成功率を44.5％から1.1％に大幅に削減した。
- マルチモーダルモデルにおいても，攻撃成功率を55.3％から1.1％に低減し，ファインチューニングモデルの安全性を回復した（53.8％から0.8％）。
- NeSTは，わずかな計算コストで，フルファインチューニングに近い頑健性を実現し，安全なLLMの維持管理を可能にする。
Flexi-NeurA：エッジデバイス向け適応ビット精度探索機能を備えた柔軟なニューロモルフィックアクセラレータ [cs.AR, cs.NE]目的：エッジデバイス向けのニューロモルフィックアクセラレータの柔軟性と効率性の向上
- ニューロモルフィックアクセラレータは，特にウェアラブル医療機器や神経補綴において，エネルギー効率と計算密度において大きな可能性を秘めている。
- 既存のプラットフォームは固定化されたアーキテクチャが多く，多様な生物学的信号や設計目標への適応が制限されている。
- Flexi-NeurAは，多様な設計に対応可能な柔軟性と効率性を両立し，最適なビット精度を探索することで，リソース使用量を削減する。
- Flexi-NeurAは，ニューロンモデル，ネットワーク構造，精度設定を設計時にカスタマイズ可能であり，時間多重化とイベント駆動型処理によりハードウェアリソースと消費電力を削減する。
- Flex-plorerという設計空間探索ツールを導入し，精度とリソース使用量間のトレードオフに基づいて，減衰係数やシナプス重みなどの重要パラメータの固定小数点精度を決定する。
- MNISTデータセットにおいて，3層256-128-10の全結合ネットワークを2つの処理コアにマッピングした結果，96.23%の精度と1.1msの推論遅延を達成し，1,623個の論理セル，7個のBRAM，111mWの消費電力で既存のハードウェアと比較して優れたリソース効率を示した。
FlexMS：分子タンデム質量分析スペクトル予測のための統一された公開ベンチマーク [cs.AI, cs.LG]目的：分子タンデム質量分析スペクトル予測のための評価標準
- 質量分析は低分子化合物の同定に不可欠であり，その予測モデルの性能評価が重要である。
- 既存の研究では，評価データの不統一性や前処理の複雑さから，公平なモデル比較が困難である。
- FlexMSは，標準化された環境でモデルを評価し，実用的なモデル選択を支援することを目的とする。
- FlexMSは，公開データを用いたモジュール型のベンチマークフレームワークであり，様々な要素を標準化することで公平な評価を可能にする。
- 従来の平均スコアだけでなく，難易度に応じた診断機能を提供し，計算資源やデータ量に応じた最適なモデル選択を支援する。
- FlexMSは，アルゴリズムの安定性と実用的な運用ポイントを特定するための再現性のある基準を提供する。
FedRot-LoRA：連合学習LoRAにおける回転方向のずれの軽減 [cs.LG, cs.AI]目的：連合学習LoRAにおける回転方向のずれの軽減手法
- 大規模言語モデルの分散学習は，データプライバシー保護と効率的な学習を両立する手段として重要である。
- 既存の連合学習LoRAでは，低ランク分解の性質から回転方向のずれが生じ，集約誤差や学習不安定性を招く問題がある。
- 本研究は，直交変換による更新の事前調整を通じて回転方向のずれを軽減し，連合学習LoRAの性能向上を目指す。
- 提案手法FedRot-LoRAは，クライアントの更新を直交変換により整列させることで，集約誤差を低減し，安定した学習を可能にする。
- 理論的な収束解析により，回転方向の整列が，要素ごとの平均化による集約誤差の上限を厳しくすることを示した。
- 自然言語理解および生成タスクにおける実験結果から，FedRot-LoRAが既存の連合学習LoRAのベースラインを安定して上回ることが確認された。
自己修正を用いた汎化された離散拡散 [cs.LG, cs.AI]目的：離散拡散モデルにおける自己修正の事前学習
- 離散拡散モデルは，画像生成等の分野で注目されており，並列サンプリングの効率化が課題である。
- 既存の自己修正手法は，汎化性能が限定的であり，推論性能の低下を招く可能性がある。
- 本研究では，明確な状態遷移と簡略化された学習スケジュールにより，より効率的な並列デコーディングを目指す。
- 提案手法SCDDは，離散時間で直接学習することにより，事前学習に基づく自己修正を再構築した。
- SCDDは，ハイパーパラメータ調整を容易にし，実用的な性能を向上させた。
- GPT-2規模の実験により，SCDDが生成品質を維持しつつ，より効率的な並列デコーディングを可能にすることが示された。