arXiv雑要約
AI - 2026/05/04 公開
一様正解ポリシー最適化：RLVRにおける多様性への無関心の打破 [cs.CL, cs.LG, cs.CL, stat.ML]目的：推論タスクにおけるRLVRの多様性崩壊の構造的要因の特定と，その改善策の提案
- 推論タスクにおいて，正確性だけでなく，多様な解答生成能力が重要となる場面が増加している。
- 従来のRLVRは，正確性は向上するものの，多様な解答を生成する能力が低下し，多様性崩壊が課題となっていた。
- 本研究は，正解解の確率分布の偏りを抑制し，多様な解答の生成を促すことで，多様性崩壊を解決することを目指す。
- 本研究で提案するUCPOは，既存のGRPOに，正解解に対する条件付き一様性ペナルティを加えることで，確率質量を正解集合内で均等に分配する。
- 実験の結果，UCPOはPass@Kと多様性を向上させつつ，Pass@1を維持し，AIME24のPass@64において最大10％の改善を達成した。
- また，正解集合内の方程式レベルの多様性は最大45％向上し，UCPOの有効性が示された。
カーネルホップフィールドネットワークにおけるアトラクタ境界と記憶容量限界の幾何学的解析 [cs.NE, cs.LG]目的：カーネルロジスティック回帰に基づく高容量結合性記憶の安定性の背後にある動的・幾何学的メカニズムの解明
- 結合性記憶は，脳の情報処理機能を模倣する重要な研究分野であり，様々な応用が期待される。
- 従来のモデルでは，記憶容量と安定性を両立させることが困難であり，そのメカニズムも不明な点が多い。
- カーネルロジスティック回帰を用いたネットワークの記憶容量限界とその安定性を，幾何学的に解析することを目指す。
- ランダム系列を用いた実験で，ネットワークは$P/N \approx 16$ までの記憶容量を実現することを示した。
- 構造化データでは，$P/N \approx 20$ 付近の有効負荷において安定した検索が維持されることが確認された。
- アトラクタは鋭い境界で分離されており，その境界は相転移のような特徴を示すことが，モルフィング解析により明らかになった。
AlphaInventory：大規模言語モデルを用いたホワイトボックス在庫ポリシーの進化と展開保証 [cs.HC, cs.LG, cs.AI]目的：オンライン・非定常環境における在庫ポリシーの進化
- 在庫管理はサプライチェーンにおいて重要であり，効率的な運用は経済的利益に直結する。
- 従来の在庫ポリシーは，変化する需要や環境に適応できず，機会損失やコスト増を招く恐れがある。
- 本研究は，大規模言語モデルを用いて，安全性を保証した上で，より適応的な在庫ポリシーを自動的に進化させる。
- AlphaInventoryは，需要データに加え，数値的・テキスト的特徴量を活用し，統計的な安全性を保証するホワイトボックス在庫ポリシーを生成する。
- 理論的な枠組みを構築し，ポリシーの安全性と改善の確率を定量化し，実世界の小売データで古典的な手法や深層学習ベースの手法を上回る性能を示した。
- 標準的な在庫設定において，既存のベンチマークを改善する新しいポリシーを自動的に進化させることに成功した。
集団認知学習：統制された二段階エージェント協調による全体最適化 [cs.LG, cs.CY, cs.MM]目的：マルチモーダル信号の優位性および誤った関連性の軽減
- 近年，言語，音声，視覚情報を統合するマルチモーダル学習が注目されている。多様な情報源を組み合わせることで，より高度な認識が可能となる。
- 既存手法では，一部のモーダルに最適化が偏ったり，無関係なモーダル間の相関関係に過剰適合したりする問題がある。
- 本研究では，統制された二段階エージェント協調により，各モーダルの情報を効果的に活用し，よりロバストな学習を目指す。
- 提案手法GCLは，ルーティングエージェントと監査エージェントによる選択的相互作用ステージと，共通因子エージェントと集約エージェントによるコンセンサス形成ステージから構成される。
- GCLは，CMU-MOSI，CMU-MOSEI，MIntRecデータセットにおいて，回帰と分類の両タスクで最先端の結果を達成し，モーダルの優位性と誤った関連性を軽減することを示した。
- 分析実験により，GCLのデザインが有効であることが確認された。各モーダル表現が専門チャンネルとして機能し，貢献度に応じた重み付けで予測が行われる。
GaMMA：大規模マルチモーダルモデルにおける音楽のグローバル・時間的理解に向けた試み [cs.SD, cs.AI]目的：音楽コンテンツの包括的な理解
- 音楽理解は，音楽情報処理や創作用において不可欠であり，その重要性は増している。
- 従来のモデルは，時間軸上の音楽理解とそうでない音楽理解を別個に扱っており，効率性に課題があった。
- 時間軸上の音楽理解とそうでない音楽理解を統合し，より高度な音楽理解を目指す。
- GaMMAは，MuchoMusicで79.1%の精度，MusicBench-Temporalで79.3%の精度，MusicBench-Globalで81.3%の精度を達成し，既存手法を上回る最先端の結果を示した。
- 本研究で開発されたMusicBenchは，多様な音楽理解の側面を評価するための大規模なベンチマークとして貢献する。
- 混合エキスパート方式のオーディオエンコーダにより，時間軸データと非時間軸データの両方を効果的に統合した。
ノード・エッジ相互作用の高次元因果モデリングによるエッジ分類の高度化 [cs.CL, cs.LG]目的：エッジ分類の性能向上
- グラフ構造データの応用は拡大しており，エッジ分類はその重要なタスクである。
- 既存手法はノード特徴量がエッジ特徴量に与える因果関係を無視しがちである。
- 高次元因果モデリングにより，ノード特徴量の影響を軽減し，エッジ特徴量の表現を改善する。
- 提案手法CECFは，ノード埋め込みに基づき，高次元エッジ特徴量のバランスのとれた表現学習を実現する。
- CECFは，ノードとエッジの特徴量の複雑な依存関係を捉えるクロスアテンションネットワークを用いる。
- 実験結果から，CECFは既存手法を上回り，柔軟な性能向上が可能であることが示された。
ResRL：負サンプル射影残差強化学習によるLLMの推論能力強化 [cs.HC, cs.LG, cs.CL]目的：大規模言語モデルの推論能力向上
- LLMは多様なタスクに応用可能だが，複雑な推論能力の向上が課題である。
- 従来の強化学習は，正の報酬に過度に依存し，生成多様性を損なう可能性がある。
- 正と負の応答間の意味的分布を分離し，多様性を維持しつつ推論能力を向上させる。
- ResRLは，負サンプル間の意味的分布を分離することで，推論能力を向上させる。
- ResRLは，数学的推論において，既存手法NSRをAvg@16で9.4%，Pass@128で7.0%上回る性能を示した。
- ResRLは，数学，コード，エージェントタスク，関数呼び出しを含む12のベンチマークで優れた性能を発揮する。
LLM生成コードにおける社会的不偏性：ベンチマークと緩和策 [cs.SE, cs.AI, cs.SI]目的：LLM生成コードにおける社会的不偏性の評価と緩和
- 人間中心型アプリケーションにおいて，公平性は重要な課題であり，LLMの利用が拡大する中で，その検証が不可欠である。
- 既存の研究では機能的な正確性に重点が置かれており，LLM生成コードにおける社会的不偏性は十分に検証されていない。
- LLM生成コードの社会的不偏性を軽減し，公平性を高める手法を開発すること。
- SocialBias-Benchを用いて4つのLLMを評価した結果，全てのモデルにおいて深刻な不偏性が確認された。
- Chain-of-Thoughtや公平性ペルソナといった一般的なプロンプトレベルの介入は，不偏性を悪化させる傾向があった。
- Fairness Monitor Agent (FMA)を導入することで，不偏性を65.1%削減し，機能的な正確性も向上させることができた。
物理情報に基づく局所暗黙的表現 (PILIR) [cs.CL, cs.RO, cs.LG]目的：偏微分方程式の求解における性能向上
- 物理現象のシミュレーションは科学技術の発展に不可欠であり，高精度な求解手法が求められている。
- 従来のPhysics-Informed Neural Networksは，低周波成分を優先的に学習するスペクトルバイアスが課題となっていた。
- PILIRは，局所的な特徴表現によりスペクトルバイアスを軽減し，高周波成分の収束を加速させることを目指す。
- PILIRは，物理ドメインを離散的な潜在特徴空間と連続的な生成デコーダに分離することで，局所的な高周波情報を効果的に捉える。
- 学習可能なグリッドを用いて空間的な局所性を明示的にエンコードすることにより，スペクトルバイアスを軽減することに成功した。
- 様々な偏微分方程式の実験において，PILIRは最先端手法と比較して，より高い精度と収束性を示した。
グラフ伝播によるロバストかつスケーラブルな密度ベースクラスタリング [cs.HC, cs.LG]目的：高次元空間における多様な密度を持つクラスタリング手法
- データ解析において，データの構造を把握することは重要であり，クラスタリングはそのための基本的な手法である。
- 従来の密度ベースクラスタリングは，パラメータ設定に敏感であり，大規模データへの適用が困難である。
- 本研究は，グラフ伝播を用いることで，パラメータ設定の依存性を軽減し，大規模データにも適用可能な手法を提案する。
- 提案手法CluPropは，密度ベースクラスタリングとグラフ接続性を形式的に結びつけ，ネットワーク科学の効率的な伝播メカニズムを活用する。
- 大規模データ（数百万点）を数分で処理でき，既存の手法と比較して精度が高い。
- 距離指標の選択に依存せず，汎用的なクラスタリングが可能である。
RTPrune：DeepSeek-OCR効率的推論のための二段階読み取りに基づくトークンプルーニング [cs.CV, cs.LG]目的：DeepSeek-OCRの効率的な推論のためのトークンプルーニング手法
- OCR技術は，紙媒体等の情報をデジタル化し，活用範囲を広げる上で不可欠である。
- DeepSeek-OCRでは冗長な視覚トークンが存在し，推論速度の低下やコスト増加を引き起こしている。
- 視覚情報の重要な特徴を維持しつつ，トークン数を削減することで推論効率を向上させる。
- RTPruneは，DeepSeek-OCRのデコーディング過程で確認された二段階の読み取り特性に着目した手法である。
- 最初の段階で重要なトークンを優先し，次の段階で残りのトークンを最適輸送理論に基づいて統合する。
- OmniDocBenchにおいて，99.47%の精度と1.23倍の高速化を，84.25%のトークン保持率で達成した。
方策最適化とオフライン推定における二重オラクル効率を用いたモデルベース強化学習 [cs.LG]目的：大規模環境における方策最適化とオフライン推定のための効率的な強化学習アルゴリズム
- 強化学習は，複雑な意思決定問題を解決する強力な手法であり，ロボット工学やゲームなどへの応用が期待される。
- 従来の強化学習アルゴリズムは計算コストが高く，大規模な環境では実用性に課題がある。
- 本研究では，計算効率を大幅に向上させる新たなアルゴリズムを提案し，大規模環境での強化学習の適用範囲を拡大する。
- 提案アルゴリズムは，既知のステップ数 T において，最適な $\tilde{O}(\sqrt{T})$ の後悔限界を達成し，統計的推定と計画オラクルへの呼び出し回数を $O(H\log\log T)$ に抑える。
- ステップ数 T が未知の場合でも，呼び出し回数を $O(H\log T)$ に抑えることができ，既存のオフラインオラクル効率アルゴリズムと比較して，計画オラクル複雑さを大幅に削減する。
- さらに，本フレームワークを線形MDPに拡張し，無限の状態空間と任意の行動空間を持つMDPに対しても有意な劣線形後悔を達成することを示した。
メッシュ場理論：メッシュベース物理のポートハミルトニアン定式化 [cs.LG]目的：メッシュベースの連続体力学のための構造保存フレームワーク
- シミュレーションの精度向上は，科学技術の進歩に不可欠である。
- 従来のシミュレーション手法では，エネルギーの散逸や不安定性が問題となる場合がある。
- メッシュの位相構造と計量構造を分離し，物理的に整合性の高いシミュレーションを実現する。
- メッシュ場理論（MeshFT）は，物理的原理に基づき，局所的なポートハミルトニアン形式への簡約を証明した。
- MeshFT-Netは，メッシュの位相構造に基づいて保守的な相互接続を固定し，計量効果は構成関係と散逸を通じて組み込む。
- 実験の結果，MeshFT-Netはエネルギーのドリフトがほぼゼロであり，高い物理的忠実度とデータ効率を実現した。
M-CaStLe：多変量時空間グリッドデータにおける局所的な因果構造の解明 [cs.RO, cs.LG, physics.ao-ph, stat.ML]目的：多変量時空間グリッドデータにおける局所的な因果構造の発見
- 気候変動や環境問題など，時空間データの解析は科学的理解に不可欠である。
- 高次元の時空間グリッドデータでは，因果関係の特定が計算量的に困難である。
- 多変量データを対象とし，局所的な因果構造を効率的に発見することを試みる。
- M-CaStLeは，既存のCaStLeを拡張し，変数間および変数内の時空間因果構造を同時にモデル化する。
- シミュレーションデータと実データを用いて検証した結果，M-CaStLeは多変量因果構造をより正確に復元し，物理的なダイナミクスを特定することに成功した。
- M-CaStLeは，多変量時空間システムの因果発見を促進しつつ，グリッドレベルでの解釈性を維持する。
バックプロパゲーションなしの構造化された再帰型スパイクニューラルネットワークにおけるスケーラブルな学習 [cs.NE, cs.AI, cs.LG]目的：構造化された再帰型スパイクニューラルネットワークにおけるスケーラブルな学習手法
- スパイクニューラルネットワークは，エネルギー効率が高く，生物学的な根拠に基づいた計算が可能であるため重要性が増している。
- 深層の再帰型アーキテクチャにおけるスケーラブルな学習は，疎な結合性のため大きな課題となっている。
- バックプロパゲーションを用いずに，深層再帰計算を可能にするスケーラブルな学習手法を確立すること。
- 提案手法は，局所的に密な再帰層と，読み出し層への疎な小世界長距離接続を組み合わせた構造を持つ。
- バックプロパゲーションや代理勾配なしで教師あり学習を可能にする，生物学に基づいた学習フレームワークを導入した。
- ベンチマーク分類タスクにおいて，安定した学習と競争力のある性能が確認された。
エージェントカプセル：マルチエージェントLLMパイプラインにおける品質保証型粒度制御 [cs.CL, cs.AI]目的：マルチエージェントLLMパイプラインの効率化と品質維持
- 大規模言語モデル(LLM)を用いたシステム構築において，複数のエージェントを連携させることで複雑なタスクに対応できる。
- エージェント数を減らすことでトークンコストを削減できる一方，品質低下のリスクがある。
- エージェントの統合戦略を動的に選択し，品質を維持しながら効率化を図る。
- 提案手法「Agent Capsules」は，実証的な品質制約に基づいてマルチエージェントパイプラインの実行を最適化する。
- 実験の結果，手動で調整されたオラクルと同等の品質を，モデルやグループ，モードに関わらず達成した。
- 14エージェントの競合分析パイプラインと5エージェントのデューデリジェンスパイプラインにおいて，トークン使用量をそれぞれ51%，19%削減できた。
物理的にネイティブな世界モデル：生成的ワールドモデリングにおけるハミルトン系の視点 [cs.AI, cs.RO]目的：生成的ワールドモデリングにおける物理的意味性と行動制御の有用性
- 具現知能やロボティクス等の発展において，環境の予測能力は不可欠である。
- 既存の世界モデルは，物理的な信頼性や長期的な安定性に課題が残されている。
- 物理法則に基づいたモデル構造により，予測の質と汎化性能の向上を目指す。
- ハミルトン系に基づいた世界モデルを提案し，潜在空間における状態遷移を物理法則に従って記述する。
- このアプローチにより，解釈性，データ効率，長期的な安定性の向上が期待される。
- 現実世界のロボットシーンにおける摩擦や接触といった課題への対応が今後の展望となる。
木からフローへ，そして再び木へ：決定木と拡散モデルの統一 [cs.LG, cond-mat.stat-mech, cs.AI]目的：決定木と拡散モデル間の数学的対応関係
- 機械学習モデルの多様性を理解する上で重要である。
- 決定木と拡散モデルは，異なるモデルクラスであり，統合が困難である。
- 両モデルの共通最適化原理を発見し，その応用を目指す。
- 決定木と拡散モデルの間に明確な数学的対応関係が確立された。
- 両モデルに共通する最適化原理として，Global Trajectory Score Matching (GTSM) が見出された。
- treeflowとdsmtreeという2つの実用的な応用例を通じて，その概念的価値が示された。
混合モデルの視点からのLLMアンサンブルの再考 [cs.LG, cs.CL]目的：LLMアンサンブルの効率化
- 機械学習モデルの性能向上にはアンサンブルが有効であり，特に大規模言語モデル(LLM)において重要性が増している。
- 従来のLLMアンサンブルは計算コストが高く，実用上の課題となっていた。
- 混合モデルとして解釈することで，計算コストを削減し，効率的なアンサンブルを実現する。
- 提案手法MEは，アンサンブル分布からのサンプリングと数学的に等価でありながら，単一モデルの推論のみで実現する。
- MEは，従来のアンサンブル手法と比較して1.78倍から2.68倍高速化を達成した。
- LLMアンサンブルとトークンレベルルーティング手法の関連性を示唆し，新たな研究の方向性を示した。
Foresight Arena: AI予測エージェントの評価のためのオンチェーンベンチマーク [cs.MA, cs.LG, q-fin.GN]目的：AI予測エージェントの予測能力評価
- AIによる予測技術は，金融，サプライチェーンなど様々な分野で重要性が増している。
- 既存のベンチマークは，データ汚染や，予測精度以外の要素に影響される評価指標に依存している。
- 分散型環境下で，予測精度の高いAIエージェントを客観的に評価する方法を確立すること。
- Foresight Arenaは，現実世界の予測市場でAIエージェントを評価するための，初の許可不要のオンチェーンベンチマークである。
- 評価指標として，適切なスコアリングルールであるBrier Scoreと，新規開発のAlpha Scoreを採用した。
- 真の優位性（α*=0.02）を80%の信頼度で検出するには約350回のバイナリ予測が必要であると分析された。
RadLite：CPU展開可能な画像診断AIのための小規模言語モデルのマルチタスクLoRAファインチューニング [cs.CL, cs.AI, cs.LG]目的：CPU環境での展開を可能とする画像診断におけるマルチタスク性能の向上
- 画像診断AIは医療の質と効率を向上させる可能性を秘めているが，計算資源の制約が課題となっている。
- 大規模言語モデルは計算コストが高く，資源の限られた臨床環境への導入が困難である。
- 小規模言語モデルを用いて，計算資源の少ない環境でも実用的な画像診断AIを構築することを目指す。
- LoRAファインチューニングにより，ゼロショットベースラインと比較して大幅な性能向上が確認された（RADS精度+53%，NLI+60%，Nステージング+89%）。
- Qwen2.5は構造化された生成タスク，Qwen3は抽出タスクにおいて優れた性能を示し，互いに補完的な強みを持つことが示された。
- 両モデルを組み合わせたアンサンブルが，すべてのタスクで最高の性能を達成した。ファインチューニングされたモデルにおけるFew-shot promptingは性能を低下させた。
BWLA：LLMの後学習量子化におけるW1AXの障壁を打破 [cs.LG, cs.AI]目的：LLMの後学習量子化のための新しいフレームワーク
- LLMはNLPの進歩を牽引するが，その巨大なメモリと計算量は実用的な展開の阻害要因となっている。
- 既存の二値化手法は活性化の裾を処理できず，高精度な活性化を維持する必要がある。
- BWLAは，1ビット重み量子化と低ビット活性化を両立させ，LLMの圧縮と高速化を実現する。
- BWLAはQwen3-32Bにおいて，6ビット活性化下でWikitext2のperplexityを11.92まで低下させた。
- 5つのゼロショットタスクにおいて，70％以上の性能向上を示した。
- 推論速度を3.26倍に向上させ，実世界でのLLM圧縮と高速化の可能性を示した。
GD4：グラフに基づく離散ノイズ除去拡散を用いたMIMO検出 [cs.LG]目的：MIMO検出問題に対する最適な解の復元
- 無線通信において，MIMO検出は重要な技術であり，通信品質と容量の向上に不可欠である。
- 特に，受信アンテナ数よりも送信アンテナ数が多い過小決定システムにおいて，高性能かつ効率的な検出が課題である。
- GD4は，過小決定システムにおけるMIMO検出性能の向上と，推論時の計算コスト削減を目指す。
- GD4は，既存の拡散ベース検出器とは異なり，離散シンボル空間で直接ノイズ除去を行うことで，高速な推論を実現する。
- 実験結果から，GD4は，過小決定および過決定環境において，既存の拡散ベース検出器や古典的な手法よりも高品質な亜最適解を提供する。
- 限られた推論時間内において，GD4は優れた性能を発揮し，計算コストと性能のトレードオフを改善する。
技能を検証可能な成果物として：人間介入型エージェント実行環境のための信頼スキーマと双方向の正当性基準 [cs.CR, cs.AI, cs.MA, cs.SE]目的：技能の信頼性を確保するためのスキーマと正当性基準
- 大規模言語モデルの活用が進む中，技能（スキル）は重要な要素となっている。
- 技能の信頼性検証が不十分な場合，人間の介入が常時必要となり，運用が困難になる。
- 技能の検証プロセスを確立し，人間の介入を必要な場合に限定することで，持続可能なシステムを構築すること。
- 技能を「信頼できないコード」として扱い，検証を必須とすることで，安全性を高める。
- 技能マニフェストに検証レベルを明示し，HITLポリシーをそのレベルに応じて調整する。
- 双方向の正当性基準を満たす検証手順を確立し，敵対的アンサンブルを用いた評価を行う。
多段階エージェント強化学習のための適応的エントロピー変調 (AEM) [cs.AI]目的：多段階タスクにおける言語モデルエージェントの学習効率向上
- 強化学習は，大規模言語モデルエージェントの環境との相互作用能力を大きく向上させている。
- 疎な報酬のみでは，エージェントの行動軌跡における個々のステップへの貢献度を評価することが困難である。
- エントロピーダイナミクスを適応的に変調することで，探索と活用のバランスを最適化し，報酬の少ない環境でも効率的な学習を実現する。
- AEMは，トークンレベルから応答レベルへのエントロピー分析の高度化により，トークンサンプリングの分散を低減する。
- 自然勾配下でのエントロピーの変化は，アドバンテージと応答の相対的驚き度の積によって本質的に制御されることを理論的に示す。
- SWE-bench-Verifiedベンチマークにおいて，最先端のベースラインに統合することで1.4%の性能向上を達成した。
MMAudioReverbs: ビデオ誘導による音響モデリング - 除響とインパルス応答推定 [cs.SD, cs.CV, cs.LG, eess.AS]目的：除響と部屋のインパルス応答推定のための音響モデリング手法
- 視覚情報と聴覚情報の関係は，現実世界の理解に不可欠であり，音響処理への応用が期待される。
- 既存の動画から音声へのモデルは，部屋の音響効果を明示的にモデル化していない点が課題である。
- 事前学習済みモデルを活用し，物理的に根拠のある部屋音響処理を実現することを目指す。
- 動画と音声のヒントは，部屋の音響特性の種類に応じてそれぞれ利点があることが示された。
- 既存の動画から音声へのモデルを，ネットワーク構造を変更することなく，除響とインパルス応答推定に活用できることが示された。
- 基盤となる動画から音声へのモデルは，物理的に根拠のある部屋音響解析に利用できる可能性が示唆された。
ベイズ確信区間予測のための最適空間・時間的分離 [cs.LG, stat.ML]目的：ベイズ確信区間予測における空間・時間的分離の最適化
- 金融市場等の変動的なデータに対し，予測の信頼性を保証する手法の重要性が高まっている。
- 従来のオンライン確信区間予測は，時間適応性と構造的安定性の両立が困難であった。
- 時間的変化と空間的証拠を考慮し，信頼性と予測効率の最適なバランスを実現すること。
- 提案手法SA-BCPは，過去の安定した状態を維持しつつ，変化時には区間を広げることで適応性を高める。
- SA-BCPは，既存手法ACIの系統的なカバレッジ不足を解消し，ベイズCPの区間肥大を10～37%削減する。
- SA-BCPは，金融データにおける様々な信頼水準で，厳密なWinklerスコアを最小化することを示した。
要件を意識したカリキュラム強化学習によるLLMコード生成の改善 [cs.SE, cs.AI]目的：LLMによるコード生成性能の向上
- ソフトウェア開発効率向上の可能性を秘めており，学術界と産業界で注目されている。
- 複雑な要件に対し，既存のLLMは依然として性能面での限界を抱えている。
- 要件難易度の認識と最適化，およびカリキュラムサンプリング戦略の改善を目指す。
- RECRLは，モデル固有の要件難易度を自動的に認識し，トレーニングデータ活用を改善する。
- 適応的なカリキュラムサンプリング戦略により，難易度が緩やかに変化するトレーニングバッチを構築する。
- 5つの最先端LLMと5つのコード生成ベンチマークで，Pass@1が平均1.23%-5.62%向上した。
幾何学的制約によるLLM生成におけるモード崩壊からの脱却 [cs.CL, cond-mat.dis-nn, cs.AI, nlin.CD]目的：大規模言語モデルの生成におけるモード崩壊の軽減
- 生成モデルは多様な出力を生み出すことが重要であり，その性能向上はAI研究の重要な課題である。
- モード崩壊は，生成モデルが多様性を失い，単調な出力を繰り返す現象であり，解決が困難である。
- 本研究は，モデルの内部状態空間の幾何学的構造に着目し，モード崩壊を抑制する新たな手法を提案する。
- 提案手法RMRは，Transformerのキャッシュに低ランクダンピングを適用することで，自己強化方向への過度な集中を抑制する。
- RMRを適用することで，複数の大規模言語モデルにおいてモード崩壊が大幅に軽減され，安定した高品質な生成が可能になった。
- RMRは，標準的なデコーディング手法と比較して，極めて低いエントロピー率（0.8 nats/step）で生成を維持できる。
大規模言語モデルにおけるタスクの言い回しが前提に与える影響 [cs.CL, cs.AI]目的：大規模言語モデルにおける前提の形成
- 現実世界での応用における安全性と信頼性が重要視される中，大規模言語モデルの挙動理解が不可欠である。
- タスクの言い回しによってモデルが不適切な前提を形成し，タスクの変化に対応できない場合がある。
- タスクの言い回しを工夫することで，モデルが前提に左右されず，論理的な推論を行うことを目指す。
- 実験の結果，LLMは推論ステップを含む場合でも，前提に左右されやすいことが示された。
- しかし，タスクの言い回しが中立的である場合，モデルは前提に頼らず論理的な推論を実行できた。
- これらの結果は，LLMにおける前提のリスク軽減のために，適切なタスクの言い回しが重要であることを示唆する。
テキストと画像による思考：長期的ロボット操作のための相互交錯型視覚言語推論トレース [cs.AI, cs.RO]目的：長期的ロボット操作における論理的な整合性と幾何学的な根拠に基づいた計画
- ロボットの自律的な行動を可能にするためには，複雑なタスクを理解し実行する能力が不可欠である。
- 従来の視覚言語行動ポリシーは，計画を潜在状態に隠蔽するか，テキストのみまたは視覚のみに焦点を当てている。
- 視覚情報と言語情報を統合し，タスク全体の計画を明示的に表現することで，よりロバストな操作を実現する。
- 提案手法（IVLR）は，テキストのサブゴールと視覚的なキーフレームを交互に配置した明示的な中間表現（トレース）を用いる。
- シミュレーションベンチマークにおいて，IVLRはLIBEROで平均95.5%の成功率，LIBERO-Longで92.4%の成功率を達成した。
- トレースがない場合や，テキスト/視覚のみのトレースでは成功率が低下し，相互交錯型トレースの有効性が示された。
人間と機械の共生における人工知能の役割 [cs.AI, cs.CL, cs.HC]目的：自然言語生成における人工知能の潜在的な役割の追跡
- 人工知能の進化は，人間と機械の関係を密接にし，新たな共生関係を創出している。
- 生成されたコンテンツのみでは，人工知能がどのような役割を果たしたかを特定することが困難である。
- プロンプトから役割を推論し，生成過程に埋め込み，結果のテキストから役割を復元することを目指す。
- 提案手法は，人工知能の役割の識別，摂動への頑健性，言語品質の維持において有効であることが示された。
- 本研究は，人工知能の公平性，透明性，適切性に関する倫理的な議論に貢献すると期待される。
- 人間が書いたコンテンツの編集支援と，簡単なコンセプトからの新規コンテンツ生成という代表的なシナリオで実験が行われた。
適応的均衡：汎用的なDeepFakeモデル妨害のための動的重み付けフレームワーク [cs.LG, cs.CV]目的：汎用的なDeepFakeモデル妨害における妨害の不均衡を解消し，均一な有効性を実現する手法
- DeepFake技術の発展は著しいが，その悪用を防ぐための妨害技術の向上が急務である。
- 従来の妨害手法では，モデル構造の相違により妨害の成功率にばらつきが生じるという課題があった。
- モデル間の妨害の不均衡を解消し，すべてのモデルに対して均一な妨害効果を得ることを目指す。
- 提案手法AEFは，リアルタイムの損失フィードバックを用いて，最も耐性のあるモデルに大きな妨害重みを動的に割り当てる。
- これにより，最適化を平均的なケースから動的な均衡を見つける問題へと転換し，均一に有効な均衡状態へと誘導する。
- 多様なモデルアーキテクチャにおける実験により，AEFがよりバランスの取れた妨害性能を発揮することが確認された。
順序の力：敵対的テーブル置換によるLLMの欺瞞 [cs.LG]目的：大規模言語モデルにおけるテーブル構造への脆弱性の検証
- LLMはテーブルデータを利用したタスクで活用が拡大しており，その信頼性が重要である。
- LLMはテーブルの構造変化に脆弱であり，わずかな置換で誤った出力を招く可能性がある。
- テーブルの行や列の順序を敵対的に置換することで，LLMの性能低下を明らかにする。
- 敵対的テーブル置換（ATP）により，様々なLLMの性能が大幅に低下することが確認された。
- ATPは，モデルサイズやアーキテクチャに関わらず，幅広いLLMに影響を及ぼす普遍的な脆弱性を示す。
- 現在のLLMが構造化データを処理する根本的な弱点を明らかにし，順序に依存しないモデル開発の必要性を示唆する。
MIMO検出のためのソフトグラフ拡散Transformer [cs.IT, cs.LG, eess.SP, math.IT]目的：MIMO検出におけるシンボル推定の段階的な精度向上
- 無線通信において，MIMO技術は通信速度と信頼性を向上させるために不可欠である。
- 従来の学習ベースのMIMO検出は，固定深さのアーキテクチャに依存し，推定の段階的な改善を明示的にモデル化していない。
- シンボル検出をノイズレベル条件付きの去ノイズ化プロセスとして再構築し，より高精度な検出を目指す。
- 提案手法SGDiTは，様々なMIMOシステム構成において，代表的なベースラインと同等のビット誤り率（BER）性能を達成する。
- SGDiTは，異なるチャネル条件下でも優れた汎化能力を示す。
- AdaLN条件付きのソフトグラフTransformerを用いることで，観測とシンボルドメイン間の段階的な情報統合を可能にする。
NR-U/Wi-Fi共存におけるシステムレベルのトレードオフ制御のためのポリシー駆動型強化学習フレームワーク [cs.NI, cs.LG, cs.SY, eess.SY]目的：NR-UとWi-Fiの共存におけるシステムレベル資源調整
- 電波利用効率向上は，通信環境の逼迫を緩和し，より多くのユーザにサービスを提供するために不可欠である。
- NR-UとWi-Fiの共存において，異なるチャネルアクセス方式が，スペクトル利用の不均衡やWi-Fi性能の低下を引き起こす。
- 公平性，スループット，QoSといったシステムレベルのトレードオフを明示的に制御する手法の確立を目指す。
- 提案フレームワークは，厳格な公平性制御下でジェイン公平性指数0.9以上を達成した。
- 絶対的公平性と比較して，適度な公平性により集約スループットが68.22%向上した。
- ユーティリティベースのポリシーは，さらにユーティリティを177.6%向上させた。
ハイパー勾配に基づく集約重みのオンライン更新を用いた連合学習 [cs.LG, eess.SP]目的：連合学習における集約重みのオンライン更新手法
- モバイルやIoT機器を活用する連合学習の重要性が高まっている。
- クライアントデータの分布の不均一性や通信環境の変化への対応が課題である。
- 不均一な環境下での汎化性能と通信エラーへの耐性を向上させる。
- 提案手法FedHAWは，集約重みをオンラインで更新する。
- ハイパー勾配を用いることで，計算コストを抑えつつ更新を実現している。
- シミュレーション結果から，高い汎化性能と通信エラーに対するロバスト性が確認された。
CleanBase：RAG知識データベースにおける悪意のあるドキュメントの検出 [cs.CR, cs.LG]目的：RAG知識データベース内の悪意のあるドキュメントの検出
- RAGは有用だが，プロンプトインジェクション攻撃に脆弱であるため，安全性確保が重要である。
- 攻撃者は，RAGシステムを欺くために悪意のあるドキュメントを知識データベースに挿入する。
- CleanBaseは，悪意のあるドキュメントが示す高い意味的類似性を利用して検出を目指す。
- CleanBaseは，知識データベース内のドキュメント間の意味的類似性に基づいて類似性グラフを構築する。
- 悪意のあるドキュメントはグラフ内でクリックを形成する傾向があり，CleanBaseはこれを検出する。
- 理論的な誤検出率と誤陰性率の上限を導出し，実験的に有効性を検証した。
AIアクセラレーションCFDシミュレーションのIPUプラットフォームへの適応 [cs.DC, cs.AI]目的：AIとシミュレーションの融合による数値シミュレーションの効率化
- 科学技術計算の分野において，計算時間の短縮と精度向上が常に求められている。
- 従来の数値シミュレーションは計算コストが高く，大規模な問題を扱う上で課題が多い。
- AIを活用することで，シミュレーションの高速化と高精度化を実現し，新たな可能性を探る。
- OpenFOAMシミュレーションデータを活用した機械学習モデルの訓練により，テスト時のシミュレーション状態を高精度に予測することが可能となった。
- ホストサイドにおけるデータ供給のボトルネックを，popdistライブラリの活用により最大34％改善することに成功した。
- IPU数を2から16に増やすことで，スループットは560.8サンプル/秒から2805.8サンプル/秒へと大幅に向上した。
位相振幅変調による周期的なシフトのモデリング：非定常時系列予測 [cs.LG, cs.AI]目的：非定常時系列予測における周期的な分布シフトのモデリング
- 現実世界の時系列データは，平均や分散の時間変化など，統計的性質が非定常であることが多い。
- 既存手法は，過去と未来の分布が同一であるという強い仮定に依存している場合がある。
- 周期的な分布シフトを捉え，よりロバストな時系列予測を実現すること。
- PAModは，正規化された特徴空間において位相振幅変調を用いて周期的な分布シフトをモデル化する軽量かつ強力なフレームワークである。
- 位相変調は平均シフトを，振幅変調は分散変化を捉え，動的な非正規化と同等であることが数学的に証明された。
- 12の現実世界のベンチマークにおいて，PAModは最先端の性能を，少ない計算資源で達成した。
複素領域におけるニューラルネットワークのためのバッチ正規化 [cs.LG, stat.ML]目的：複素領域上のニューラルネットワークにおけるバッチ正規化層の開発
- 機械学習の分野において，深層ニューラルネットワークの性能向上は重要な課題である。
- 従来のバッチ正規化は，複素領域のような特殊な構造を持つデータに対しては適用が難しい。
- 本研究では，これまで研究の少なかった複素領域におけるバッチ正規化層を提案し，その有効性を示す。
- 提案手法は，既存のリーマンバッチ正規化層と密接な関係があることが示された。
- 特に，シーゲル円盤領域などの，これまで研究が少ない複素領域における実装に必要な要素を導出した。
- レーダークラッタ分類，ノード分類，行動認識といった実験により，提案手法の有効性が確認された。
共有線形表現を持つマルチタスク学習のための，ほぼ最適かつ効率的な一次元アルゴリズム [cs.LG, math.OC]目的：マルチタスク学習における共有表現とタスク固有パラメータの同時学習
- 機械学習において，関連する複数のタスク間の共通構造を活用するマルチタスク学習は重要である。
- 行列分解の非凸性により，共有線形表現であっても，効率的に解ける尤度に基づくアルゴリズムの開発が遅れている。
- 尤度に基づく一次元手法でマルチタスク学習問題を効率的に解決することを目指す。
- 提案アルゴリズムは，$\widetilde{\mathcal{O}}(1)$回の反復で収束し，高い効率性を実現する。
- 推定誤差は$\widetilde{\mathcal{O}}(dk/(TN))$であり，既存手法と比較して因数$k$だけ改善されている。
- この結果は，尤度に基づく一次元手法がマルチタスク学習問題を効率的に解決可能であることを示唆する。
大規模モバイルネットワークにおける教師なし異常検知のためのスケーラブルな文脈認識グラフ注意機構 [cs.LG, cs.AI]目的：大規模モバイルネットワークにおける異常検知
- モバイルネットワークの安定運用には，数千もの要素の監視が不可欠であり，異常検知の重要性は高い。
- 異常のラベル付けコストが高く，従来の教師あり学習は現実的ではない点が課題である。
- 文脈の変化や非定常性に対応できる，スケーラブルな異常検知手法を開発すること。
- 提案手法C-MTAD-GATは，グラフ注意機構と文脈条件付けを組み合わせることで，大規模なネットワーク要素群に対して単一モデルで異常検知を実現した。
- 公開データセットにおいて，既存手法と比較してイベントレベルのアフィリエーションとポイントワイズF1スコアが向上し，誤警報も減少した。
- 実際のモバイルネットワーク運用データへの適用により，実用的なアラート生成が可能であり，ドメインを問わずスケーラビリティが確認された。
マルチアームバンディットにおける報酬と誤りのトレードオフ [cs.LG]目的：マルチアームバンディットにおける報酬最大化と腕の平均値の正確な識別との間のトレードオフ
- 意思決定の基盤技術であり，医療，マーケティング，オンライン広告など広範な分野に応用可能である。
- 探索と利用のバランスが重要だが，既存手法では報酬最大化と情報収集の同時最適化が困難である。
- 報酬の蓄積と腕の識別精度の両立を目指し，両者のトレードオフを最適化するアルゴリズムを提案する。
- 提案アルゴリズムは，後悔保証を持ち，両方の目的の間を補間できることが示された。
- 理論的な上限と下限が導出され，実験的検証によってその有効性が確認された。
局所的な影響力を最大化するためのグラフバンディットの解明 [cs.LG]目的：グラフにおける影響力のあるノードの検出
- ソーシャルネットワークマーケティング等において，影響力のある顧客を特定する重要性が高まっている。
- 従来のグラフバンディット問題のアプローチは，グラフ構造に関する事前知識を必要とする場合が多い。
- グラフ構造を事前に知らなくても，逐次的に情報を取得しながら影響力のあるノードを効率的に特定すること。
- 提案手法BAREは，検出可能な次元に比例するリグレット保証を持つことが示された。
- BAREは，ノード数よりも小さい検出可能な次元に基づいて効率的に学習を進めることができる。
- この手法により，グラフ構造を事前に知らなくても，影響力のあるノードを効果的に特定できる。
条件異常検知のための距離尺度学習 [cs.LG]目的：条件異常検知における距離尺度の最適化
- データ中の異常や興味深いパターン発見に役立つため。
- 属性のサブセットにおける異常検知は，残りの属性に依存するため困難。
- 条件異常パターンを最も良く反映する距離尺度を学習すること。
- 条件異常検知のためのインスタンスベース手法において，距離尺度が重要である。
- 提案手法では，距離尺度学習を通じて，異常検知の性能向上を目指す。
- 学習された距離尺度は，条件異常パターンをより適切に反映する。
「何を本当にしようとしているのか？」：日常的なコンピュータ利用からの人生目標の共同創造 [cs.HC, cs.AI, cs.CL]目的：日常的なコンピュータ利用からの人生目標の共同創造
- 個人の行動理解は，人間中心のインタラクションやパーソナライズされた支援の実現に不可欠である。
- 既存システムは表面的な行動しか捉えられず，行動の背後にある目的を理解するに至っていない。
- コンピュータ利用の観察と修正を通じて，より深いレベルで人生目標を推論し，表現すること。
- 本研究で開発したシステムは，活動理論と個人目標フレームワークに基づいて，活動の階層的表現を構築する。
- 共同創造プロセスを通じて得られた人生目標は，参加者の長期目標を反映していることが確認された。
- 従来のシステムと比較して，本システムはユーザーに自己理解と制御の感覚をより強く与える。
スケッチを用いた連合線形文脈バンディットのスケーリング [cs.IR, cs.LG]目的：連合線形文脈バンディットにおけるスケーラビリティ問題の解決
- データ駆動型意思決定において，分散環境での学習は重要性を増している。
- 高次元データの場合，計算・通信コストがボトルネックとなり，スケーラビリティが課題となる。
- データ次元削減により，計算・通信コストを抑え，効率的な連合学習を実現すること。
- 提案手法FSCLBは，スケッチを用いることで計算量を$O(d^3)$から$O(l^2d)$に，通信量を$O(d^2)$から$O(ld)$に削減した。
- 理論的には，FSCLBは$\widetilde{O} ((\sqrt{d}+\sqrt{M\varepsilon_l})\sqrt{lT})$という後悔限界を達成し，スケッチを用いない場合と同等の性能を示す。
- 実験結果から，FSCLBは計算・通信コストを90%以上削減しつつ，累積報酬の低下はわずかであることを確認した。
LambdaRankIC：金融予測におけるランクICの直接最適化 [cs.LG]目的：金融予測におけるランクICの直接最適化手法
- 金融予測において，モデルの性能評価にはランクICが広く用いられる重要な指標である。
- 既存モデルは回帰損失やランキング目的関数を用いて学習されることが多く，ランクICとの整合性が課題であった。
- ランクICを直接最適化することで，金融予測の精度向上を目指す。
- 提案手法LambdaRankICは，ペアワイズランクのスワップに基づく勾配を効率的に計算し，ランクICを直接最適化する。
- シミュレーション実験では，ノイズ環境下においても真のランキング構造を正確に復元し，既存手法を上回る性能を示した。
- 実データ実験では，ランクIC，ICIR，月間リターン，シャープレシオなどの金融評価指標において，最良のパフォーマンスを達成した。
1次元セマンティックトークナイザーを用いたエンドツーエンドの自己回帰画像生成 [cs.CV, cs.LG]目的：自己回帰画像生成における画像圧縮表現の最適化
- 画像生成技術は，現実世界の多様な視覚情報を再現する上で重要な役割を担う。
- 既存手法では，トークナイザーと生成モデルを別々に学習させるため，最適化が困難であった。
- トークナイザーと生成モデルを同時に最適化することで，生成品質の向上を目指す。
- 本研究では，再構成と生成を同時に最適化するエンドツーエンドの学習パイプラインを提案した。
- 提案手法は，ImageNet 256x256生成において，FIDスコア1.48を達成し，最先端の結果を示した。
- ビジョンファウンデーションモデルを活用することで，1次元トークナイザーの性能向上が確認された。