arXiv雑要約
AI - 2026/05/05 公開
均一正解ポリシー最適化：RLVRにおける多様性への無関心からの脱却 [cs.CL, cs.LG, cs.CL, stat.ML]目的：推論タスクにおける多試行カバレッジ（Pass@K）の向上
- 強化学習は推論タスクにおいて高い精度を達成するが，多様性の確保が課題となる。
- 検証可能な報酬を用いた強化学習（RLVR）は，多様性が失われやすく，正解の偏りが生じやすい。
- 正解解の確率分布の均一性を促進することで，多様性の崩壊を抑制し，性能向上を目指す。
- UCPOは，従来のGRPOに条件付き一様性ペナルティを加えることで，正解解への確率質量を再配分する。
- 実験の結果，UCPOはPass@Kと多様性を向上させつつ，Pass@1を維持することに成功した。
- AIME24のPass@64で最大10%の絶対的な改善，正解解内の式レベルの多様性で最大45%の向上を達成した。
カーネルホップフィールドネットワークにおけるアトラクタ境界と記憶容量の限界の幾何学的解析 [cs.NE, cs.LG]目的：カーネルロジスティック回帰を用いた高容量結合性記憶の安定性の背後にある動的・幾何学的メカニズムの解明
- 結合性記憶は，人間の記憶システムを模倣する重要な技術であり，様々な応用が期待されている。
- 従来のモデルでは，記憶容量と安定性の両立が課題であり，そのメカニズムの理解が不十分である。
- カーネルロジスティック回帰に基づくホップフィールドネットワークの記憶容量限界を，幾何学的・動的に解明する。
- ネットワークは，ランダムな系列に対して約P/N≈16，構造化データに対して約P/N≈20の記憶容量を達成することが示された。
- アトラクタは「最適化の稜線」上に存在し，急峻な相転移のような境界によって分離されていることが明らかになった。
- 記憶容量の限界は，特徴空間における幾何学的分離性の欠如ではなく，クロストークノイズに対する動的安定性の喪失によって制限されることが示された。
AlphaInventory：大規模言語モデルによるホワイトボックス在庫ポリシーの進化と展開保証 [cs.HC, cs.LG, cs.AI]目的：オンラインかつ非定常な環境における在庫ポリシーの進化
- 在庫管理は，サプライチェーン最適化の中核であり，企業の収益性に大きく影響する。
- 従来の在庫ポリシーは，動的な需要変動への適応が難しく，機会損失や過剰在庫のリスクがある。
- 大規模言語モデルを用いて，統計的安全性を保証する在庫ポリシーを自動的に進化させる。
- AlphaInventoryは，信頼区間に基づく検証を用いて，在庫ポリシーをエンドツーエンドで進化させるフレームワークである。
- 合成データと実世界の小売データを用いた実験により，従来の在庫ポリシーや深層学習ベースの手法を上回る性能が示された。
- 統計的に安全かつ改善されたポリシーが進化する確率と，オラクル安全ベンチマークとの乖離を定量化する理論的枠組みを導入した。
集団認知学習：統制された二段階エージェント協調による全体最適化 [cs.LG, cs.CY, cs.MM]目的：モダリティ優位性と見せかけのモダリティ結合の軽減
- マルチモーダル学習は，言語，音響，視覚情報を統合し，様々なタスクを効率化する上で重要である。
- 既存手法では，特定のモダリティに最適化が偏ったり，不要な相関関係を学習してしまう問題があった。
- 本研究では，モダリティ間の協調を統制し，より効果的な情報統合を目指す。
- 提案手法GCLは，ルーティングエージェントと監査エージェントによる選択的相互作用段階と，公開因子エージェントと集約エージェントによるコンセンサス形成段階から構成される。
- 実験の結果，GCLはCMU-MOSI，CMU-MOSEI，MIntRecのベンチマークにおいて，回帰および分類タスクで最先端の結果を達成した。
- 分析実験により，GCLがモダリティ優位性と結合を効果的に軽減することが示された。
GaMMA：大規模マルチモーダルモデルにおける音楽のグローバル・時間的理解に向けた試み [cs.SD, cs.AI]目的：音楽コンテンツの包括的な理解
- 音楽理解は，音楽情報検索や音楽生成など，様々な応用分野において重要である。
- 既存のモデルは，音楽の時間的側面と非時間的側面の理解を統合的に行うことが困難であった。
- 時間的・非時間的な音楽理解を統一的に実現可能なモデルを開発すること。
- 提案手法GaMMAは，MuchoMusicで79.1%の正答率を達成し，既存手法を上回る性能を示した。
- MusicBench-Temporalで79.3%，MusicBench-Globalで81.3%の正答率を達成し，時間的・グローバルな音楽理解能力の向上を実証した。
- 大規模な音楽ベンチマークMusicBenchを新たに構築し，音楽LMMの評価に貢献した。
ノード・エッジ相互作用の高次元因果モデリングによるエッジ分類の高度化 [cs.CL, cs.LG]目的：エッジ分類における性能向上
- グラフ構造の応用において，エッジ分類は重要な課題であり，その重要性は増している。
- 従来法はノード特徴量からエッジ特徴量への因果関係を無視し，有用な事前情報を損失している。
- ノード特徴量の影響を軽減し，高次元エッジ特徴量のバランスの取れた表現学習を目指す。
- 提案手法CECFは，エッジ分類タスクに因果推論を適用する初のフレームワークである。
- CECFは，既存手法への柔軟な拡張が可能であり，優れた性能を示すことが実験的に確認された。
- 高次元因果モデリングがエッジ分類において有効な場合と，そのメカニズムに関する洞察を提供する。
ResRL：負例射影残差強化学習によるLLMの推論能力向上 [cs.HC, cs.LG, cs.CL]目的：大規模言語モデルの推論能力向上
- LLMの推論能力は，様々なタスクにおいて重要であり，その向上が求められている。
- 従来の強化学習では，正例への過度なインセンティブにより，生成多様性が制限される場合がある。
- ResRLは，正例と負例間の意味的分布を分離し，多様性を維持しつつ推論能力を向上させる。
- ResRLは，負例トークンの潜在表現を正例の低ランク部分空間に射影することで，負例の勾配を調整する。
- 理論的にLLDと負・正のヘッド勾配干渉を結びつけ，表現アライメントをガイドするプロキシを導出した。
- 数学，コード，エージェントタスク，関数呼び出しを含む12のベンチマークで，既存手法を上回る性能を示した。
LLM生成コードにおける社会的バイアス：ベンチマークと軽減策 [cs.SE, cs.AI, cs.SI]目的：LLM生成コードにおける社会的バイアスの評価と軽減
- 人間中心のアプリケーションでは，公平性が重要であり，LLMの利用が増加している。
- 既存の研究は機能の正確性に偏っており，LLM生成コードの社会的バイアスは未解明である。
- LLM生成コードにおけるバイアスを定量的に評価し，軽減策を提案すること。
- 大規模なベンチマークSocialBias-Benchを用いて，主要なLLMに深刻なバイアスが存在することを確認した。
- Chain-of-Thoughtや公平性ペルソナといった既存の介入策は，バイアスを悪化させる可能性が示唆された。
- Fairness Monitor Agent (FMA)が，バイアスを大幅に軽減し，機能の正確性も向上させることを実証した。
物理情報に基づいた局所暗黙的表現 [cs.CL, cs.RO, cs.LG]目的：偏微分方程式の求解における性能向上
- 物理現象のシミュレーションは科学技術の発展に不可欠であり，高精度な求解手法が求められている。
- 従来の物理情報ニューラルネットワークは，スペクトルバイアスにより高周波成分の学習が遅延するという課題があった。
- 局所的な特徴を捉え，スペクトルバイアスを軽減することで，高精度かつ高速な求解を実現することを目指す。
- 本研究で提案するPILIRは，空間的な局所性を明示的に符号化することで，高周波成分の学習を促進し，収束性を向上させる。
- 実験結果から，PILIRは従来の最先端手法と比較して，より高い精度で微細構造を再構成できることが示された。
- PILIRは，スペクトルバイアスを効果的に軽減し，高周波詳細の収束を加速させることにより，偏微分方程式の求解性能を向上させる。
グラフ伝搬によるロバストかつスケーラブルな密度ベースクラスタリング [cs.HC, cs.LG]目的：高次元空間における密度ベースクラスタリング手法
- データ解析において，データの構造を把握することは重要であり，クラスタリングはそのための基礎となる技術である。
- 従来の密度ベースクラスタリングは，パラメータ設定に敏感であり，適切なパラメータを見つけるのが難しい場合がある。
- 本研究は，パラメータ設定の感度を軽減し，大規模データへの適用を可能にするクラスタリング手法を開発する。
- 提案手法CluPropは，高次元空間におけるクラスタリングを近傍グラフ上のラベル伝搬問題として捉える。
- 密度ベースクラスタリングとグラフ接続性を形式的に結びつけ，ネットワーク科学からの効率的な伝搬メカニズムを活用する。
- 大規模データセット（数百万点）を数分で処理でき，既存手法よりも高い精度を達成する。
RTPrune：DeepSeek-OCR効率的推論のための二度読み込みに着想を得たトークン刈り込み [cs.CV, cs.LG]目的：DeepSeek-OCR推論における効率化
- OCR技術は，文書のデジタル化に不可欠であり，その効率性は重要である。
- 既存のトークン刈り込み手法では，テキストの意味を損ねる可能性があり，OCR特有の構造を考慮していない。
- DeepSeek-OCRの解読プロセスに着目し，冗長な情報を削減することで，推論速度の向上を目指す。
- RTPruneは，DeepSeek-OCRの二段階読み込み特性を活用し，高ノルムトークンを優先的に保持する。
- 残りのトークンは，最適輸送理論に基づいてペアリングおよびマージすることで，効率的な特徴集約を実現する。
- OmniDocBenchにおいて，99.47%の精度と1.23倍の高速化を，84.25%のトークン保持率で達成した。
ポリシー最適化とオフライン推定における二重オラクル効率に基づくモデルベース強化学習 [cs.LG]目的：大規模環境における強化学習の計算ボトルネックの軽減
- 強化学習は，複雑な意思決定問題への適用が期待される重要な機械学習手法である。
- 従来の強化学習アルゴリズムは，計算コストが高く，大規模環境への適用が困難であるという課題がある。
- 本研究は，状態・行動空間のサイズに依存しない，効率的なオフライン強化学習アルゴリズムを開発することで，この課題を解決する。
- 提案手法は，有限マルコフ決定過程において，最適な$\tilde{O}(\sqrt{T})$の regret bound を達成する。
- 統計的推定と計画オラクルへの呼び出し回数は，$O(H\log\log T)$または$O(H\log T)$に抑えられ，状態・行動空間のサイズに依存しない。
- 線形マルコフ決定過程への拡張も可能であり，無限状態・行動空間を持つ問題にも適用できることが示された。
メッシュ場理論：メッシュベース物理のポートハミルトニアン定式化 [cs.LG]目的：メッシュベースの連続体力学のための構造保存フレームワーク
- シミュレーションの精度と安定性は，物理現象の理解と予測に不可欠である。
- 従来の数値シミュレーションは，計算コストが高く，物理的制約を満たしにくい場合がある。
- メッシュのトポロジーと計量構造を分離し，物理法則を忠実に再現すること。
- メッシュ場理論（MeshFT）は，局所性，置換不変性，向き共変性，エネルギー収支などの物理原理に基づいている。
- MeshFTは，物理ダイナミクスをポートハミルトニアン形式に分解し，メッシュトポロジーによって保守的な相互接続が一意に決定されることを示した。
- MeshFT-Netは，近ゼロのエネルギー変動と高い物理的忠実度を実現し，データ効率の高い学習ベースの物理シミュレーションを可能にする。
M-CaStLe：多変量時空間グリッドデータにおける局所的因果構造の解明 [cs.RO, cs.LG, physics.ao-ph, stat.ML]目的：多変量時空間グリッドデータにおける局所的因果構造の発見
- 時空間システムの因果関係解明は，気候変動予測や環境モデリング等，多くの分野で重要である。
- 高次元グリッドデータでは，時間的な観測点数が限られるため，因果構造の発見が困難である。
- M-CaStLeは，高次元データにおいても多変量因果構造を効率的に発見し，解釈可能性を高める。
- M-CaStLeは，局所的な空間と時間における変数間の因果構造を同時にモデル化することで，既存手法の限界を克服した。
- 実験結果から，M-CaStLeは制御された環境下で正確な因果構造を復元し，現実世界のケーススタディにおいて重要な物理的ダイナミクスを特定することが示された。
- M-CaStLeは，多変量時空間システムの因果発見を前進させるとともに，グリッドレベルでの解釈可能性を維持する。
構造化再帰型スパイクニューラルネットワークにおけるバックプロパゲーションを用いないスケーラブルな学習 [cs.NE, cs.AI, cs.LG]目的：構造化された多層再帰型スパイクニューラルネットワークの学習
- エネルギー効率と生物学的妥当性を両立する計算フレームワークとして，スパイクニューラルネットワークへの関心が高まっている。
- 深層再帰型アーキテクチャにおけるスケーラブルな学習は，疎な結合性により依然として大きな課題である。
- スパイクニューラルネットワークにおいて，バックプロパゲーションを用いないスケーラブルな学習方法を確立すること。
- 本研究では，局所的に密な再帰層と，読み出し層への疎な小世界長距離投影からなる構造化された多層再帰型スパイクニューラルネットワークを提案する。
- 提案手法では，固定された長距離結合と局所的な可塑性メカニズムを用いることで，効率的なルーティングとハードウェアのスケーラビリティを維持しつつ，教師あり学習を実現した。
- ベンチマーク分類タスクにおいて，安定した学習と競争力のある性能が示され，構造化された再帰と神経調節学習の可能性が示唆された。
エージェントカプセル：マルチエージェントLLMパイプラインにおける品質保証型粒度制御 [cs.CL, cs.AI]目的：マルチエージェントLLMパイプラインの効率化と品質維持
- LLMを活用した複雑なタスク処理において，複数のエージェントを連携させる手法が注目されている。
- エージェントを統合してLLM呼び出し回数を減らすことは，コスト削減に繋がる一方，品質低下のリスクがある。
- 品質を維持しつつ，エージェントの統合・分散を最適化する実行環境の構築を目的とする。
- 提示するAgent Capsulesは，実証的な品質制約の下で，マルチエージェントパイプライン実行を最適化するアダプティブな実行環境である。
- 実験の結果，Agent Capsulesは，手動で調整されたオラクルと同等の品質を維持しつつ，トークン使用量を削減することに成功した。
- 特に，14エージェントの競争インテリジェンスパイプラインでは，51%のトークン削減，5エージェントのデューデリジェンスパイプラインでは，最大68%のトークン削減が確認された。
物理的にネイティブな世界モデル：生成的ワールドモデリングにおけるハミルトン系の視点 [cs.AI, cs.RO]目的：生成的ワールドモデリングにおける物理的に意味のある未来予測の実現
- 具現化された知能，ロボティクス，自動運転などに応用が期待され，重要な研究分野である。
- 既存モデルは，視覚的表現，空間再構成，抽象的予測表現に分かれ，物理的に信頼性の高い予測が困難である。
- ハミルトン系に基づくワールドモデルにより，解釈性，データ効率，長期的な安定性を向上させることを目指す。
- 提案するハミルトンワールドモデルは，観測を構造化された潜在的位相空間に符号化し，ハミルトン力学に触発された力学を用いて状態を進化させる。
- 予測された軌跡を将来の観測に復号化し，そのロールアウトを計画に利用することで，物理的に意味のある未来予測を可能にする。
- 摩擦，接触，非保存力，変形物体など，現実世界のロボットシーンにおける課題についても議論する。
木構造からフローへ，そして再び木構造へ：決定木と拡散モデルの統合 [cs.LG, cond-mat.stat-mech, cs.AI]目的：決定木と拡散モデル間の数学的対応
- 機械学習分野において，多様なモデル構造の理解と統合は重要である。
- 決定木と拡散モデルは，その構造が大きく異なり，統合が困難であった。
- 両モデルの共通最適化原理を明らかにし，新たな応用方法を開発すること。
- 決定木と拡散モデルの間に，特定の条件下で数学的な対応関係が存在することが示された。
- 共有される最適化原理であるGTSM（Global Trajectory Score Matching）が明らかになった。
- treeflowとdsmtreeという2つの実用的な応用例が提示され，高い性能が確認された。
混合モデルの視点からのLLMアンサンブルの再考 [cs.LG, cs.CL]目的：LLMアンサンブル手法の効率化
- 機械学習モデルの性能向上において，アンサンブル学習は重要な役割を担う。
- LLMのアンサンブルは計算コストが大きく，実用上の課題となっている。
- LLMアンサンブルの計算効率を改善し，より低コストな手法を提案する。
- 提案手法MEは，アンサンブルを混合モデルとして解釈することで，各ステップで単一のモデルを確率的に選択する。
- これにより，アンサンブル分布を明示的に計算する必要がなくなり，従来のアンサンブルよりも1.78倍から2.68倍高速化される。
- LLMアンサンブルとトークンレベルルーティング手法との関連性を示し，今後の研究の方向性を示唆する。
Foresight Arena：AI予測エージェントの評価のためのオンチェーンベンチマーク [cs.MA, cs.LG, q-fin.GN]目的：AI予測エージェントの予測能力評価のためのオンチェーンベンチマーク
- AI予測市場は，経済や社会における意思決定を支援する可能性を秘めている。
- 既存のベンチマークは，データ汚染や予測精度以外の要素に左右されやすい。
- 予測市場における予測精度を，インセンティブ設計とスマートコントラクトにより客観的に評価すること。
- Foresight Arenaは，Polygon PoS上で稼働する，許可不要のオンチェーンベンチマークである。
- Brier ScoreとAlpha Scoreという適切なスコアリングルールを用いて，予測エージェントの予測能力を評価する。
- 真の優位性(α*=0.02)を検出するには約350回の予測が必要であり，α*=0.01ではその4倍の回数が必要である。
RadLite：CPU展開可能な画像診断AIのための小規模言語モデルのマルチタスクLoRAファインチューニング [cs.CL, cs.AI, cs.LG]目的：CPU環境での展開を可能にする画像診断AIのための小規模言語モデルのマルチタスク性能向上
- 画像診断AIは，医師の診断支援や効率化に貢献し，医療の質の向上に不可欠である。
- 大規模言語モデルは計算資源を多く必要とし，臨床現場のようなリソース制約のある環境での利用が困難である。
- 小規模言語モデルのファインチューニングにより，計算資源の制約下でも高精度な画像診断AIを実現することを目指す。
- LoRAファインチューニングにより，ゼロショットベースラインと比較してRADS精度が53%，NLIが60%，Nステージングが89%大幅に向上した。
- Qwen2.5は構造化生成タスク，Qwen3は抽出タスクで優れた性能を示し，両モデルの組み合わせにより，全タスクで最高の性能が達成された。
- ファインチューニングされたモデルをGGUF形式に量子化することで，CPU上で4〜8トークン/秒の速度で展開可能となり，実用的な画像診断AIアシスタントとして機能する。
BWLA：LLMの後学習量子化におけるW1AXの障壁を打破する [cs.LG, cs.AI]目的：LLMの後学習量子化フレームワーク
- LLMは自然言語処理の進歩を牽引するが，実用的な展開にはメモリと計算資源の制約がある。
- 既存の量子化手法は活性化の裾を処理できず，高精度な活性化を維持する必要がある。
- 活性化のビット数を削減し，LLMの圧縮と高速化を実現すること。
- BWLAは，6ビットの活性化下でQwen3-32Bにおいて11.92のWikitext2 perplexityを達成した。
- 5つのゼロショットタスクにおいて，既存の最先端手法と比較して70%以上の性能向上を示した。
- 推論速度を3.26倍に向上させ，実世界でのLLMの圧縮と高速化の可能性を示した。
GD4：グラフに基づく離散ノイズ除去拡散によるMIMO検出 [cs.LG]目的：MIMO検出における最適な解の復元
- 無線通信において，MIMO検出は重要な技術であり，通信品質と容量の向上に不可欠である。
- 特に，受信アンテナ数よりも送信アンテナ数が多いアンダーデターミンドシステムでは，高性能かつ低複雑な解を得ることが難しい。
- 本研究は，アンダーデターミンドシステムを含む様々な環境下で，高速かつ高精度なMIMO検出を実現することを目的とする。
- 提案手法GD4は，連続空間ではなく離散シンボル空間でノイズ除去を行うことで，高速な推論を実現している。
- 実験結果から，GD4は既存の拡散ベース検出器や古典的な手法と比較して，同程度の計算量でより高品質な解を生成することが示された。
- GD4は，アンダーデターミンドおよびオーバーデターミンドの双方のシステムで優れた性能を発揮する。
技能を検証可能な成果物として：ヒューマン・イン・ザ・ループ・エージェント実行環境のための信頼スキーマと双条件の正当性基準 [cs.CR, cs.AI, cs.MA, cs.SE]目的：エージェント技能の信頼性確保のためのスキーマと検証基準
- 大規模言語モデルの能力拡張に技能が不可欠となり，その信頼性確保が重要課題となっている。
- 技能の信頼性を担保する仕組みが不足しており，人間の介入なしには運用が困難な状況にある。
- 技能の検証プロセスを確立し，人間の介入頻度を減らすことで，持続可能なシステムを目指す。
- 技能は検証されるまで信頼できないコードとして扱うべきであり，実行環境がその原則を適用する必要がある。
- 技能の検証レベルを明示する信頼スキーマと，検証レベルに応じた人間介入ポリシーを定義するゲートを提案する。
- 双条件の正当性基準を満たす検証手順を提示し，オープンソースの実装ガイドラインを提供する。
多段階エージェント強化学習のための適応的エントロピー変調 (AEM) [cs.AI]目的：多段階タスクにおけるエージェントの行動軌跡の各ステップへの貢献度を評価する方法
- 大規模言語モデル(LLM)の能力向上により，環境とのインタラクションやタスク解決が可能になった。
- 疎な報酬のみでは，エージェントの行動のどのステップが重要かを判断することが難しい。
- 外部からの教師信号に頼らず，エントロピーのダイナミクスを適応的に調整し，探索と活用のバランスを取る。
- AEMは，トークンレベルではなく応答レベルでエントロピー分析を行うことで，トークンサンプリングの分散を低減する。
- 自然勾配下でのエントロピーの変化は，アドバンテージと応答の相対的な驚き度の積によって支配されることが示された。
- SWE-bench-Verifiedベンチマークにおいて，最先端のベースラインに統合することで1.4%の性能向上を達成した。
MMAudioReverbs: ビデオ誘導音響モデリングによる脱残響とインパルス応答推定 [cs.SD, cs.CV, cs.LG, eess.AS]目的：脱残響処理と部屋インパルス応答推定
- 音響環境は，音声認識やコミュニケーションに大きな影響を与えるため，その理解と制御が重要である。
- 既存のビデオ-音声モデルは残響などの音響効果を明示的にモデル化せず，制御性に乏しいという課題がある。
- ビデオ-音声モデルが持つ空間音声と視覚情報の関係に関する知識を活用し，音響処理に応用する。
- MMAudioReverbsは，ネットワーク構造を変更することなく，脱残響と部屋インパルス応答推定を統合的に扱うフレームワークである。
- 実験結果から，音声と視覚のどちらが有効かは，部屋の音響特性の種類によって異なることが示唆された。
- 事前学習済みのビデオ-音声モデルは，物理に基づいた音響分析に利用できる可能性が示された。
ベイズ適合確証予測のための最適な空間的・時間的分離 [cs.LG, stat.ML]目的：ベイズ適合確証予測における空間的・時間的分離の最適化
- 金融市場等の時系列データ予測において，信頼性の高い予測区間は不可欠である。
- 従来のオンライン確証予測は，変化への適応性と安定性のバランスが課題であった。
- 本研究は，急激な変化時における予測区間の精度と信頼性を向上させることを目指す。
- 提案手法SA-BCPは，空間的カーネル密度エビデンスを用いて時間的慣性を制御することで，変化と安定状態の両方で効率的な予測を可能にする。
- SA-BCPは，従来のACI法のカバレッジ不足を解消し，ベイズCPにおける予測区間の過大化を10～37%削減することを示した。
- 厳密な妥当性証明により，SA-BCPがバイアスと分散のトレードオフを最適化し，信頼性と予測効率のバランスを実現していることが示された。
要件を意識したカリキュラム強化学習によるLLMコード生成の改善 [cs.SE, cs.AI]目的：LLMコード生成の性能向上
- ソフトウェア開発効率の向上に貢献する技術であり，その重要性は高い。
- 複雑な要件に対応する際，既存のLLMは性能面で限界を示す。
- 要件の難易度を考慮し，学習データの活用効率を高めることで性能向上を目指す。
- 提案手法RECRLは，既存の最先端の基盤モデルにおいてPass@1の平均的な改善率を1.23%-5.62%達成した。
- RECRLは，モデル固有の要件難易度を自動的に認識し，最適化を行う。
- 適応的なカリキュラムサンプリング戦略により，難易度が緩やかに変化する学習バッチを構築する。
幾何学的制約によるLLM生成におけるモード崩壊からの脱却 [cs.CL, cond-mat.dis-nn, cs.AI, nlin.CD]目的：LLM生成におけるモード崩壊の抑制
- 生成モデルは多様な出力を生み出すことが重要であり，その性能向上はAI研究の重要な課題である。
- 生成モデルはモード崩壊という問題に直面し，出力の多様性が失われたり，反復的なパターンに陥ったりする。
- 本研究は，Transformerの価値キャッシュに対する介入を通して，モード崩壊を抑制し，安定した高品質な生成を可能にすることを目指す。
- 本研究で提案するRMRは，Transformerの価値キャッシュに低ランクダンピングを適用し，自己強化的な方向を制御することでモード崩壊を効果的に抑制する。
- RMRを用いることで，複数の大規模言語モデルにおいて，出力エントロピーを非常に低いレベル（0.8 nats/step）まで抑えつつ，安定した高品質なテキスト生成が可能となった。
- 従来のデコーディング手法では，モード崩壊が2.0 nats/step付近で発生するのに対し，RMRはそれを大幅に改善する。
大規模言語モデルにおけるタスクの表現が前提に与える影響 [cs.CL, cs.AI]目的：大規模言語モデルにおける前提の発生機構
- 実世界での応用を見据え，大規模言語モデルの安全性と信頼性の向上が重要である。
- タスクの表現によっては，モデルが不適切な前提を抱え，タスクの変化に対応できない場合がある。
- タスク表現を適切にすることで，大規模言語モデルの前提によるリスクを軽減することを目指す。
- 実験の結果，大規模言語モデルは推論ステップを踏んでも前提に左右されやすいことが明らかになった。
- しかし，タスクの表現が中立的であれば，モデルは前提に頼らず論理的な推論を行うことが示された。
- これらの結果は，大規模言語モデルにおける前提のリスクを軽減するために，適切なタスク表現が重要であることを示唆している。
テキストと画像による思考：長期的ロボット操作のための相互交錯型視覚言語推論トレース [cs.AI, cs.RO]目的：長期的ロボット操作のための論理的整合性と幾何学的根拠を備えた計画
- ロボットの自律的な作業能力向上には，複雑なタスクを理解し実行する計画能力が不可欠である。
- 既存の視覚言語行動ポリシーは，計画を潜在状態に隠蔽するか，一方のモダリティに偏りがちである。
- 視覚と言語を相互に活用することで，空間制約と意味的制約の両方を考慮した計画を可能にする。
- 提案手法IVLRは，テキストによる部分目標と視覚的キーフレームを交互に配置した明示的な中間表現「トレース」を用いる。
- シミュレーション実験の結果，IVLRはLIBEROで平均95.5%の成功率，LIBERO-Longで92.4%の成功率を達成した。
- トレースを使用しない場合や，単一のモダリティのみを使用した場合と比較して，IVLRは大幅に高い成功率を示した。
人間機械共生における人工知能の役割 [cs.AI, cs.CL, cs.HC]目的：自然言語生成における人工知能の機能的役割の追跡
- 人工知能の進化は，人間と機械の境界を曖昧にしており，その役割理解が不可欠である。
- 生成されたコンテンツからは，人工知能がどのような役割を果たしたかを特定することが困難である。
- プロンプトから潜在的な役割を推論し，生成テキストから役割を復元する手法を開発する。
- 提案手法は，役割の識別，摂動へのロバスト性，言語品質の維持において有効性が確認された。
- 本研究は，人工知能の倫理的な利用に関する将来の研究に貢献することが期待される。
- 人工知能が公正，透明，適切に使用されているかを判断するための手がかりを提供する。
適応的均衡：汎用ディープフェイクモデルの中断のための動的重み付けフレームワーク [cs.LG, cs.CV]目的：汎用ディープフェイクモデル中断における中断の不均衡を解消すること
- ディープフェイク技術の発展は目覚ましいが，その悪用を防ぐ技術が急務となっている。
- 既存手法では，モデル間の脆弱性の差により，一部のモデルに偏った中断しかできない。
- モデルの抵抗性の差を考慮し，均一な中断性能を実現することを目指す。
- 本研究で提案する適応的均衡フレームワーク（AEF）は，リアルタイムの損失フィードバックを用いて中断の重みを動的に調整する。
- これにより，最適化は平均的なケースから，動的なバランスを見つけることへとシフトする。
- 実験結果から，AEFが多様なアーキテクチャに対して，より均一で安定した中断成功率を達成することが示された。
順序の力：敵対的テーブル置換によるLLMの欺瞞 [cs.LG]目的：大規模言語モデルにおけるテーブル構造の脆弱性
- テーブルデータはLLMの重要な応用分野であり，その信頼性が求められる。
- LLMはテーブルデータの構造に対する脆弱性が未解決の課題である。
- LLMのテーブル構造に対する脆弱性を解明し，より堅牢なモデル開発を促す。
- 敵対的テーブル置換（ATP）により，LLMの性能が大幅に低下することが示された。
- ATPは，モデルサイズやアーキテクチャに関わらず，広範なLLMに対して有効である。
- LLMが構造化データを処理する際の根本的な弱点が明らかになり，堅牢性向上の必要性が示唆された。
MIMO検出のためのソフトグラフ拡散トランスフォーマー [cs.IT, cs.LG, eess.SP, math.IT]目的：MIMO検出におけるシンボル推定の漸進的な洗練
- 無線通信において，MIMO技術は通信容量を飛躍的に向上させる重要な技術である。
- 従来の学習ベースMIMO検出器は，固定深さのアーキテクチャに依存し，シンボル推定の段階的な洗練を明示的にモデル化していない。
- 本研究は，チャネル観測に基づいたシンボル事後分布へのガウス初期化の漸進的な変換を可能にする検出手法を提案する。
- 提案手法SGDiTは，様々なMIMOシステム構成において，代表的なベースラインと比較して競争力のあるビット誤り率(BER)性能を達成した。
- SGDiTは，異なるチャネル条件下で優れた汎化能力を示すことが実験的に確認された。
- 本研究は，ニューラルMIMO検出のための効果的かつ実用的なアプローチを提供する。
NR-U/Wi-Fi共存のためのポリシー駆動型強化学習フレームワーク [cs.NI, cs.LG, cs.SY, eess.SY]目的：NR-UとWi-Fiの共存におけるシステムレベルのトレードオフ制御
- 電波利用効率向上は，通信環境の最適化と多様な無線技術の共存に不可欠である。
- NR-UとWi-Fiの共存では，チャネルアクセス方法の違いから，スペクトル利用の偏りとWi-Fi性能の低下が生じる。
- 本研究は，異なる公平性ポリシーに基づき，システムレベルのトレードオフを制御するフレームワークを構築し，問題を解決する。
- 提案フレームワークは，厳格な公平性制御下でジェイン公平性指数0.9以上を達成した。
- 絶対公平性と比較して，適度な公平性は集約スループットを68.22%向上させた。
- ユーティリティベースのポリシーは，さらにユーティリティを177.6%向上させた。ポリシー駆動型制御の有効性が示された。
ハイパー勾配に基づく集約重みのオンライン更新による連合学習 [cs.LG, eess.SP]目的：モバイルおよびIoTデバイスにおける連合学習の適応性向上
- データ分布の多様性に対応し，通信環境の変化に強い学習手法が求められている。
- 従来の連合学習は，クライアント間のデータ分布の不均一性や通信環境の不安定性に弱い。
- 集約重みをオンラインで更新することで，環境変化への適応能力を高める。
- 提案手法FedHAWは，低計算コストで集約重みを更新するハイパー勾配を用いる。
- シミュレーション結果から，FedHAWは不均一な環境下で高い汎化性能を示す。
- また，通信エラーに対する頑健性も高いことが確認された。
CleanBase：RAG知識データベースにおける悪意のあるドキュメントの検出 [cs.CR, cs.LG]目的：RAG知識データベース内の悪意のあるドキュメントの検出
- RAGは強力だが，プロンプトインジェクション攻撃に脆弱であるため，セキュリティが重要である。
- 既存の手法では，データベースに混入した悪意のあるドキュメントを効率的に特定することが困難である。
- RAGシステムの信頼性を確保するため，悪意のあるドキュメントを自動的に検出する手法を開発すること。
- CleanBaseは，悪意のあるドキュメントが攻撃対象となる質問に対して高い意味的類似性を示すという洞察に基づいている。
- 知識データベース上で類似性グラフを構築し，悪意のあるドキュメントが形成するクリックを検出する。
- 理論的な誤検出率・見逃し率の上限を導出し，実験的に有効性を検証した結果，高い検出精度が確認された。
AIアクセラレーションCFDシミュレーションのIPUプラットフォームへの適応 [cs.DC, cs.AI]目的：AIとシミュレーションの融合による数値シミュレーションの効率化
- 数値シミュレーションは科学技術の発展に不可欠だが，計算コストが高いという課題がある。
- 従来のシミュレーション手法では，計算時間の短縮や精度の向上が困難である場合がある。
- AIを活用することで，シミュレーションの高速化と高精度化を目指す。
- IPUプラットフォーム上でCFDシミュレーションの機械学習モデルを訓練し，シミュレーション状態の予測精度を検証した。
- Poplar SDKのTensorFlowを用いてプログラムを適応させ，IPU-POD16プラットフォームでの使いやすさと性能のスケーラビリティを調査した。
- ホスト側でのデータ供給のボトルネックをpopdistライブラリで解消し，最速34%の速度向上を実現した。
周期変動を位相振幅変調でモデル化する非定常時系列予測: PAMod [cs.LG, cs.AI]目的：非定常時系列における周期的な分布シフトのモデル化
- 実世界の時系列データは，平均や分散の時間変化など，非定常な統計的性質を持つことが一般的である。
- 既存手法は，過去と未来の分布が同一であるという強い仮定に依存しており，現実の周期的な変動に対応できない場合がある。
- 位相振幅変調を用いて，周期的な分布シフトをモデル化し，より高精度な予測を可能にすることを目指す。
- PAModは，正規化された特徴空間において位相振幅変調を用いることで，周期的な分布シフトを効果的に捉える。
- 位相変調は平均シフトを，振幅変調は分散変化をそれぞれ適応的に学習し，動的な非正規化と同等であることが数学的に証明された。
- 12のベンチマークデータセットにおいて，PAModは最先端の性能を達成し，計算資源の削減にも貢献した。
複素領域におけるニューラルネットワークのためのバッチ正規化 [cs.LG, stat.ML]目的：複素領域上のニューラルネットワークにおけるバッチ正規化層の開発
- 機械学習において，複雑なデータ構造を扱う重要性が高まっており，そのための新たな手法が求められている。
- 既存のニューラルネットワークは，複素領域のような特殊な構造を持つデータに対して，学習の安定性や精度に課題がある。
- 本研究では，これまで研究の少なかった複素領域において，バッチ正規化層を適用し，その有効性を示すことを目指す。
- 提案手法は，既存のリーマン幾何学的なバッチ正規化層と密接に関連しており，複素領域における実装に必要な要素を導出した。
- レーダークラッタ分類，ノード分類，行動認識といった実験を通して，提案手法の有効性を実証した。
- 特に，Siegelディスク領域といった，従来研究が少ない複素領域においても良好な性能を示した。
共有線形表現を持つマルチタスク学習のための準最適かつ効率的な一階アルゴリズム [cs.LG, math.OC]目的：マルチタスク学習における共有表現とタスク固有パラメータの同時学習
- 機械学習において，関連タスク間の共通構造を活用するマルチタスク学習は重要なパラダイムとなっている。
- 行列分解の非凸性により，共有線形表現であっても効率的に解ける尤度ベースのアルゴリズム開発が遅れている。
- 尤度ベースの一階アルゴリズムを用いて，マルチタスク学習問題を効率的に解決することを目指す。
- 提案アルゴリズムは，$\widetilde{\mathcal{O}}(1)$回の反復で収束し，効率性を保証する。
- 推定誤差は$\widetilde{\mathcal{O}}(dk/(TN))$であり，既存の尤度ベース手法と比較して$k$倍の改善を達成する。
- 本研究は，尤度ベースの一階手法がマルチタスク学習問題を効率的に解けることを示唆する。
大規模モバイルネットワークにおける教師なし異常検知のためのスケーラブルな文脈認識グラフ注意機構 [cs.LG, cs.AI]目的：大規模モバイルネットワークにおける教師なし異常検知
- モバイルネットワークの安定稼働には，多様なネットワーク要素の監視が不可欠である。
- 異常検知にはインシデントのラベル付けが必要だが，そのコストは大きい。
- 文脈変化や非定常性に対応できる，スケーラブルな異常検知手法を開発する。
- 提案手法C-MTAD-GATは，大規模なネットワーク要素群に対して単一のモデルとして動作する。
- DC-VAEデータセットにおいて，既存手法よりもイベントレベルのアフィリエーションとポイントワイズF1スコアが向上した。
- 実運用データでの評価では，作成されたアラートは実用性が高く，日常の監視を支援することが示された。
マルチアームバンディットにおける報酬と誤りのトレードオフ [cs.LG]目的：報酬最大化と腕の平均値の正確な特定との間のトレードオフ
- 意思決定において，限られた情報下で最適な選択を行うことは重要である。
- 探索と活用のバランスが難しく，情報収集と報酬獲得の効率が課題である。
- 探索と報酬獲得のバランスを取り，後悔を最小化するアルゴリズムを提案する。
- 提案アルゴリズムは，両方の目的を達成するための最適なバランスを提供する。
- 理論的な後悔の上界と下界を導出し，その有効性を検証した。
- 実験結果は，提案手法が実用的な性能を持つことを示唆している。
局所影響最大化のためのグラフバンディットの解明 [cs.LG]目的：グラフにおける影響力の高いノードの検出
- ソーシャルネットワーク等において，影響力のある顧客を見つけることは，マーケティング戦略上重要である。
- 既存手法はグラフの知識を必要とする場合が多く，未知のグラフへの適用が困難であった。
- グラフ構造を逐次的に学習しながら，最小限の情報で影響力のあるノードを特定することを目指す。
- 本研究では，グラフ構造を仮定せず，ノードの影響範囲を観測しながら学習するバンディット戦略BAREを提案した。
- BAREは，グラフの特性に依存する「検出可能な次元」でスケーリングする後悔保証を持つことが証明された。
- この次元は，ノード数よりも遥かに小さい場合が多く，効率的なノード探索が可能となる。
条件異常検知のための距離尺度学習 [cs.LG]目的：条件異常検知における距離尺度
- データ内の異常や興味深いパターン発見は重要であり，様々な応用分野で活用が期待されている。
- 従来の異常検知は全属性を考慮するが，一部属性に限定した異常検知は困難であった。
- 属性部分集合における異常パターンを検出し，検知精度向上を目指す。
- 本研究では，条件異常検知に適した距離尺度を学習する手法を提案した。
- 提案手法は，異常パターンを最も良く反映する距離尺度を学習することで，検知性能を最適化する。
- インスタンスベースの手法における距離尺度の重要性を実証し，その性能向上に貢献する。
「何をしようとしているのか？」：日常的なコンピュータ利用からの人生目標の共創 [cs.HC, cs.AI, cs.CL]目的：日常的なコンピュータ利用からの人生目標の共創
- 人間の行動理解は，よりパーソナルな情報システムを実現する上で不可欠である。
- 既存システムは行動の「何を」は捉えられても，その背後にある「なぜ」を理解できていない。
- 観察データとユーザーの修正を通して，より深い人生目標の理解を目指す。
- 提案手法は，参加者の長期目標を反映した人生目標を生成することを示した。
- 従来のシステムと比較して，ユーザーに自身の理解に対する主体性を提供した。
- 活動理論と個人目標理論に基づき，階層的な活動表現を構築する。
スケッチングによる連合線形文脈バンディットのスケーラビリティ向上 [cs.IR, cs.LG]目的：連合線形文脈バンディットにおける計算・通信コストの削減
- データ駆動型機械学習の普及に伴い，分散環境での学習の重要性が高まっている。
- 連合学習では，データの高次元性により計算・通信コストが課題となっている。
- スケッチング技術を用いて，コストを削減し，スケーラビリティを向上させる。
- 提案手法FSCLBは，決定式の計算コストをO(d^3)からO(l^2d)に，通信コストをO(d^2)からO(ld)に削減する。
- 理論的には，FSCLBは$\widetilde{O} ((\sqrt{d}+\sqrt{M\varepsilon_l})\sqrt{lT})$という後悔限界を達成し，スケッチがない場合の最適解に匹敵する。
- 実験結果から，FSCLBは計算・通信コストを90％以上削減しつつ，累積報酬の低下はわずかであることを確認した。
LambdaRankIC：金融予測におけるランクICの直接最適化 [cs.LG]目的：金融予測におけるランクICの直接最適化
- 金融予測において，モデル性能評価にはランクICが広く用いられるため，その重要性は高い。
- 既存モデルは回帰損失やランキング目的関数で訓練されることが多いが，ランクICとの整合性が課題であった。
- ランクICを直接最適化することで，金融予測のランキング品質向上を目指す。
- 提案手法LambdaRankICは，ペアワイズのランク交換から誘導されるラムダ勾配の閉形式表現を導出し，ランクICを直接最適化する。
- シミュレーション実験では，ノイズ下においても真のランキング構造を正確に再現し，既存手法を上回る性能を示した。
- 実証実験では，ランクIC，ICIR，月間リターン，シャープレシオなど，金融分野で一般的に用いられる評価指標で最良の性能を達成した。
1Dセマンティックトークナイザーを用いたエンドツーエンドの自己回帰的画像生成 [cs.CV, cs.LG]目的：自己回帰的画像生成における画像圧縮表現の最適化
- 画像生成技術は，現実世界の多様なコンテンツを創出する上で不可欠であり，その重要性は増している。
- 従来の画像生成モデルでは，トークナイザーと生成モデルを別々に学習させるため，最適化が不十分だった。
- トークナイザーと生成モデルを同時に最適化することで，より高品質な画像生成を目指す。
- 本研究では，再構成と生成を同時に最適化するエンドツーエンドの学習パイプラインを提案した。
- 提案手法は，ImageNet 256x256生成において，FIDスコア1.48という最先端の結果を達成した。
- 視覚的基礎モデルを活用することで，自己回帰モデルのための1Dトークナイザーの性能向上が確認された。