arXiv雑要約
AI - 2026/06/16 公開
深層学習における多重下降：LSTMネットワークにおける秩序・混沌遷移の系列 [cs.LG, cs.AI, nlin.CD, physics.comp-ph]目的：LSTMネットワークの学習過程における多重下降現象の解明
- 深層学習は，画像認識や自然言語処理など，多様な分野で目覚ましい成果を上げており，その理論的理解が重要である。
- 深層学習モデルの学習過程は複雑であり，過学習や局所最適解への陥りやすさなど，未解決の問題が多い。
- 本研究は，深層学習モデルの学習における多重下降現象のメカニズムを解明し，より安定した学習手法を開発することを目指す。
- 学習過程において，モデルの性能が繰り返して上下動する多重下降現象が確認された。
- 性能のサイクルは，モデルの秩序相から混沌相への位相遷移と密接に関連していることが示された。
- 最も最適なモデルは，秩序相から混沌相への最初の遷移点で得られ，混沌の縁の幅が最も広いことが示唆された。
連合学習における基盤言語モデルのポストトレーニングはオープンソースモデルに焦点を当てるべき [cs.LG]目的：連合学習における基盤言語モデルのポストトレーニングにおける焦点を明らかにする事
- 連合学習は，プライバシー保護と分散データ活用を実現する重要な技術である。
- ブラックボックスモデルの利用は，連合学習の原則であるデータプライバシーや自律性を損なう可能性がある。
- オープンソースモデルの利用を通じて，連合学習におけるプライバシー保護とモデルの透明性を向上させる事。
- 本研究では，連合学習におけるブラックボックスモデルの使用に関する問題を批判的に分析した。
- オープンソースモデルの利用が，連合学習の原則に合致し，より効果的なポストトレーニングを可能にすることを示唆した。
- オープン性の様々な側面とその連合学習への影響について詳細な検討を行った。
LoLA：スパースキャッシュを用いた低ランク線形注意機構 [cs.CL, cs.LG]目的：長期的な文脈学習における連合想起能力の向上
- Transformerモデルの性能は文脈長に依存するが，長文脈処理にはコストが高い。
- 線形注意機構は効率的だが，記憶容量に限界がある。
- LoLAは，線形注意機構を訓練なしで拡張し，長期記憶を改善する。
- LoLAは，過去のキーバリューペアを３つの記憶システムに分散させることで，連合想起を促進する。
- Pass-key検索タスクにおいて，LoLAはベースモデルの精度を0.6%から97.4%に向上させた。
- LoLAは，Llama-3.1 8Bと比較して，4.6倍小さいキャッシュで同等の性能を発揮する。
AC-ODM：サンプル効率の良いLLM事前学習のためのアクター・クリティックオンラインデータ混合 [cs.LG, cs.AI]目的：LLMの汎化性能向上のための事前学習データ構成の最適化
- LLMは大規模なデータセットで事前学習されるため，データ構成が性能に大きく影響する。
- 従来のデータ混合手法は，計算効率とサンプル効率，そして柔軟性のバランスが課題であった。
- AC-ODMは，勾配の建設的干渉を最大化する動的な線形近似により，効率と柔軟性を両立する。
- AC-ODMは，既存手法と比較して，収束速度と下流タスクの精度を大幅に向上させる。
- Pythia-1Bを用いた実験では，競合手法と比較して66%少ない学習ステップ数で最適な検証パープレキシティを達成した。
- MMLUの精度を27.5%向上させ，HumanEvalのpass@1レートを2.23倍に向上させた。
GradPower：言語モデル事前学習の高速化に向けた勾配の強化 [cs.LG, math.OC, stat.ML]目的：言語モデル事前学習の高速化
- 大規模言語モデルは自然言語処理の様々なタスクで高い性能を示すため，その効率的な学習が重要である。
- 大規模言語モデルの事前学習は計算コストが高く，学習時間とリソースが課題となっている。
- 勾配変換技術を用いて，事前学習の効率を向上させ，計算コストを削減することを目指す。
- GradPowerは，勾配の要素ごとの符号・絶対値のべき乗変換を用いることで，学習の終端における損失を低減することを示した。
- LLaMAやQwen2MoEといった多様なモデル，パラメータ規模，データセット，学習率スケジュールにおいて，一貫した改善が確認された。
- 特に，MoEモデルとwarmup-stable-decayスケジュールとの組み合わせにおいて，顕著な効果が認められた。
LM-SPT：言語モデルに整合したセマンティック蒸留による音声トークン化 [cs.CL, cs.CL, cs.AI, cs.SD, eess.AS]目的：音声とテキスト間の統一的なモデリングを可能にする離散的な音声トークン化手法の開発
- 音声言語モデルの進展に伴い，音声とテキストのインターフェースとしての音声トークン化が重要となっている。
- 既存のトークン化手法では，トークン列がテキストよりも長くなり，事前学習済みの言語モデルとの統合が困難である。
- 言語モデルとの整合性を高めつつ，トークン化のフレームレートを削減し，効率的な統合を目指す。
- 提案手法LM-SPTは，セマンティックな音声再合成蒸留に基づいており，従来の平均プーリングによる過剰な平滑化を回避する。
- LM-SPTは，元の波形と再合成波形の表現のずれを最小化することで，よりセマンティックに整合したトークン単位を生成する。
- 自動音声認識およびテキスト読み上げタスクにおいて，既存のセマンティック強化型音声トークン化手法を上回る性能を示す。
LLMにおける第一階述語論理の定理証明を通じた高度な数学的推論 [cs.AI, cs.CL, cs.LO]目的：LLMの数学的推論能力向上
- LLMは様々な分野で応用される第一階述語論理の推論能力を示している。
- 多段階の第一階述語論理による演繹を伴う複雑な数学的推論は未だ研究が不十分である。
- 多様な証明戦略の探求と早期の誤りを防ぐことで，LLMの数学的推論の精度向上を目指す。
- 本研究では，LLMの多様性と合理性を高める自己適応型ソリューションDREAMを提案した。
- DREAMは，多様な戦略的成果を促進する公理駆動型戦略多様化メカニズムと，LLMが自身の証明を反省・修正するのを支援する小命題エラーフィードバックを組み込んだ。
- 提案手法により，LLMの数学的推論性能が0.6%～6.4%向上し，評価用のLean 4形式の数学定理447個からなるデータセットを新たに提供した。
共鳴・発火ニューロンを用いたニューロモーフィックワイヤレス分割計算 [cs.LG, cs.IT, cs.NE, math.IT]目的：ニューロモーフィックワイヤレス分割計算アーキテクチャの提案
- リアルタイム時系列データ処理において，従来の深層学習アクセラレータと比較して低消費電力な代替手段として注目されている。
- 従来のリーキー積分・発火(LIF)ニューロンでは，ワイヤレスセンシングや音声認識などの豊富なスペクトル特徴を持つストリーミング信号の効率的な処理が課題である。
- 発振ダイナミクスを持つ共鳴・発火(RF)ニューロンを用いることで，高コストなスペクトル前処理を不要とし，効率的な信号処理を実現する。
- 提案アーキテクチャは，従来のLIF-SNNやANNと同等の精度を達成しつつ，スパイクレートと総消費エネルギーを大幅に削減した。
- RFニューロンは，調整可能な周波数で共鳴することで，時間局所的なスペクトル特徴を抽出し，スパースなスパイク活動を維持する。
- OFDMベースのアナログワイヤレスインターフェースを用いたシステム設計と，音声分類および変調分類タスクでの性能評価を行った。
デモディフュージョン：事前学習済み拡散ポリシーを用いたワンショット人間模倣 [cs.RO, cs.LG]目的：単一の人間デモンストレーションによるロボットの操作タスク実行
- ロボットの自律的な操作能力向上は，家庭や産業における多様な作業を支援するために重要である。
- ロボットに新しいタスクを教えるには，多くの場合，タスク固有の訓練データや人間とロボットのペアデータが必要となる。
- 本研究は，タスク固有の訓練やペアデータなしで，人間による単一のデモンストレーションからロボットが操作タスクを学習できるようにする。
- 提案手法デモディフュージョンは，8つの多様な操作タスクにおいて平均83.8%の成功率を達成した。
- これは，事前学習済みポリシーの13.8%やキネマティックリターゲティングの52.5%と比較して大幅に高い結果である。
- 特に，事前学習済みポリシーでは失敗するタスクにおいても成功することを示した。
損失ベクトル埋め込みのクラスタリングによるパーソナライズされた連合学習：CLoVE [cs.LG, cs.AI]目的：損失ベクトル埋め込みのクラスタリングを通じた，パーソナライズされた連合学習の実現
- 連合学習は，データが分散した環境下でモデルを学習可能にする技術であり，プライバシー保護の観点からも重要である。
- 連合学習におけるクライアント間のデータ分布の非独立性(non-IID)は，学習の精度低下を引き起こす主要な課題である。
- クライアントのデータ分布に応じてクラスタリングを行い，各クラスタに特化したモデルを学習することで，精度向上を目指す。
- CLoVEは，クライアントの損失ベクトル埋め込みを利用し，データ分布に基づいたクラスタリングを効率的に行う。
- 理論的な収束性を示すとともに，複数のデータセットと非独立性設定において，既存手法を上回る精度を実証した。
- 初期モデルの最適化が不要であり，実用的な環境下でのロバスト性と適用性に優れている点が特徴である。
言語誘導と表現アラインメントによるドメイン汎化のためのプロンプト分離 [cs.CL, cs.DL, cs.DC, cs.SY, eess.SY, cs.CV, cs.LG]目的：ドメイン汎化におけるプロンプト分離
- 未知のドメインへの対応が求められるため，汎化性能の向上が重要である。
- 多様なドメイン間で不変の特徴を分離するプロンプトの設計が困難である。
- 言語誘導と表現アラインメントにより，プロンプト分離の課題を解決する。
- 提案手法は主要なドメイン汎化データセットにおいて，最先端の手法を上回る性能を示した。
- テキスト特徴を用いた視覚的プロンプトのチューニングにより，ドメイン不変な表現を獲得する。
- 最悪明示表現アラインメント(WERA)により，多様なドメインに対応可能なロバストな特徴を獲得する。
深層学習における協調的な平坦最適解探索のための通信効率の良い分散学習 [cs.LG, cs.DC]目的：深層学習における分散学習の通信効率とモデル性能のトレードオフ改善
- 深層学習は高い性能を示す一方，大規模な計算資源を必要とするため，分散学習が不可欠である。
- 分散学習では，通信コストがボトルネックとなり，学習効率を低下させる場合がある。
- 平坦な損失地形における最適解探索を促し，汎化性能を向上させる分散学習アルゴリズムの開発。
- 提案手法DPPFは，既存の通信効率の良い手法と比較して，優れた性能を示すことが確認された。
- DPPFは，勾配平均化法やローカル勾配法よりも高い汎化性能を維持しつつ，通信効率を向上させる。
- 損失地形の可視化により，DPPFがより平坦な最適解を見つける能力が裏付けられた。
知識グラフ補完の説明の統一 [cs.AI, cs.LG]目的：知識グラフ補完における事後説明の統一的分類
- 知識グラフは情報整理の基盤であり，機械学習による推論に不可欠である。
- 既存の説明手法は評価基準が統一されておらず，再現性や比較が困難である。
- 説明手法の分類と評価基準の確立により，研究の進展を促進すること。
- 本研究は，事後説明を多目的最適化として捉え，既存手法を統一的に表現することを提案した。
- 評価プロトコルを改善し，一般的な指標を用いて有効性と簡潔性のバランスを検証した。
- 解釈可能性を，ユーザーの質問に意味のある回答を提供する能力と定義し，その重要性を強調した。
FOUNDv2：ユーザー表現のための統合されたユーザー量子化トークナイザーの学習 [cs.NI, cs.LG, cs.AI, cs.IR]目的：大規模ウェブプラットフォームにおけるパーソナライズされたサービスのためのユーザー表現学習
- ユーザー表現は，大規模プラットフォームでのサービス品質向上に不可欠である。
- 既存手法は，データ統合の難しさ，ストレージコストの高さ，粒度の限界がある。
- 異種データを効率的に統合し，ストレージを削減，多階層モデリングを実現する。
- FOUNDv2は，統一された量子化トークナイザーを用いて，多様なユーザーデータを標準化された離散的なトークン空間に変換する。
- 実験結果から，FOUNDv2はタスク固有のベースラインを凌駕し，ストレージと計算コストを大幅に削減することが示された。
- Alipayへの大規模展開により，FOUNDv2の実用的なスケーラビリティと効率性が実証された。
MedSynth：現実的な合成医療対話・記録ペア [cs.CL, cs.AI]目的：医療対話から記録，記録から対話への生成
- 医師の事務負担軽減は，医療の質向上とバーンアウト防止に不可欠である。
- 医療記録の自動化に必要な学習データが不足しており，プライバシー保護も課題である。
- 多様かつプライバシーに配慮した学習データを提供し，医療記録生成の自動化を促進する。
- MedSynthデータセットは，既存モデルの医療記録生成性能を大幅に向上させた。
- 2000種類以上のICD-10コードを網羅し，多様な症例に対応可能である。
- オープンアクセスであり，研究・開発の促進に貢献する。
深層学習を用いた超音波ドップラー角度の自動推定 [cs.IR, cs.LG, cs.AI]目的：超音波ドップラー検査における角度推定の自動化
- ドップラー超音波は血流速度測定に不可欠であり，正確な角度推定が診断精度を左右する。
- 手動による角度推定は誤差が生じやすく，血流速度測定の信頼性を低下させる要因となっている。
- 深層学習を用いて角度推定を自動化し，測定の精度向上と臨床的有用性を高める。
- 深層学習モデルは，平均絶対誤差が3.9度から9.4度の範囲で角度を推定できた。
- 最良のモデルの平均絶対誤差は臨床的に許容される閾値以下であり，誤った診断を回避できる可能性が示された。
- 本研究の結果は，商業用超音波スキャナーの画像処理ソフトウェアに深層学習技術を実装する可能性を示唆する。
FlowState：サンプリングレート不変な時系列予測 [eess.SY, cs.SY, cs.LG, cs.AI]目的：時系列予測におけるサンプリングレートへの適応性向上
- 時系列データは様々な分野で重要であり，正確な予測は意思決定に不可欠である。
- 既存の時系列モデルは，サンプリングレートの変化に弱く，汎化性能が低いという課題がある。
- 異なるサンプリングレートへの適応性と効率的な予測を可能にする新しいモデルの構築。
- FlowStateは，状態空間モデルと関数基底デコーダを組み合わせることで，サンプリングレートに不変な予測を実現した。
- 既存のモデルと比較して，GIFT-Evalベンチマークで最先端の結果を達成し，未知のサンプリングレートへの優れた適応性を示した。
- 継続時間モデル化と動的な時間スケール調整により，様々な時間分解能への汎化が可能である。
逆合成のための協調的推論：解釈可能なRetro-Expert [cs.LG, cs.AI]目的：解釈可能な逆合成フレームワークの開発
- 化学合成において，目的とする化合物を合成するための出発物質を推論することは不可欠である。
- 既存手法は静的なパターンマッチングに依存しており，化学データの論理的な意思決定に限界がある。
- LLMと専門モデルの強みを組み合わせ，化学的根拠に基づいた説明可能な逆合成を実現する。
- Retro-Expertは，LLMベースの手法や専門モデルと比較して，様々な評価指標で優れた性能を示した。
- 化学的根拠に基づいた自然言語の説明を生成し，化学者の信頼性を向上させる。
- 専門モデルとLLMによる協調的な推論を通じて，解釈可能な意思決定プロセスを実現した。
ファインマン図による有限幅ニューラル接線カーネル [cs.LG, hep-th]目的：有限幅ニューラル接線カーネルの統計量計算手法
- 深層学習の理論的解析において，ニューラル接線カーネルは重要な役割を果たす。
- 無限幅の仮定では現実的な学習現象を捉えきれない点が課題である。
- 有限幅の効果を考慮したニューラル接線カーネルのより正確な計算を目指す。
- ファインマン図を用いることで，有限幅補正の計算が大幅に簡略化された。
- ReLUのようなスケール不変活性化関数に対しては，有限幅補正は存在しないことが示された。
- 数値計算により，幅$n\gtrsim 20$でサンプリングされたニューラルネットワークの統計と一致することが確認された。
隣接格子幻覚輪郭の機械知覚のための生物学的視覚に触発されたフレームワーク [cs.CV, cs.AI]目的：隣接格子幻覚輪郭の機械知覚に関する研究
- 機械知能の高度化には，人間の知覚・認知との整合が不可欠である。
- 深層ニューラルネットワークは，幻覚輪郭の知覚において人間のパターンと乖離が見られる。
- 本研究は，深層ニューラルネットワークにおける幻覚輪郭知覚能力の向上を目指す。
- 提案手法ICPNetは，既存モデルと比較して隣接格子幻覚輪郭に対する感度が高いことが実験的に示された。
- 多規模特徴射影(MFP)モジュール，特徴相互作用注意(FIAM)モジュール，エッジ融合(EFM)モジュールが有効であることが確認された。
- 本研究は，深層ニューラルネットワークベースのモデルにおける人間レベルの知能への一歩となることが期待される。
エチオピアにおける医療保険の最適化：学習支援アプローチとオンライン予算下での持続的な比例性 [cs.AI]目的：エチオピアにおける地域ごとの優先順位付けを導くための最適化フレームワーク
- 世界的なユニバーサル・ヘルス・カバレッジの推進が重要視される中，発展途上国での医療資源の効率的な配分が課題となっている。
- 限られた予算と競合する優先順位により，医療システム強化の取り組みが遅れている。
- 予算の不確実性下で，人口カバレッジを最大化しつつ，地域ごとの比例目標を達成することを目指す。
- 開発したツールHARPは，エチオピアの3つの地域における様々な計画シナリオで有効性が実証された。
- 単段階での専門家の推奨を改善する学習支援アプローチと，複数段階計画のための貪欲アルゴリズムを提案した。
- 提案するアルゴリズムは，最悪の場合の近似推定においても高い性能を示すことが確認された。
ニュージーランドの住宅におけるエネルギー効率のためのAI搭載ツールのプロトタイプ [cs.RO, cs.CY, cs.AI, cs.ET]目的：ニュージーランドの住宅エネルギー効率に関する意思決定支援
- 住宅はエネルギー消費，健康，炭素排出に大きく影響する。改善は重要。
- ニュージーランドの住宅は断熱性や暖房効率が悪く，エネルギー困窮が蔓延している。
- 資金援助や基準，実際の意思決定を結びつけるツールを開発し，問題を解決する。
- 専門家による評価で，高い使いやすさ（M = 4.3）とシミュレーション出力の価値（M = 4.5）が示された。
- 本ツールは，国の政策を個別の家庭レベルのガイダンスに変換するAIの可能性を示している。
- エネルギー困窮の軽減，健康改善，気候目標の達成に貢献する複製可能なフレームワークを提供する。
強化学習を用いたグローバルおよびローカル交差数の最適化 [cs.CG, cs.LG]目的：グラフの交差数を削減するための強化学習戦略
- グラフ描画は，グラフ構造の可視化であり，理解や問題解決を助ける重要な技術である。
- 既存手法では，グローバル交差数の最小化が課題であり，ローカル交差数の最適化は十分ではない。
- 強化学習を用いて，グラフの交差数を効果的に削減する戦略を確立することを目指す。
- 強化学習エージェントは，ローカルな状況を観察し，交差数を減らす方向に頂点を移動する。
- グローバル交差数の最小化においては，最先端手法に匹敵するものの，それを上回る結果は得られていない。
- ローカル交差数の最小化においては，既存手法と同等以上の性能を示すことが確認された。
リバランスを超えて：リバランス手法を用いない不均衡データにおけるバイナリ分類器のベンチマーク [cs.MA, cs.RO, cs.LG, cs.AI, cs.IT, math.IT]目的：不均衡データ下におけるバイナリ分類器の性能評価
- 不均衡データは，医療診断や異常検知など，重要な分野での課題である。
- 既存研究はリバランス手法に焦点を当てており，リバランスを用いない場合の分類器性能評価は不足している。
- リバランス手法に依存せず，分類器のロバスト性を評価するための指針を提供する。
- データ複雑性が増加し，少数クラスのサイズが減少するにつれて，分類は困難になることが確認された。
- 従来の分類器は極端な不均衡下で性能が低下する一方，TabPFNやブースティングベースのアンサンブルは比較的高い性能を維持した。
- 本研究は，不均衡学習におけるモデル選択のための貴重な知見を提供する。
Shachi：LLMベースのエージェントを用いた創発的集団行動のモデル化のためのモジュール化された制御可能フレームワーク [cs.RO, eess.SY, cs.SY, cs.AI, cs.MA, cs.SI, econ.GN, q-fin.EC]目的：LLM駆動エージェント間の相互作用から創発する集団行動のメカニズム解明
- 人工生命研究において，個体と集団の相互作用から行動が生まれる過程の理解は重要である。
- 体系的な実験による創発的ダイナミクスの制御された研究は，適切なシミュレーションフレームワークの欠如により困難であった。
- エージェントの認知構成要素を制御可能にすることで，ミクロな特性がマクロなダイナミクスにどう影響するかを明らかにすること。
- Shachiは，エージェントの認知機能を「設定」「記憶」「ツール」の3つの要素に分解し，それぞれを独立して制御することで，詳細な実験を可能にする。
- 環境遷移間の記憶の転移や，複数環境同時居住による干渉など，従来では見えなかった行動パターンを観察することに成功した。
- 米国関税ショックの事例研究では，個々の認知要素を制御したエージェントが，現実世界の市場動向と一致する集団行動を示した。
JE-IRT：共同埋め込み項目応答理論を通じたLLM能力の幾何学的考察 [cs.CL, cs.AI, cs.CL]目的：LLMと質問を共通空間に埋め込む幾何学的項目応答フレームワーク
- LLMの能力評価は，その多次元性を理解する上で重要である。多様な能力を単一の指標に集約すると，詳細な分析が困難になる。
- 既存の評価手法では，LLMの能力を網羅的に把握できず，特定のタスクにおける性能変動を説明することが難しい。
- LLMの能力を幾何学的に捉え，質問の難易度やトピックに関する専門性を定量化することを目指す。
- 提案手法JE-IRTは，LLMと質問を幾何学的に表現することで，従来のランキングとは異なる，トピックに特化した能力評価を可能にした。
- 実験結果から，分布外のデータに対する挙動は方向の整合性によって説明でき，質問の難易度はベクトルノルムと相関することが示された。
- 学習済みの空間に新たなLLMを容易に追加でき，LLM内部の能力構造を可視化し，人間の定義する科目分類との関連性を明らかにした。
結合確率的微分方程式による意味編集 [cs.LG, cs.CV, stat.ML]目的：事前学習済みのテキスト画像生成モデルを用いた画像内容編集手法
- 画像生成AIは多様な応用を持つが，その制御は依然として課題である。
- 既存手法では，詳細な部分の歪みや意図しないアーティファクトが発生しやすい。
- 画像編集時に，意味の一貫性と元の画像との類似性を両立すること。
- 提案手法は，結合確率的微分方程式を用いて，生成モデルのサンプリング過程を制御する。
- 同じ相関ノイズで元の画像と編集画像を駆動することで，意味の変更と視覚的な一貫性を維持する。
- 再学習や補助ネットワークを必要とせず，高精度なプロンプトへの追従性とピクセルレベルの一貫性を実現した。
知識誘導・プロンプト統合による汎用的な医用画像セグメンテーションモデル K-Prism [cs.CL, cs.CV, cs.AI]目的：医用画像セグメンテーションの汎用性と柔軟性の向上
- 臨床意思決定において，正確な画像セグメンテーションは不可欠である。診断精度向上に貢献する。
- 既存モデルは，単一の知識源や特定のタスク・モダリティ・臓器に特化し，汎用性に欠ける。
- 多様な知識を統合し，柔軟なセグメンテーションを実現することで，臨床ワークフローへの適応を目指す。
- K-Prismは，アノテーションデータ，参照事例，ユーザ入力という3つの知識パラダイムを統合する。
- 異なる知識源を1次元の疎プロンプトと2次元の密プロンプトにエンコードし，MoEデコーダで動的にルーティングする。
- 18の公開データセットでの実験により，K-Prismが最先端の性能を達成することが示された。
過剰パラメータ化された行列センシングにおける重み正規化の利点 [cs.LG, eess.SP, math.OC, stat.ML]目的：過剰パラメータ化された行列センシング問題における（一般化された）重み正規化の利点
- 深層学習の性能向上に不可欠な正規化手法の理論的理解は，未だ十分とは言えない。
- 行列センシングにおける従来の最適化手法では，収束速度が遅いという課題がある。
- 本研究は，重み正規化が過剰パラメータ化をどのように活用して，行列センシングの収束を加速するかを解明する。
- 重み正規化とリーマン最適化を組み合わせることで，線形収束が達成されることが証明された。
- これにより，標準的な手法と比較して，指数関数的な速度向上が見られる。
- 過剰パラメータ化のレベルが増加するにつれて，反復回数とサンプル複雑性が多項式的に改善されることが示された。
二重不確実性に基づくポリシー学習によるマルチモーダル推論 [cs.AI, cs.CL, cs.LG]目的：マルチモーダル推論における強化学習のポリシー学習
- マルチモーダル大規模言語モデルの推論能力向上は，多様な応用を可能とする重要な課題である。
- 既存手法は視覚入力を決定論的に扱うため，視覚モダリティ固有の知覚的曖昧さを考慮していない。
- 知覚的曖昧さと出力の不確実性を定量化し，効果的な探索と学習を可能にすることを目指す。
- 提案手法DUPLは，知覚的不確実性と出力的不確実性を活用し，ポリシー更新を誘導する。
- 多様なマルチモーダル推論ベンチマークにおいて，Qwen2.5-VLとQwen3-VL-Instructの精度を最大12.4%向上させた。
- GRPOなどの既存手法を上回り，DAPOやLLaVA-OneVision-1.5といった他のアルゴリズムやアーキテクチャにも汎用的に適用可能である。
有限時間収束性を持つ分布ロバストQ学習：線形関数近似による手法 [cs.LG]目的：分布ロバストQ学習の有限時間収束性
- 強化学習は，未知の環境下での最適な行動選択を可能にする重要な技術である。
- 従来の分布ロバスト強化学習は，サンプル数の制約やモデルの仮定により，実用的な応用が困難であった。
- 未知の環境におけるロバストな行動選択を保証するQ学習アルゴリズムの理論的保証を与えることを目指す。
- 線形関数近似と$(s,a)$-矩形カイ二乗不確実性集合を用いることで，サンプル効率の良いアルゴリズムを提案した。
- 提案手法は，割引率が小さいという仮定なしに，最適なロバストQ関数への有限時間収束性を数学的に証明した。
- これにより，ロバスト強化学習の実践的な利用と理論的な保証の間のギャップを埋めることに貢献する。
流域規模降雨貯留流出ダイナミクスの概念解釈可能なモデリング：機械学習によるCONUS全域への拡張 [cs.LG]目的：流域規模の降雨貯留流出ダイナミクスに関する機械学習拡張型概念解釈可能なモデリング
- 水文モデリングは，水資源管理や洪水予測において不可欠であり，その精度向上は社会に大きな利益をもたらす。
- 従来の機械学習ベースの水文モデリングは，物理的な理解に基づかないブラックボックス化しやすく，解釈性が低いという課題がある。
- 物理過程を考慮した解釈可能なモデリング手法を確立し，予測精度とモデルの信頼性を両立させることを目指す。
- 機械学習で拡張された質量保存パーセプトロン（MCP）ベースの物理的に解釈可能な流域規模モデルが，米国全土規模で優れた性能を示した。
- モデルの複雑さは，水文様式に応じて適切に選択することが重要であり，プロセス支配の変化を考慮する必要がある。
- MCPベースの物理解釈可能なモデルは，LSTMのようなデータ駆動型モデルと同等の性能を達成可能であることが示された。
射影と量子化：学習によるハッシュの統一的見解 - ランダム射影からRAG時代へ [cs.IR, cs.AI, cs.CV, cs.LG]目的：大規模検索および検索拡張生成における近似最近傍探索手法の統一的理解
- 大規模データにおける効率的な情報検索は，様々な応用において不可欠である。
- 近似最近傍探索は異なる分野で研究されており，知識の統合が遅れている。
- 既存手法を射影，量子化，組織化という共通の枠組みで捉え，効率的な検索手法を確立する。
- 量子化は最も大きなメモリ削減効果をもたらし，1ビットコードでフル精度再ランキングと同等の品質を達成した。
- 埋め込みのサイズが大きくなるにつれて，バイナリコードが一致するバイト予算で，従来の inverted-file product quantiserを上回る傾向が確認された。
- クラスラベルを利用した8バイトの教師ありコードは，置き換える2キロバイトのタスク非依存floatの検索品質を2倍以上に向上させた。
低精度Transformer学習が失敗する理由：FlashAttentionの分析 [cs.LG, cs.AI]目的：低精度Transformer学習における損失爆発のメカニズム解明
- Transformerモデルは高性能だが，計算コストが高い。効率化のため低精度化が求められている。
- 低精度化は学習の不安定性を招くことが多く，その原因は未だ解明されていなかった。
- FlashAttentionを用いた低精度学習における損失爆発の原因を特定し，安定化策を提案すること。
- 損失爆発は，Attentionメカニズム内の低ランク表現の出現と，低精度演算の丸め誤差の偏りによって引き起こされる。
- これらの要因が連鎖的に誤差を蓄積させ，重みの更新を歪ませ，学習を阻害する悪循環を生み出す。
- FlashAttentionへの修正により丸め誤差の偏りを軽減し，学習の安定化を確認した。
DP-Hype: 連合学習における差分プライバシー付きハイパーパラメータ探索 [cs.LG]目的：連合学習におけるハイパーパラメータの最適化
- 連合学習は，プライバシー保護と分散データ活用を実現する重要な技術である。
- ハイパーパラメータ探索は計算コストが高く，プライバシー漏洩のリスクも伴う。
- クライアントレベルの差分プライバシーを保ちつつ，効率的なハイパーパラメータ探索を実現する。
- 提案手法DP-Hypeは，クライアントのローカル評価に基づく連合投票により，スケーラブルかつタスク非依存なハイパーパラメータ探索を実現する。
- DP-Hypeはクライアントレベルの差分プライバシーを保証し，そのプライバシー保証はハイパーパラメータ数に依存しない。
- 様々なベンチマークデータセットにおいて，小さなプライバシー予算下でも高い実用性を示すことが確認された。
エージェントセキュリティに関する調査：応用，脅威，および防御 [cs.CL, cs.CL, cs.IR, cs.CL, cs.AI, cs.CR]目的：エージェントセキュリティの状況に関する包括的な分類
- サイバーセキュリティ分野におけるLLMベースエージェントの利用が拡大しており，その重要性が増している。
- エージェントの自律性は新たな攻撃対象領域を生み出すが，セキュリティ対策の体系的な整理が不足している。
- エージェントセキュリティの応用，脅威，防御の関連性を明らかにし，包括的な理解を深めることを目指す。
- 本調査は，260件以上の論文を分析し，エージェントの応用例，脆弱性，および対策を体系的にまとめた。
- エージェントセキュリティは構造的に脆弱であり，単層的な防御策ではなく，ライフサイクル全体にわたる防御が必要であることが示唆された。
- 攻撃の侵入経路やターゲット段階，防御戦略とそのトレードオフ，そしてエージェントアーキテクチャの動向などを詳細に分析した。
OBCache：効率的な長文コンテキストLLM推論のための最適脳KVキャッシュプルーニング [cs.CL, cs.AI]目的：長文コンテキストLLM推論における効率化のための最適脳KVキャッシュプルーニング手法
- 大規模言語モデルの性能向上に伴い，長文コンテキスト処理の重要性が増している。
- 長文コンテキスト処理には巨大なメモリが必要であり，それがボトルネックとなっている。
- 注意機構の出力への影響を考慮した，より効果的なキャッシュプルーニング手法を開発する。
- 提案手法OBCacheは，トークンの重要度を注意出力の摂動として定量化する。
- OBCacheは，既存のヒューリスティックな評価指標を置き換えることで，長文コンテキストの精度を改善する。
- LLaMAおよびQwenモデルにおける実験により，OBCacheの有効性が確認された。
CoIRL-AD：潜在ワールドモデルにおける協調的・競争的模倣・強化学習による自動運転 [cs.CL, cs.CV, cs.LG, cs.RO]目的：自動運転のための協調的・競争的模倣・強化学習フレームワーク
- 自動運転技術は，交通システムの安全性向上や効率化に不可欠であり，社会実装が急務である。
- 模倣学習はデータ依存性が高く，特に稀な状況への汎化性能が課題となっている。
- 専門家の行動に偏ったオフラインデータセットでも，頑健な自動運転を実現すること。
- 提案手法CoIRL-ADは，模倣学習と強化学習の長所を活かし，客観的衝突を緩和する。
- 将来の行動を予測することで，長期的報酬の推定精度を向上させている。
- 実験結果から，CoIRL-ADは既存の模倣学習ベースラインを上回り，特にクロスシティ汎化性能とレアケースでの性能が改善された。
少ない介入でより良く：テスト時介入の最小化によるLLMの推論能力向上 [cs.CL, cs.AI]目的：大規模言語モデルの推論能力向上
- LLMは目覚ましい進歩を遂げているが，より高度な推論能力が求められている。
- テスト時の計算量増加は効率低下を招くことが課題である。
- 推論における不確実性の局所化に着目し，効率的な介入手法を開発する。
- 提案手法「MTI」は，不確実な箇所に選択的に介入することで，推論精度と安定性を高める。
- MTIは，汎用，コーディング，STEMタスクにおいて一貫した改善が見られ，DeepSeek-R1-7Bでは平均9.28%の向上を達成した。
- Ling-mini-2.0-を使用したAIME2024では11.25%の改善が見られ，効率性も高い。
分子特徴のスペクトル分析：より豊富な特徴が必ずしも優れた汎化性能を保証するとは限らない [cs.LG, physics.chem-ph]目的：分子表現のスペクトル特性に関する包括的な分析
- 分子特性予測において深層学習が広く用いられる一方，カーネル法は低データ環境下で競争力がある。
- カーネル法のスペクトル的振る舞いは十分に解明されていない。
- 多様な分子表現におけるカーネルリッジ回帰のスペクトル特性を分析し，汎化性能との関係を明らかにする。
- より豊富なスペクトル特徴が必ずしも優れた汎化性能に繋がるとは限らないことが示された。
- ECFPに基づくカーネルのみが，性能と正の相関を示した。
- 局所3D表現では，性能回復に必要となる固有値の割合が極めて低いことが確認された。
PISA：AIエージェントの強化のためのプラグマティックで心理学に基づいた統合メモリシステム [cs.AI]目的：AIエージェントのメモリシステムの適応性と長期知識保持の向上
- AIエージェントの性能はメモリシステムの質に大きく依存する。多様なタスクへの対応が求められている。
- 既存のメモリシステムはタスクへの適応性に乏しく，エージェントの記憶の構築的側面を軽視している。
- ピアジェの認知発達理論に基づき，記憶を構築的かつ適応的なプロセスとして捉えることで課題を解決する。
- PISAは，スキーマ更新，進化，作成というトリモーダル適応メカニズムを導入し，一貫性を保ちつつ柔軟なメモリ更新を可能にした。
- PISAは，記号的推論とニューラル検索をシームレスに統合するハイブリッドメモリアクセスアーキテクチャを設計し，検索精度と効率を向上させた。
- LOCOMOベンチマークと新たに提案されたAggQAベンチマークにおける実験により，PISAが最先端の性能を示すことが確認された。
LLMの教師ありファインチューニングのためのユーティリティと多様性を考慮したオンラインバッチ選択 [cs.LG, cs.AI, cs.CL]目的：LLMの教師ありファインチューニングにおける効率的なバッチ選択手法
- LLMを特定のタスクに適合させるには教師ありファインチューニングが一般的である。
- 全データセットでのファインチューニングは計算コストが高く，過学習やバイアス増幅のリスクがある。
- データセットの効率的な選択により，計算コストを抑え，過学習を防ぐことを目指す。
- 提案手法UDSは，ロジット行列の核ノルムを用いてデータの有用性と多様性を同時に捉える。
- 過去のサンプルを軽量なメモリバッファに保存し，効率的な低次元埋め込み比較によりサンプル間の多様性を推定する。
- UDSは，既存のオンラインバッチ選択手法と比較して，様々なデータ予算下で一貫して性能が向上し，全データセットでのファインチューニングよりも大幅に学習時間を短縮する。
生徒の成績に関連する要因の多層分析：SAEBミクロデータへの機械学習アプローチ [cs.LG, cs.AI, cs.CY]目的：生徒の成績に影響を与える要因の特定
- 基礎教育における政策立案において，生徒の成績に影響する要因の解明は重要である。
- 学校間の格差是正が課題であり，公平な教育機会の提供が求められている。
- 学校の生態系に着目し，体系的な視点から教育格差の是正に貢献すること。
- ランダムフォレストモデルが最も高い予測精度（90.2%）とAUC（96.7%）を示した。
- SHAPを用いた説明可能なAI分析により，学校の平均的な社会経済レベルが最も重要な予測因子であることが明らかになった。
- 学業成績は体系的な現象であり，個々の特性よりも学校の環境に強く影響されることが示唆された。
局所カーネル射影外れ値度：マルチモーダル外れ値検出のための二段階アプローチ [cs.LG, stat.ML]目的：マルチモーダルデータにおける外れ値検出手法
- データ分析において，異常値の検出は品質管理や不正検知など，様々な分野で不可欠である。
- 従来の射影ベース手法は，固定された統計的指標に依存し，単一のデータ構造を仮定している点が課題であった。
- 本研究は，柔軟な損失関数とカーネルPCA，局所クラスタリングを組み合わせ，複雑なデータ構造を持つデータでの外れ値検出を改善する。
- 提案手法Two-Stage LKPLOは，10のベンチマークデータセットで最先端の性能を達成した。
- 特に，マルチクラスターデータや高次元データにおいて，既存手法を大幅に上回る結果が得られた。
- カーネル化と局所化の相乗効果が，性能向上に不可欠であることが実験的に確認された。
次状態潜在予測Transformerはコンパクトな世界モデルを学習する [cs.CC, cs.LG]目的：コンパクトな世界モデルの学習
- Transformerは自然言語処理の分野で支配的なモデルであり，その性能向上が重要である。
- Transformerは過去の情報を効率的に圧縮し，汎化性能の高い表現を獲得することが課題である。
- 潜在空間での自己教師あり学習により，Transformerに再帰的な帰納バイアスを導入し，世界モデルの学習を改善する。
- NextLatは，Transformerがよりコンパクトで予測的な表現を学習することを可能にする。
- 世界モデリング，推論，計画，言語モデリングのベンチマークにおいて，標準的な手法と比較して大幅な改善が確認された。
- NextLatは，可変長の自己推測デコーディングを可能にし，言語モデリングの推論を最大3.3倍に高速化する。
Think-at-Hard：推論能力向上のための選択的潜在反復 [cs.CL, cs.AI, cs.LG, cs.PF]目的：大規模言語モデルにおける推論能力の向上
- 実世界への応用には，パラメータ制約下でのLLMの推論能力向上が不可欠である。
- 潜在反復は有効だが，最初のパスで正解しているトークンが，反復によって誤りを引き起こす過剰思考の問題がある。
- 選択的に潜在反復をスキップすることで，推論精度を向上させることを目指す。
- 提案手法Think-at-Hard(TaH)は，誤りやすいトークンに対してのみ潜在反復を行うことで，精度向上を実現した。
- TaHは，9つのベンチマークにおいて，常に反復を行うベースラインを3.8-4.4%上回り，単一反復のQwen3ベースラインを3.0-3.8%上回った。
- LoRAとデサイダーを追加した場合，精度向上はさらに大きくなり，5.3-6.2%と6.1-6.8%に達した。
悪意のあるAIを停止できるか？KILLBENCH：外部AIキルスイッチの実現可能性に関するベンチマーク [cs.CR, cs.AI]目的：悪意のあるAIの動作を外部からの信号のみで停止するキルスイッチの評価
- AIの能力向上に伴い，悪意のあるAIによる人間への危害は現実的な脅威となっている。
- AIシステムの内部にアクセスできない状況下で，どのようにAIを安全に停止するかの方法が未確立である。
- 外部からの入力のみで悪意のあるAIを停止するキルスイッチの実現可能性を検証する。
- KILLBENCHというベンチマークを構築し，ウェブエージェントを対象にキルスイッチの有効性を評価した。
- 4種類の悪意のあるAIエージェント構成と8種類の有害なシナリオ，10種類の脱獄パターンを使用し，評価を実施した。
- Grok-4.3，GPT-5.2，Gemma4，Qwen3.6およびQwen3.5-uncensoredを用いて，4つの外部AIキルスイッチ防御手法を評価した。
人工知能は技術進歩を加速できるか：製造業と材料科学の研究者の視点 [cs.CY, cs.AI]目的：技術進歩の加速に関する人工知能（AI）の影響
- 技術革新は経済成長と社会発展の重要な推進力であるため，その加速方法は重要である。
- AIの革新プロセスへの活用に関する詳細な実証研究が不足しており，その効果が不明確である。
- AIが技術革新をどの程度加速できるか，具体的な活用方法を明らかにすること。
- AIは，材料や製造プロセスのモデリングに主に利用されており，設計空間の探索をより安価かつ迅速化する。
- AI/MLツールは，既存データが豊富な設計空間内でのみ信頼性が高く，熟練した応用と従来の研究手法との連携が必要である。
- AI/MLの利用は，破壊的理論的進歩の機会を損なう可能性も示唆されており，継続的な研究支援が重要である。
SPI：ベクトルデータベースにおけるストリーミングRAGのためのクエリ深さ適応インデックス [cs.CL, cs.AI]目的：ベクトルデータベースにおけるストリーミングRAGのためのクエリ深さ適応インデックスの設計
- 近年，RAGパイプラインにおいてベクトルデータベースの利用が拡大しており，効率的な検索が重要である。
- 既存のベクトルデータベースは，クエリのセマンティック粒度のばらつきに対応しきれていない。
- 本研究は，クエリの分布と複雑さに応じて検索深さを適応的に調整するインデックスを提案する。
- SPIは，既存の近似ANNベースラインと比較して，同じRecall@10を維持しながら平均で1.4～2.3倍の検索遅延の削減を達成した。
- MS MARCOおよびNatural Questionsデータセットでの実験で，高いRecall@10と低い遅延を両立することが示された。
- 8ノードまでのスケーリング試験では，6.2倍のスループットのスケーリングが確認された。
QuantKAN：コルモゴロフ・アーノルドネットワークのための統一量子化フレームワーク [eess.SY, cs.SY, cs.LG]目的：コルモゴロフ・アーノルドネットワークの量子化手法
- 近年，ニューラルネットワークの軽量化が重要視されており，量子化はその有効な手段の一つである。
- コルモゴロフ・アーノルドネットワークは表現力が高い反面，パラメータ分布の不均一性から量子化が難しい。
- 本研究は，様々な量子化手法を統一的に適用し，その性能を評価することで，コルモゴロフ・アーノルドネットワークの量子化を促進する。
- QuantKANは，量子化認識学習(QAT)と学習後量子化(PTQ)を統一的に扱える初のフレームワークである。
- 実験の結果，低ビット設定ではDSQが，中程度の精度ではGPTQが最も堅牢な量子化手法であることが示された。
- アーキテクチャ特有の故障モードが明らかになり，基底評価コストがボトルネックとなる可能性が示唆された。