arXiv雑要約
AI - 2026/02/04 公開
平均シフト密度増強による異常検知 [cs.LG]目的:異常検知手法の開発
- 金融不正,ネットワークセキュリティ,医療診断など,機械学習における重要な課題である。
- 既存手法は,特定の構造的仮定下でのみ性能を発揮し,汎用性に欠ける点が課題である。
- 密度駆動型多様体進化に対する幾何学的応答を通じて,様々な異常タイプに対してロバストな検知を目指す。
- 提案手法MSDEは,ADBenchベンチマークにおいて,13の既存手法と比較して,AUC-ROC,AUC-PR,Precision@nで一貫して高い性能を示した。
- 特に,ノイズ環境下において,様々な異常タイプに対して,ロバストでバランスの取れた性能を実現した。
- 変位に基づくスコアリングが,既存の最先端手法に対する堅牢な代替手段となることを示した。
効率的な大規模モデル推論のための,事前入力のみの枝刈り [cs.CL, cs.AI, cs.CV]目的:大規模モデル推論における計算コスト削減
- 大規模言語モデルは高度な能力を示すが,その利用は計算資源の制約を受ける。
- 既存の枝刈り手法は,ハードウェア効率は高いものの,精度低下が課題である。
- 事前入力とデコード段階の役割の違いに着目し,効率と精度の両立を目指す。
- 本研究で提案するPOPは,事前入力段階で深層のレイヤーを安全に省略することで,推論速度を最大1.37倍向上させる。
- 独立したKey-Value投影と境界処理戦略により,キャッシュの整合性と生成トークンの精度を確保する。
- Llama-3.1,Qwen3-VL,Gemma-3を用いた実験で,既存手法の精度と効率のトレードオフを克服できることを示した。
Lipschitzマルチスケール深層平衡モデル:理論的保証と高速化されたアプローチ [cs.LG]目的:深層平衡モデルの固定点収束改善と計算時間削減
- 深層学習は,画像認識など多様な分野で高い性能を発揮するが,計算コストが大きい。
- 深層平衡モデルは省メモリだが,収束保証がなく計算時間が課題となっていた。
- モデル構造を再構成し,固定点収束を理論的に保証することで計算時間を短縮する。
- 提案手法であるLipschitzマルチスケールDEQは,ハイパーパラメータ調整により,前向き・後向きパス両方の固定点収束を理論的に保証した。
- CIFAR-10データセットでの実験では,精度をわずかに低下させつつ,最大4.75倍の高速化を達成した。
- 本研究は,深層平衡モデルの適用範囲拡大に貢献する。
R1-SyntheticVL:生成モデルによる合成データはマルチモーダル大規模言語モデルの準備が整っているか [cs.LG, cs.AI, cs.CL, cs.CV]目的:マルチモーダル大規模言語モデルの性能向上に資する効果的なデータ合成技術の開発
- マルチモーダル大規模言語モデルは,現実世界の複雑なタスク解決において重要な役割を担う
- 高品質で多様な学習データが不足しており,モデルの性能向上のボトルネックとなっている
- 生成モデルを用いたデータ合成により,学習データ不足の問題を解決し,モデル性能を向上させる
- 本研究では,集団的敵対的データ合成(CADS)という新しいアプローチを提案し,高品質で多様かつ挑戦的なマルチモーダルデータを合成することに成功した。
- CADSは,集団知性と敵対的学習を活用し,データの生成と評価を繰り返すことで,効果的なデータ合成を実現する。
- 合成データを用いて学習したR1-SyntheticVLは,様々なベンチマークにおいて優れた性能を示した。
周期的な正則化Q学習 [cs.LG, cs.AI]目的:強化学習におけるQ学習の収束性保証
- 強化学習は,複雑な意思決定問題を解決する有力な手法であり,様々な分野で応用が広がっている。
- 線形関数近似を用いる場合,Q学習の収束性が保証されないという課題が存在する。
- 関数近似下での安定した収束を保証するため,正則化技術を用いたQ学習アルゴリズムを提案する。
- 提案手法である周期的な正則化Q学習(PRQ)は,投影演算子レベルでの正則化を導入し,厳密な収束性解析を行うことで,線形関数近似下での有限時間収束性を保証する。
- PRQは,正則化された投影値反復(RP-VI)を構築し,それをサンプルベースの強化学習アルゴリズムに拡張することで実現されている。
- 適切な正則化により,投影値反復は縮小写像となり,確率的な設定下でも収束性を維持できる。
基礎モデル駆動AIによる3D OCTの診断ワークフロー完全自動化 [cs.CV, cs.AI]目的:網膜疾患の3D OCT診断のための,基礎モデル駆動AIによる診断ワークフローの完全自動化
- 網膜疾患の診断において,高解像度3D画像を提供するOCTは不可欠な検査手法である。
- 既存の診断システムは,多段階のワークフローとシングルタスクAIモデルに依存しており,完全な自動化が課題である。
- 本研究は,3D OCT画像を用いた網膜疾患の診断ワークフローをエンドツーエンドで自動化し,効率的な診断を実現する。
- 開発したFOCUSは,画像品質評価,異常検出,多疾患分類を統合的に実行する。
- 3,300患者のデータセットを用いた評価で,高品質な診断性能(F1スコア94.39%)を示した。
- 異なる施設・OCTデバイスでの検証や,熟練医との比較においても同等以上の性能を発揮し,実用性が確認された。
臨床オフライン強化学習のための三駆動ポテンシャル関数による報酬エンジニアリングmedR [cs.IR, cs.LG]目的:臨床オフライン強化学習における報酬エンジニアリングの自動化
- 臨床意思決定の最適化は医療の質向上に不可欠であり,強化学習はその有力な手段となる。
- 既存の報酬設計は手動であり,多様な病状への汎化が困難である。
- 大規模言語モデルを活用し,病状に応じた報酬関数の設計を自動化し,強化学習の性能を向上させる。
- 大規模言語モデルを用いて,生存,確信度,能力という3つの要素からなるポテンシャル関数に基づく報酬関数を設計するパイプラインを提案した。
- 提案手法は,報酬構造の厳密な評価指標を用いて,最適な報酬構造を事前に選択することを可能にする。
- 特定の疾患に対する報酬関数の設計を自動化し,結果として得られる方策の性能を大幅に向上させることを示した。
クエリを考慮した適応的次元選択による密な検索 [cs.IR, cs.AI]目的:密な検索における次元選択の改善
- 情報検索の精度向上は,大量のデータから関連情報を効率的に抽出するために重要である。
- 高次元埋め込み表現において,クエリごとに重要な次元が異なるため,冗長性が生じやすい。
- クエリ埋め込みから次元重要度を直接予測し,クエリに応じた次元部分集合を選択することを目指す。
- 提案手法は,ラベル付きデータを用いて次元重要度の分布を学習し,クエリ埋め込みから重要度スコアを予測する。
- 推論時には,クエリ埋め込みのみに基づいて次元部分集合を選択し,疑似関連フィードバックを必要としない。
- 複数の密な検索器とベンチマークにおいて,提案手法はフル次元ベースラインや既存手法と比較して検索効果を向上させる。
エントロピーゲート付き選択的方策最適化:大規模言語モデルのハイブリッド学習のためのトークンレベル勾配配分 [cs.LG, cs.AI]目的:大規模言語モデルのハイブリッド学習におけるトークンレベル勾配配分
- 大規模言語モデルの性能向上は,自然言語処理の発展に不可欠である。
- 強化学習と教師あり学習の組み合わせが困難で,学習の安定性と効率が課題である。
- トークンレベルでの勾配調整により,探索と知識の保持を両立し,学習効率を向上させる。
- EGSPOは,数学的推論ベンチマークにおいて,CHORD phiベースラインと比較してAIMEで3.8%,MATHで2.9%の性能向上を達成した。
- 高エントロピーのトークンには完全なPPO更新を適用し,探索を促進する。
- 低エントロピーのトークンには減衰PPO更新を適用し,分散を軽減し,知識を保存する。
RDT2:UMIデータにおけるスケーリング限界の探求 - ゼロショットクロスエンボディメント汎化に向けて [cs.RO, cs.AI, cs.CV, cs.LG]目的:ロボット汎化の可能性
- 汎用ロボット開発において,データ不足は大きな課題である。多様なタスクに対応できるロボットの実現には,大量のデータが必要不可欠である。
- 既存モデルは,異なるロボットへの汎化が難しく,ハードウェア依存性が高い。特定のロボットに最適化されたモデルは,他の環境で性能が低下する。
- 新しいロボット環境でも,ゼロショットでタスクを実行できるモデルを開発し,ハードウェア依存性を克服することを目指す。
- RDT2は,70億パラメータのVLMを基盤としたロボット汎化モデルであり,未見のオブジェクト,シーン,指示,さらにはロボットプラットフォームへゼロショットで汎化可能である。
- 残差ベクトル量子化(RVQ),フローマッチング,蒸留という新たな3段階の学習手法により,リアルタイム推論を実現した。
- 卓球など,高度な操作,長時間の計画,動的な下流タスクにおいて,最先端のベースラインモデルを上回る性能を示した。
Memora:抽象性と具体性のバランスを取る調和的な記憶表現 [cs.AI]目的:抽象性と具体性のバランスを取る記憶表現
- エージェントの性能向上には,大規模な知識の効率的な利用が不可欠である。
- 既存の記憶システムでは,抽象化と具体性のトレードオフが課題となっている。
- 抽象性と具体性を調和的に両立する新たな記憶表現を確立すること。
- Memoraは,抽象化と具体性を構造的にバランスさせることで,大規模な記憶における効率的な検索を実現した。
- Memoraは,LoCoMoおよびLongMemEvalベンチマークにおいて,最先端の結果を達成した。
- RAGやKGといった既存の記憶システムは,Memoraの特殊なケースとして理論的に説明可能である。
材料設計における標的指向型適応サンプリングのための情報理論的マルチモデル融合 [cs.CL, cs.LG, cond-mat.mtrl-sci, cs.IT, math.IT]目的:標的指向型適応サンプリングのための情報理論的フレームワーク
- 材料設計において,実験や高精度シミュレーションはコストがかかるため,効率的な探索が重要である。
- 限られた評価予算内で信頼性の高い進捗を確保することが困難であり,高次元空間での探索が課題である。
- 標的関連の方向へ探索を集中させ,サンプル効率と信頼性を向上させることを目指す。
- 本手法は,最適化を軌跡発見として捉え,低エントロピーな情報状態を維持・精緻化することで,標的関連方向への探索を効率化する。
- 異質なサロゲート貯留庫を用いた適応ブートストラップ蒸留や,構造を考慮した候補多様体解析とカルマンフィルターに触発されたマルチモデル融合を組み合わせる。
- 14の材料設計タスクで,データセット特有の調整なしに,サンプル効率と信頼性の向上が確認された。
MedSAM-Agent: マルチターンエージェント強化学習によるインタラクティブな医用画像セグメンテーションの強化 [cs.CV, cs.AI]目的:インタラクティブな医用画像セグメンテーションのためのマルチターンエージェント強化学習フレームワーク
- 医用画像解析は医療診断・治療において不可欠であり,その精度向上は患者予後の改善に繋がる。
- 既存手法は単一ターンでの rigid な相互作用に頼り,動的なインタラクティブツールの潜在能力を十分に引き出せていない。
- 本研究は,マルチターンでの意思決定プロセスと臨床的妥当性の高い報酬設計により,効率的なセグメンテーションを目指す。
- MedSAM-Agent は,専門家による軌跡生成のためのハイブリッドプロンプティング戦略と,二段階の訓練パイプラインを導入した。
- 6種類の医用画像モダリティと21のデータセットにおける実験により,最先端の性能を達成した。
- 自律的な医用画像推論と堅牢な反復最適化を効果的に統合し,効率的なセグメンテーションを実現した。
不正確な勾配からビザンチン耐性へ:類似性に基づく加速と最適化 [cs.LG, math.OC]目的:分散最適化におけるビザンチン耐性の確保と,その高速化手法の開発
- 分散学習はデータプライバシー保護に貢献するが,悪意あるノードの影響を受けやすい。
- 従来のビザンチン耐性アルゴリズムは理論的根拠が不十分で,複雑なアルゴリズム開発の障壁となっている。
- 不正確な勾配オラクルに基づく最適化理論を適用し,ビザンチン耐性分散学習の高速化を目指す。
- ビザンチン耐性分散最適化は,不正確な勾配オラクルを持つ最適化問題として定式化できることが示された。
- 標準的なロバスト集約手順を用いた勾配降下法は,ビザンチン環境下で最適な漸近誤差を得ることが確認された。
- Nesterov型加速スキームと,類似性に基づく最適化スキームにより,通信量を大幅に削減できることが理論的・実験的に示された。
ベイズ的適合性予測における決定リスク問題 [cs.LG]目的:予測集合のサイズ最小化
- 不確実性の定量化は,機械学習モデルの信頼性向上に不可欠である。
- 既存手法では,予測集合のサイズが不安定で,信頼区間が期待値を下回ることがある。
- ベイズ的適合性予測を用いて,信頼性の高い予測集合を効率的に構築すること。
- ベイズ的適合性予測は,有効な網羅性保証を提供し,モデルの誤指定下でも安定した性能を示す。
- 回帰および分類タスクにおいて,既存手法と同程度のサイズの予測集合を生成し,集合サイズの変動を大幅に抑制する。
- 誤指定された事前分布下で80%の公称被覆率に対し,81%の経験的被覆率を達成し,ベイズ信頼区間を上回る。
エージェントにおける正確な失敗予測は,効果的な失敗防止を意味しない [cs.CL, cs.LG]目的:LLMクリティックモデルの介入が信頼性に与える影響の評価
- LLMの信頼性は重要であり,その改善は様々な応用において不可欠である。
- LLMクリティックのオフライン精度は高いものの,実際のデプロイ環境での影響は不明確である。
- LLMクリティックの介入が改善に繋がるか,悪化に繋がるかを事前に評価する手法を提案する。
- 高いオフライン精度を持つLLMクリティックが,デプロイ時に性能劣化を引き起こす場合があることが示された。
- 介入は失敗軌跡を回復する可能性がある一方で,成功するはずだった軌跡を阻害する可能性がある。
- 小規模なパイロットテストを用いて,介入が有益か有害かを予測できることが確認された。成功率の高いタスクでは介入により性能が低下する。
MentalSeek-Dx:現実世界の精神疾患診断に向けた漸進的な仮説演繹的推論 [cs.AI]目的:現実世界の精神疾患診断のための漸進的な仮説演繹的推論の実現
- 精神疾患は世界的な健康問題であり,適切な診断と治療が不可欠である。
- 既存の評価ベンチマークは臨床現場の現実を反映しておらず,詳細な診断指導が不足している。
- 臨床現場で用いられる現実的なデータに基づいた,信頼性の高い精神疾患診断を目指す。
- 712件の匿名化された電子カルテから構成されるMentalDx Benchを新たに開発した。
- 大規模言語モデル18個の評価により,大まかな診断分類は高い性能を示す一方で,疾患レベルの診断では著しい課題があることが判明した。
- 140億パラメータのMentalSeek-Dxは,仮説演繹的推論を学習し,MentalDx Benchにおいて最先端の性能を達成した。
タイル化されたプロンプト:画像および動画超解像におけるプロンプトの不十分な指定の克服 [cs.CV, cs.AI, cs.LG]目的:画像および動画超解像のためのタイル化されたプロンプトのフレームワーク
- 高画質の画像・動画生成への関心が高まる中で,テキストによる制御が重要である。
- 高解像度化の過程で,グローバルなプロンプトが局所的な詳細を捉えきれない問題がある。
- 局所的な詳細を考慮したプロンプトにより,超解像の品質とテキストへの適合性を向上させる。
- 提案手法であるタイル化されたプロンプトは,各タイルに特化したプロンプトを使用することで,プロンプトの不十分な指定を解消する。
- 実験の結果,提案手法は既存手法と比較して,知覚的な品質とテキストの整合性が向上することが示された。
- また,幻覚やタイルレベルのアーチファクトの低減にも貢献することが確認された。
タスク遂行性能として現れるロバスト性 [cs.LG, cs.AI, cs.CL]目的:ロバスト性の実証的分析
- 現実世界への応用において,安定性は不可欠であり,ロバスト性は重要な課題である。
- ロバスト性は独立した能力として扱われがちだが,その本質的な要因は不明である。
- タスク性能向上に伴うロバスト性の自然な獲得メカニズムを解明する。
- モデルが高性能に近づくにつれて,ロバスト性が効果的に達成されることが示された。
- ロバスト性は,モデル固有の特性よりも,タスク固有の能力によって主に駆動されることが明らかになった。
- タスクが飽和するにつれて,モデルのロバスト性は自然に現れると期待できる。
道徳的判断における解釈可能なモデルの構築 [cs.RO, cs.AI, cs.CY, cs.LG]目的:道徳的判断のモデル
- 倫理的ジレンマは,自律型システムの設計において重要な検討課題である。
- ニューラルネットワークの意思決定プロセスはブラックボックス化しており,解釈が困難である。
- ニューラルネットワークの道徳的判断における根底にあるメカニズムを解明すること。
- 本研究では,トロッコ問題形式の倫理的ジレンマに対するニューラルネットワークの判断を分析するためのカスタムTransformerモデルを構築した。
- 構築した2層アーキテクチャは,Moral Machineデータにおいて77%の精度を達成しつつ,詳細な分析を可能とするほど小規模である。
- 解釈可能性技術を用いることで,道徳的推論がネットワーク全体にどのように分布しているか,またバイアスが特定の計算段階に局在していることを明らかにした。
因果関係の分布的不変性による因果グラフ学習 [cs.CL, cs.LG, cs.AI]目的:因果グラフの復元
- データから因果関係を明らかにする研究は,科学的発見や意思決定において重要である。
- 観測データのみからは因果方向の特定が難しく,誤った因果関係を推論する可能性がある。
- 分布的不変性の原理を用いて,より効率的に因果関係を特定し,大規模データへの適用を可能にすること。
- 提案手法は,原因となる変数の事前分布の変化に対し,効果の分布が不変であるという性質を利用する。
- この不変性を検証することで,潜在的な因果関係を直接的にテストすることが可能となる。
- 実験結果から,提案手法は既存手法と同等またはそれ以上の性能を示し,処理時間を最大25倍削減することが確認された。
PACE:事前学習済み音声継続学習 [cs.NI, cs.SD, cs.LG]目的:事前学習済みモデルを用いた音声継続学習のベンチマークと課題分析
- 音声は,音声,音楽,環境音分析の基礎であり,その理解は重要である。
- 現実環境ではデータ分布が時間とともに変化し,事前学習済みモデルは脆弱である。
- この研究は,音声継続学習における事前学習済みモデルの課題を克服し,ロバスト性を高める。
- 本研究では,音声継続学習の初の包括的なベンチマークを提示し,その特有の課題を分析した。
- 提案手法PACEは,FSAを改善し,適応的サブスペース直交PEFTによりセマンティックアライメントを強化する。
- 6つの多様な音声継続学習ベンチマークで,PACEは最先端の基盤を大幅に上回り,実用的な進歩を示す。
複合型連合学習における線形加速の実現 [cs.LG, math.OC]目的:複合型連合学習における線形加速
- 機械学習の分散化・プライバシー保護が重要視されており,連合学習はその有力な手法である。
- クライアント間データの不均一性や非滑らかな正則化項が,学習の効率化を阻害する要因となっている。
- 非凸損失関数に対する線形加速を達成し,連合学習の効率性と実用性を高める。
- 提案手法FedNMapは,ノマルマップに基づく更新スキームと局所的な補正戦略により,線形加速を実現した。
- 滑らかな局所損失,正則化項の弱い凸性,および有界な確率的勾配分散という標準的な仮定の下で結果が得られた。
- 非凸複合型連合学習における線形加速を確立した最初の研究である。
GFlowPO:言語モデルのプロンプト最適化のための生成フローネットワーク [cs.AI, cs.CL, cs.LG]目的:言語モデルに対する効果的なプロンプトの探索
- 大規模言語モデルの性能はプロンプトに大きく依存する。効果的なプロンプト設計が重要である。
- プロンプト空間は膨大であり,報酬は疎であるため,プロンプトの最適化は困難である。
- サンプル効率を向上させ,より良いプロンプトを効率的に探索することを目指す。
- GFlowPOは,プロンプト探索を潜在プロンプトに関する事後推論問題として定式化する。
- 軽量なプロンプトLMをオフポリシーの生成フローネットワーク(GFlowNet)でファインチューニングすることで,サンプル効率の高い探索を実現する。
- 動的メモリ更新(DMU)によりメタプロンプトを更新し,高報酬領域への探索を集中させる。
MeKi:効率的なLLMスケーリングのための記憶ベースの専門知識注入 [cs.LG, cs.AI, cs.CL]目的:LLMの性能向上とエッジデバイスへのデプロイ
- LLMは高性能だが,計算資源が必要であり,エッジデバイスへの搭載が課題である。
- エッジデバイスのRAMやNPU資源の制約から,大規模LLMの直接的なデプロイは困難である。
- 記憶容量を活用することで,計算コストを抑えつつLLMの性能を向上させる。
- MeKiはTransformer層にトークンレベルの記憶専門家を導入し,事前知識を注入することでLLMの性能を向上させる。
- 学習時に使用されたパラメータ行列をコンパクトな静的ルックアップテーブルに変換し,ROMにオフロードすることで,推論時の遅延をゼロにする。
- 実験により,MeKiは同等の推論速度で,従来のdense LLMを大幅に上回る性能を示すことが確認された。
マスク付き離散拡散を用いた手書き数式認識における記号認識に基づく推論 [cs.RO, cs.CL, cs.CV, cs.LG]目的:手書き数式認識における記号と2次元構造の推論
- 手書き数式認識は,STEM教育や情報アクセスにおいて重要な役割を果たす。
- 従来の自己回帰モデルは,曝露バイアスや構文的不整合に課題があった。
- 離散拡散モデルを用いて,構造に配慮した認識パラダイムを提案し,この課題を解決する。
- 提案手法は,MathWritingベンチマークにおいて,5.56\%のCERと60.42\%のEMを達成した。
- Transformerや商用ベースラインを凌駕する性能を示した。
- CROHME 2014-2023においても一貫した改善が見られ,汎用性も確認された。
SLIM-Diff: データ不足なてんかんFLAIR MRIのための共有潜在画像マスク拡散モデル [cs.CV, cs.AI]目的:てんかんFLAIR MRIにおける焦点性皮質異形成病変の検出・解析
- てんかんの診断・治療には,脳MRIによる病変の正確な特定が不可欠である。
- てんかんFLAIR MRI画像は病変が微細かつ稀であり,画像とマスクの同時生成モデルは不安定になりやすい。
- 画像と病変形状の密接な関係性を捉え,生成モデルの安定性と精度を向上させる。
- SLIM-Diffは,画像とマスクを同時に生成するコンパクトな拡散モデルであり,共有された潜在空間を用いることで,解剖学的構造と病変形状の整合性を強化する。
- 実験の結果,$x_0$予測が,画像と病変の同時合成において最も優れた性能を発揮することが示された。
- 損失関数に分数階の$L_{1.5}$を用いることで画像品質が向上し,$L_2$を用いることで病変マスクの形態がより正確に保持された。
良性再学習の再考:unlearning失敗の隠れた要因としての構文 [cs.LG, cs.AI]目的:機械unlearningにおける良性再学習現象の解明と改善
- 機械学習モデルのプライバシー保護やデータ更新において,特定の情報を削除する技術の重要性が高まっている。
- 既存のunlearning手法は,削除した情報がわずかな再学習によって再浮上する「良性再学習」という脆弱性を持つ。
- 構文の類似性が良性再学習の主要因であることを示し,その対策として構文多様化手法を提案する。
- 良性再学習は,トピックの関連性だけでなく,構文の類似性が主要な要因であることが明らかになった。
- 提案手法である構文多様化は,良性再学習を抑制し,unlearningの速度を向上させる。
- unlearningの有効性とモデルの汎用性の間のトレードオフを大幅に軽減することが示された。
非IIDデータにおける分散学習のための動的トポロジー最適化 [cs.LG, cs.DC]目的:非IIDデータ環境下における分散学習のトポロジー最適化
- プライバシー保護やスケーラビリティ向上のため,中央集権的な調整を必要としない分散学習が重要視されている。
- データ分布が非IIDの場合や通信トポロジーが静的な場合,分散学習は高精度なモデルの学習が困難となる。
- データ異質性に強いロバストな分散学習を実現し,学習の収束性と安定性を向上させることを目指す。
- 提案手法Morphは,モデルの不一致を最大化するノード同士のピア選択により,通信グラフを動的に再構成する。
- CIFAR-10およびFEMNISTの実験結果から,Morphは既存手法と比較してテスト精度が向上し,フルコネクションに近い性能を示すことが確認された。
- Morphは,通信ラウンド数を削減し,ノード間の分散を低減することで,高い精度,高速な収束,安定した学習を実現する。
PPOの収束性証明に向けた近似的アセントアプローチ [cs.LG, cs.AI, math.OC]目的:PPOの収束性に関する理論的根拠の確立
- 深層強化学習は,複雑な問題解決に有効だが,理論的保証が不十分な場合が多い。
- PPOは広く利用されているが,その収束性や利点に関する理解は十分ではない。
- PPOの更新スキームを近似的方策勾配アセントとして解釈し,収束性を証明すること。
- PPOの更新スキームをアセントアプローチとして捉え,バイアスの制御とランダムシャッフルにより収束定理を証明した。
- Generalized Advantage Estimationの重み付けスキームにおける問題点を特定し,エピソード境界での質量崩壊を指摘した。
- 単純な重み補正が,強い終端信号を持つ環境(Lunar Landerなど)で顕著な改善をもたらすことを実証した。
持続可能な連合学習エコシステムの構築に向けて:ペイオフ配分のための実用的な最小コアメカニズム [cs.GT, cs.AI]目的:連合学習におけるペイオフ配分メカニズム
- プライバシー保護と協調的知能を実現する連合学習の重要性が増している。
- 連合学習環境の持続可能性を損なう,公平で安定したペイオフ配分メカニズムの欠如。
- 最小コア概念に基づくペイオフ配分フレームワークにより,連合の安定性を高める。
- 提案メカニズムは,潜在的なサブグループ間の不満を最小化し,参加者の離脱インセンティブを抑制する。
- スタックベースのプルーニングアルゴリズムにより,計算効率と配分精度を両立している。
- 連邦型侵入検知のケーススタディにより,重要な貢献者と戦略的同盟を特定できることが示された。
長期ホライズンオフラインゴール条件付き強化学習のためのゴール系列階層的方策 [cs.LG, cs.AI]目的:長期ホライズンタスクにおけるオフラインゴール条件付き強化学習
- ロボットの自律的なタスク実行には,複雑な計画と意思決定が不可欠である。
- 既存のオフライン強化学習は,長期的なタスクにおいて性能が低下しやすい。
- 複雑なタスクにおける複数の中間意思決定の協調を可能にする方策を開発する。
- 提案手法CoGHPは,状態と最終ゴールから潜在的な部分ゴール系列を自己回帰的に生成する。
- CoGHPは,MLP-Mixerバックボーンを用いて,状態,ゴール,部分ゴール,行動間の構造的な関係を捉える。
- ナビゲーションと操作のベンチマークにおいて,CoGHPは既存のオフラインベースラインを上回る性能を示した。
悪循環から良循環へ:教師なしビデオオブジェクト中心学習のための相乗的表現学習 [cs.CV, cs.LG]目的:ビデオにおけるオブジェクト中心学習のための相乗的表現学習手法
- 複雑なシーンを理解する上で,オブジェクト単位での分析が重要となるため,その自動学習手法の確立が求められる。
- 既存手法では,エンコーダとデコーダの表現ギャップが原因で,鮮明な特徴抽出と正確な再構成が両立しない問題が存在する。
- エンコーダとデコーダが互いに改善し合うことで,表現ギャップを解消し,オブジェクト中心学習の性能向上を目指す。
- 提案手法(SRL)は,エンコーダの鮮明性とデコーダの空間的一貫性を互いに活用することで,再構成の曖昧さを解消する。
- スロット正則化によるウォームアップ段階を導入し,初期段階でのエンティティの分離を促進することで,学習の安定化を図る。
- 複数のビデオオブジェクト中心学習ベンチマークにおいて,最先端の結果を達成し,提案手法の有効性が確認された。
大規模言語モデルの強化学習ファインチューニングにおけるエントロピーダイナミクス [cs.LG, cs.AI]目的:大規模言語モデルの強化学習ファインチューニングにおけるエントロピーダイナミクスの理論的解明
- 大規模言語モデルの性能向上には,多様な出力生成能力の理解と制御が不可欠である。
- 強化学習ファインチューニングにおいて,エントロピーの適切な調整方法が確立されていない。
- エントロピーダイナミクスの理論的枠組みを構築し,探索と活用のバランス最適化を支援する。
- エントロピー変化を定量化する識別式を導出し,強化学習ファインチューニングにおけるエントロピーダイナミクスの第一原理式を確立した。
- 導出された理論的分析から,エントロピー制御手法の設計のヒントを得て,既存のエントロピーベース手法の解釈を統一的に行う枠組みを提示した。
- 実験的に得られた結果は,理論的分析を裏付け,エントロピー識別子クリッピング法の有効性を示した。
ラベル地平線パラドックス:金融予測における教師信号の目標再考 [cs.LG]目的:金融予測における教師信号の最適化
- 金融予測は経済活動において不可欠であり,正確な予測は意思決定を大きく左右する。
- 従来の教師あり学習では,教師データと予測目標が一致していることが前提とされてきた。
- 市場のダイナミクスに適した教師信号を自動的に特定し,予測精度を向上させる。
- 教師信号の最適化により,従来の基準線と比較して,大規模金融データセットでの予測性能が向上した。
- 最適な教師信号は予測目標から乖離することがあり,そのずれは市場のダイナミクスに依存する。
- 動的な信号対雑音のトレードオフが,汎化性能に影響を与えることが理論的に示された。
実践における精度:産業界の期待に基づいた知識誘導型コード要約 [cs.CL, cs.RO, cs.SE, cs.AI]目的:産業界の期待に沿ったコード要約の生成
- コード理解の効率化と,保守・共同開発コストの削減は,ソフトウェア開発において不可欠である。
- 既存のコード要約手法は,開発者の期待するドキュメントの質を満たしていない場合がある。
- 開発者の期待に応え,実用的なコード要約を生成することを目指す。
- 提案手法ExpSumは,HarmonyOSプロジェクトにおいて,BLEU-4スコアで最大26.71%,ROUGE-Lスコアで最大20.10%の改善を達成した。
- ExpSumは,関数メタデータの抽象化,ドメイン知識の活用,制約付きプロンプティングにより,開発者の期待に沿った構造化された要約を生成する。
- 他のプロジェクトにおけるLLM評価でも,ExpSum生成の要約が開発者の期待により合致することが示された。
リスク認識の注入:実用性を損なわずに安全性のためにビジョン言語モデルを調整 [cs.AI, cs.LG]目的:ビジョン言語モデルの安全性評価の調整
- 大規模言語モデルの能力を拡張するビジョン言語モデルは,新たな応用分野を開拓している。
- 既存の防御策は,コストがかかるか,または性能を低下させる可能性がある。
- ビジョン言語モデルにおけるリスク認識を強化し,攻撃成功率を低下させる。
- 提案手法「リスク認識の注入」は,追加学習なしで,ビジョン言語モデルにリスク認識能力を回復させる。
- 言語埋め込みから構築された「危険プロトタイプ空間」を利用し,高リスクな視覚トークンを調整することで,安全信号を活性化させる。
- 複数のベンチマークテストの結果,RAIは攻撃成功率を大幅に削減しつつ,タスク性能を維持することが示された。
直感主義的ファジー選好に基づく対立状況における紛争解決の実行可能な戦略 [cs.AI]目的:直感主義的ファジー選好に基づく対立状況下における紛争解決戦略
- 対立分析は,意思決定や交渉において重要な役割を担う。多様な状況に対応できるモデルが求められている。
- 従来の選好に基づく対立モデルは,選好関係の表現が限定的であり,対立の本質を捉えきれないという課題があった。
- 本研究は,直感主義的ファジー選好を用いることで,対立状況のより詳細な表現と,より適切な紛争解決策の提案を目指す。
- 直感主義的ファジー選好に基づく対立状況を新たに定義し,従来のモデルよりも詳細な対立状況の表現を可能にした。
- 提案する対立指標を用いて,エージェントペア,エージェント集合,問題集合を三分割する三方向対立分析モデルを構築した。
- 対立度と調整幅を考慮した実行可能な戦略を提案し,その構築アルゴリズムを示すことで,実用的な紛争解決への道を開いた。
ソクラテス・ジオ:マルチエージェント対話による合成データ生成と幾何学的推論 [cs.CL, cs.CV, cs.AI]目的:幾何学的推論のための合成データ生成と学習フレームワーク
- マルチモーダル大規模言語モデルの発展に伴い,視覚と言語の理解は向上している。
- 高品質な画像とテキストのペアが不足しており,幾何学的推論がボトルネックとなっている。
- 教師エージェントとソルバーエージェントの相互作用により,データ生成と学習を効率化する。
- ソクラテス・ジオは,わずか108の初期問題から,6つのベンチマークでベースラインの4分の1のデータ量で49.11のスコアを達成した。
- ソクラテス・ジェネレーターはGenExamで42.4%のスコアを達成し,オープンソースモデルとして最高の結果を更新した。
- この結果は,Seedream-4.0やGemini-2.5-Flash-Imageに匹敵する性能を示している。
ほとんどの畳み込みネットワークは小さな敵対的摂動の影響を受ける [cs.LG]目的:敵対的摂動に対する畳み込みニューラルネットワークの脆弱性
- 深層学習の信頼性確保は重要であり,特にセキュリティが問われる応用では必須である。
- 畳み込みニューラルネットワークにおける敵対的摂動の存在とその影響は未解明な部分が多い。
- ランダムな畳み込みニューラルネットワークに対する敵対的摂動の距離の下限を導き出す。
- ランダムな畳み込みニューラルネットワークにおいて,入力に対する敵対的摂動は$\lVert x \rVert /\sqrt{d}$程度の$\ell_2$距離で存在しうる。
- この摂動は,勾配降下法の1ステップで検出可能である。
- フーリエ分解を用いてランダムな線形畳み込み演算子の特異値を効率的に評価し,その結果を証明に利用した。
CoCoEmo:活性化ベクトル操舵による,合成可能で制御可能な人間らしい感情表現TTS [cs.SD, cs.LG]目的:感情豊かな音声合成の実現
- 人間は微妙な感情表現でコミュニケーションを取るため,自然な感情表現の音声合成が重要である。
- 既存のTTSシステムは単一の感情しか表現できず,多様性やテキストとの不一致を抑えていた。
- 活性化ベクトル操舵を用いて,感情表現を合成・制御し,人間らしい自然な音声を目指す。
- 感情的なプロソディや表現の多様性は,TTSの言語モジュールによって主に合成されることが示された。
- 活性化ベクトル操舵によって,自然で人間らしい感情豊かな音声を生成する軽量な手法が確立された。
- 複数の感情を組み合わせたり,テキストと感情の不一致を再現する合成が可能になった。
DiscoverLLM:意図の実行から意図の発見へ [cs.AI, cs.CL, cs.HC, cs.LG]目的:意図の形成と発見を支援するLLMの訓練
- 曖昧な要求への対応が課題であり,LLMの対話能力向上が求められている。
- ユーザー自身が意図を明確に持たない場合,従来の質問形式では効果が薄い。
- ユーザーの認知状態をモデル化し,意図の具体化を促すことで,対話効率と満足度向上を目指す。
- DiscoverLLMは,創造的執筆,技術的執筆,SVG描画のベンチマークで,タスク性能が10%以上向上した。
- 会話の長さが最大40%短縮され,対話効率の改善が確認された。
- 75人の参加者によるユーザー調査で,会話の満足度と効率がベースラインと比較して向上した。
LLMエージェントにおける実行可能セマンティック制約の強制のためのオントロジー・ツー・ツールズ変換 [cs.AI, cs.IR]目的:LLMエージェントと形式的なドメイン知識の結合機構
- LLMの能力拡張には,知識の構造化と制約が不可欠である。
- LLMは知識の整合性を保証する仕組みが不十分である。
- LLMによる知識グラフの生成におけるセマンティック制約の強制を可能とする。
- オントロジー・ツー・ツールズ変換により,LLMエージェントはオントロジーに基づいたツールを介して知識を操作する。
- このアプローチは,知識グラフの生成時にセマンティック制約を強制し,事後検証の必要性を低減する。
- 金属有機多面体合成文献の事例研究により,実行可能なオントロジーセマンティクスがLLMの行動を導き,スキーマやプロンプトエンジニアリングの負担を軽減できることが示された。
CRL-VLA:継続的な視覚・言語・行動学習 [cs.AI, cs.LG, cs.RO]目的:視覚・言語・行動モデルの継続的な学習手法
- 実世界環境でのロボットの自律的な行動には,継続的な学習が不可欠である。
- 既存手法では,過去の技能の保持と新たな技能の獲得という両立が困難である。
- 技能の忘却を防ぎつつ,新しいタスクへの適応を促進する手法を開発する。
- CRL-VLAは,目標条件付きアドバンテージの大きさに基づいて安定性と可塑性を制御する非対称な正則化を実現している。
- 二つの批判器(frozen criticとtrainable estimator)を用いた新しいGCVFにより,意味的な一貫性を維持しながら適応を促進する。
- LIBEROベンチマーク実験で,既存手法を上回り,忘却防止と前方適応の両面で優れた性能を示した。
複数被写体画像生成のための階層的概念-外観ガイダンス [cs.CV, cs.AI]目的:複数被写体画像生成における,参照被写体のID維持とテキスト指示への忠実な追従
- 画像生成技術は,創造的なコンテンツ制作やデータ拡張など,多様な分野で重要性が増している。
- 既存手法では,IDの一貫性の欠如や合成制御の限界が課題となっている。
- テキストと参照画像の間の明示的な関連付けにより,IDの一貫性と制御性を向上させる。
- 提案手法は,概念レベルと外観レベルで明示的なガイダンスを提供することで,IDの一貫性を高める。
- VAEドロップアウト戦略により,VLMからのセマンティック信号への依存度を高め,概念レベルでの生成の一貫性を促進する。
- 対応関係を考慮したマスク付き注意モジュールにより,テキストトークンと参照領域の正確な対応付けを実現し,属性結合の信頼性を向上させる。
分散を超えて:稀な事象の増幅と双方向ペアリングによるプロンプト効率の良いRLVR [cs.LG, cs.AI]目的:検証可能な報酬を用いた強化学習におけるプロンプト選択手法の改善
- 大規模言語モデルの推論能力向上は重要であり,特に決定論的な結果を必要とするタスクでの性能改善が求められている。
- 従来のプロンプト選択は,訓練精度分散に依存しており,最適化の不安定性や汎化性能の低下を招く可能性がある。
- 稀な失敗事例から明確な負の学習信号を得ることで,より安定した学習と汎化性能の向上を目指す。
- 提案手法である「正負ペアリング」は,成功しやすいプロンプトと失敗しやすいプロンプトを組み合わせることで,学習信号の質を向上させる。
- 加重GRPOは,稀な成功事例を強調し,稀な失敗事例を強く罰することで,効率的な学習を実現する。
- Qwen2.5-Math-7BおよびQwen2.5-Math-7B-Instructにおける実験で,提案手法は従来の分散ベースの手法や大規模なRLVRと比較して,一貫して高い性能を示した。
誤指定された曝露マッピング下のネットワークにおける因果推論:部分識別フレームワーク [cs.LG, stat.ME]目的:ネットワークにおける因果効果のロバスト性の評価
- ネットワーク分析は,感染症拡散やソーシャルメディアの影響など,複雑なシステム理解に不可欠である。
- 既存手法は曝露マッピングに依存するが,その誤指定は因果効果推定に深刻なバイアスをもたらす。
- 曝露マッピングの誤指定下でも信頼性のある因果効果推定を行うための枠組みを提案する。
- 本研究では,曝露マッピングの誤指定下における直接効果と波及効果の上限と下限を導出した。
- 提案フレームワークは因果感受性分析を曝露マッピングに適用する新しい試みである。
- 実験により,曝露マッピングが誤指定されても,得られた上限と下限は有用かつ信頼性のある結論を提供することが示された。
制約付きエンドツーエンド学習のためのソフトラジアル投影 [cs.LG, math.OC, q-fin.CP, stat.ML]目的:安全性が求められるシステムにおける深層学習への厳格な制約の組み込み
- 深層学習は様々な分野で活用されているが,安全性が重要なシステムへの応用には課題がある。
- 従来の制約境界への投影法は,勾配消失の問題を抱えており,最適化が困難になる場合がある。
- 本研究は,勾配消失を回避し,効率的な最適化を可能にする新たな投影手法を提案することで,この問題を解決する。
- ソフトラジアル投影は,ユークリッド空間から実行可能集合の内部へのラジアルマッピングを用いることで,厳格な実行可能性を保証する。
- この手法は,ほとんど全ての場所でフルランクのヤコビアンを維持し,境界ベースの手法で一般的な最適化の停滞を防ぐ。
- 理論的にも近似性の普遍性が証明され,実験的に既存の最適化および投影ベースの手法と比較して,収束性と解の質が向上することが示された。
記号的説明における無関係情報の抽象化の二面性:認知負荷と理解 [cs.AI, cs.HC]目的:記号的説明における無関係情報の抽象化が,人間の推論パフォーマンスと認知負荷に与える影響
- 説明は人間認知の根幹であり,AIの解釈可能性向上には不可欠である。
- 記号的AIは透明性が高い一方,論理的痕跡は認知負荷が高くなる場合がある。
- 無関係情報の抽象化により,人間にとって理解しやすい記号的説明を構築すること。
- 詳細のクラスタリングは,参加者の理解度を著しく向上させる。
- 詳細の削除は,参加者の認知負荷を著しく軽減する。
- 抽象化が人間中心の記号的説明を強化するという仮説を支持する。
IntentRL:強化学習によるオープンエンドな深層調査のための積極的なユーザー意図エージェントの訓練 [cs.AI, cs.LG]目的:オープンエンドな深層調査における積極的なユーザー意図エージェントの訓練
- 大規模言語モデルの知識拡張として重要であり,自律的な情報収集と統合により長文レポートを生成可能にする。
- 曖昧なユーザーからのクエリに対して高い自律性を持つと,実行時間が長引き,期待される結果が得られないという課題がある。
- 深層調査開始前に潜在的なユーザー意図を明確化する積極的なエージェントを訓練することで,この課題を解決する。
- IntentRLは,ユーザー意図の正確性を大幅に向上させ,下流タスクの性能を向上させる。
- 既存の深層調査エージェントの明確化モジュールやプロアクティブなLLMベースラインと比較して,優れた性能を示す。
- オフライン対話とオンラインロールアウトを組み合わせた二段階の強化学習戦略が,効率的な学習と適応を可能にする。
