arXiv雑要約
AI - 2026/04/02 公開
RMNP:スケーラブルな行列ベース最適化のための行モーメンタム正規化事前条件付け [cs.LG]目的:スケーラブルな行列ベース最適化のための事前条件付け手法
- 深層ニューラルネットワークの学習において,効率的な最適化は重要な課題である。
- 既存の事前条件付け手法は,計算効率と効果のバランスが課題であった。
- Transformer層のヘッセ行列の特性に着目し,より効率的な事前条件付け手法を開発する。
- RMNPは,Newton-Schulz反復を簡素な行ごとの$\ell_2$正規化に置き換えることで,計算複雑性を削減した。
- RMNPは,Muonと同等の最適化性能を維持しつつ,事前条件付けにかかる時間を大幅に短縮した。
- RMNPは非凸設定下での収束性を理論的に保証し,情報理論的なミニマックス最適複雑性を達成した。
文脈的推薦のための,対数後悔と頑健性を持つ単純な射影不要アルゴリズム [cs.LG]目的:文脈的推薦における,対数後悔と頑健性を保証する単純なアルゴリズムの開発
- 文脈的推薦は,個々のユーザーの状態に合わせて推薦を行うため,ユーザー体験の向上に貢献する重要な分野である。
- 既存手法は計算コストが高く,非最適な行動フィードバックに対する頑健性に課題があった。
- 本研究は,計算効率を向上させ,非最適なフィードバックにも対応できるアルゴリズムを提案することで,これらの課題を解決する。
- 提案アルゴリズムは,既存のONSベース手法と同等の後悔保証を達成しながら,より高い計算効率を実現する。
- ONSで必要となるMahalanobis射影ステップを不要とすることで,計算ボトルネックを解消している。
- また,提案手法は非最適な行動フィードバックに対しても頑健であり,異なる学習率を用いた複数のONS学習器を必要としない。
LLMルーター:プレフィル活性化を用いたルーティングの再考 [cs.CL, cs.LG]目的:クエリ固有のモデル選択によるルーティングの性能向上
- 大規模言語モデルの活用が重要視される中で,タスクへの適応性が課題となっている。
- 既存のルーターは意味的なクエリ特徴量に依存し,モデル固有の失敗やタスクの難易度を捉えきれない。
- プレフィル活性化を通じて,モデルの性能を予測し,最適なルーティングを実現することを目指す。
- エンコーダー・ターゲット分離により,オープンソースのエンコーダーがクローズドソースのターゲットモデルの性能を予測可能となった。
- SharedTrunkNetは,意味的なベースラインと比較して,一貫して高い性能を示した。
- SharedTrunkNetは,最良の単一モデルとオラクルの性能差を45.58%縮小し,最も高価なモデルと比較して74.31%のコスト削減を達成した。
AIデータセンターがもたらすデータ熱島効果:温暖化する世界における影響の定量化 [cs.CY, cs.AI, cs.AR]目的:AIデータセンター周辺地域の気温上昇
- AI利用の拡大に伴い,データセンターの重要性が増しており,環境への影響評価が不可欠である。
- データセンターの電力消費増加と,それに伴う熱放射による環境への影響は未解明な点が多い。
- データセンター稼働による局所的な気温上昇を定量的に把握し,環境への影響を評価すること。
- AIデータセンター稼働開始後,周辺地域の地表面温度が平均2℃上昇することが確認された。
- この気温上昇は「データ熱島効果」と定義され,地域的な微気候変動を引き起こす可能性がある。
- 世界で3億4000万人以上の人々が,この気温上昇の影響を受ける可能性があると推定された。
SkillRouter: 大規模LLMエージェントのためのスキルルーティング [cs.CL, cs.RO, cs.LG]目的:LLMエージェントにおけるスキルルーティングの効率化
- LLMエージェントの能力向上には,再利用可能なスキルの活用が不可欠である。
- スキル数が増加すると,推論時に全てのスキルを提示することは現実的でなくなる。
- 大規模なスキルレジストリにおけるルーティング精度低下を改善する。
- スキル本体を隠蔽すると,ルーティング精度が大幅に低下することが示された。
- SkillRouterは,コンパクトな12億パラメータのモデルで,高いルーティング性能を実現した。
- ルーティング性能の向上は,コーディングエージェントのタスク成功率向上に繋がることが確認された。
No-Clash Teaching Dimension は VC Dimension によって上限される [cs.HC, cs.ET, eess.SY, cs.SY, cs.IT, cs.LG, math.IT]目的:No-Clash Teaching Dimension の上限
- 機械学習理論において,教師あり学習の効率的な学習手法の複雑さを評価する指標が重要である。
- No-Clash Teaching Dimension が VC Dimension によって上限されるか否かは未解決問題であった。
- 有限概念クラスに対して,VC Dimension を上限とする No-Clash Teaching Dimension の構成を目指す。
- 有限概念クラスにおいては,VC Dimension を持つフラグメントが非衝突条件を満たすことを示した。
- これらのフラグメントを教示集合として用いることで,上記の未解決問題が解決される。
- これにより,No-Clash Teaching Dimension が VC Dimension によって上限されることが証明された。
SCoOP:複数Vision-Languageモデルシステムにおける不確実性定量のための意味的に整合性のある意見集約 [cs.AI, cs.MA]目的:複数VLMシステムにおける不確実性定量
- マルチモーダルAIの信頼性向上は,様々な応用において重要である。
- 複数VLMの出力を統合する際,不確実性の増幅と幻覚のリスクが存在する。
- 複数VLM間の集合的な不確実性を定量化し,幻覚検出と棄権を可能にする。
- SCoOPは,不確実性加重線形意見集約による訓練不要の不確実性定量フレームワークである。
- ScienceQAにおいて,幻覚検出のAUROCは0.866と,ベースラインを10-13%上回る。
- 棄権のAURACは0.907と,ベースラインを7-9%上回り,効率的な集約メカニズムである。
大規模言語モデルによるインセンティブを考慮した報酬設計:協調型マルチエージェント強化学習 [cs.LG, cs.AI, cs.SY, eess.SY]目的:協調型マルチエージェント強化学習における効果的な補助報酬の設計
- マルチエージェントシステムは複雑なタスクを効率的に解決できるため,様々な分野での応用が期待されている。
- エージェント間のインセンティブが一致しない場合,最適な協調行動が妨げられる可能性がある。
- 大規模言語モデルを活用し,手動による調整の負担を軽減しつつ,協調学習に適した報酬を自動的に設計すること。
- 大規模言語モデルを用いて,環境計測情報から実行可能な報酬プログラムを合成する自動報酬設計フレームワークを提案した。
- Overcooked-AIの複数のレイアウトで実験を行った結果,提案手法は反復検索によりタスク報酬と配達数を一貫して向上させた。
- 合成された報酬成分の分析から,行動選択における相互依存性と協調を必要とするタスクにおける信号整合性の向上が示された。
DreamerAD:潜在ワールドモデルによる効率的な強化学習による自律運転 [cs.LG, cs.RO]目的:自律運転のための効率的な強化学習
- 現実世界の運転データ収集はコストと安全上のリスクが高い。
- 既存のピクセルレベルの拡散ワールドモデルは推論に時間がかかり,高頻度な強化学習のインタラクションを妨げる。
- 潜在空間での強化学習の有効性を示す。
- DreamerADは,拡散サンプリングを100ステップから1ステップに圧縮し,80倍の高速化を実現した。
- 潜在特徴のショートカット強制,潜在表現上の稠密報酬モデル,ガウス語彙サンプリングが鍵となるメカニズムである。
- NavSim v2で87.7 EPDMSを達成し,最先端の性能を確立した。
自己改善型LLMエージェントのための経験的反射学習 [cs.LG, cs.AI]目的:LLMエージェントの自己改善
- LLMの進化により自律的なエージェント開発が進む。
- 過去の経験を活かせず,環境適応が困難である。
- 経験から得た教訓を転移させ,迅速な環境適応を実現する。
- ERLはGaia2ベンチマークでReActベースラインより7.8%成功率を向上させた。
- 選択的な検索が不可欠であり,ヒューリスティクスは数ショットでのプロンプトより汎用性が高い。
- 単一試行の経験を基にしたヒューリスティクス抽出がエージェントの自己改善に有効である。
大規模言語モデルにおける確信度と正確性の乖離の解消 [cs.CL, cs.AI]目的:大規模言語モデルの確信度と正確性の関係性の解明
- 言語モデルの性能向上は,様々な自然言語処理タスクにおいて不可欠である。
- 言語モデルが示す確信度は,実際の精度と乖離している場合が多く,信頼性を損なう。
- 確信度と正確性の関係性を理解し,モデルの校正を改善することで,信頼性を高める。
- 言語モデルにおいて,確信度と校正信号は線形に符号化されるものの,互いに直交していることが示された。
- 問題解決の過程で確信度を同時に出力させると,確信度の方向性が乱れ,誤校正が悪化する「推論汚染効果」が確認された。
- 内部精度推定値に基づいて出力を調整する二段階の適応的誘導パイプラインにより,校正の精度が大幅に向上した。
ニューロシンボリックなプロセス異常検知 [cs.LG, cs.AI, cs.SC]目的:プロセス異常検知におけるニューロシンボリックアプローチの提案
- プロセス分析において,正常なプロセスからの逸脱を特定することは重要である。
- 統計的手法のみでは,稀だが正常な挙動を異常と誤判定することがある。
- ドメイン知識を組み込み,誤判定を減らすことで検知精度を向上させる。
- 本研究では,論理テンソルネットワークを用いて,ニューラル異常検知にドメイン知識を統合する。
- Declare制約をソフトな論理的制約として組み込むことで,稀な正常挙動と異常挙動を区別する。
- 合成データと実データでの評価により,F1スコアの改善と,ドメイン知識の重要性が示された。
Vision2Web:エージェント検証による視覚的ウェブサイト開発のための階層的ベンチマーク [cs.SE, cs.AI]目的:視覚的ウェブサイト開発のための階層的ベンチマーク
- ウェブサイト開発は,デジタル社会において不可欠な要素であり,その自動化は効率向上に繋がる。
- 複雑なウェブサイト開発を評価する体系的なベンチマークが不足しており,大規模言語モデルの能力を十分に検証できていない。
- 実際のウェブサイトに基づいたベンチマークを提供し,エージェントのウェブサイト開発能力を多角的に評価することを目指す。
- Vision2Webは,静的なUIからコード生成,インタラクティブなフロントエンドの再現,そしてフルスタック開発まで,ウェブサイト開発の階層構造を網羅する。
- ベンチマークは193のタスクと1255のテストケースを含み,GUI検証とVLMベースの判定という2つの検証方法を用いることで,信頼性の高い評価を実現する。
- 最先端モデルであってもフルスタック開発において課題が残っており,性能に大きな差があることが明らかになった。
CarbonEdge:持続可能なエッジコンピューティングのためのカーボンアウェアな深層学習推論フレームワーク [cs.RO, cs.DC, cs.AI, cs.LG]目的:深層学習推論におけるカーボン排出量削減
- エッジAIの普及により,AI関連のCO2排出量が急増しており,環境負荷への対応が急務である。
- 既存のエッジコンピューティングフレームワークは,レイテンシやスループット最適化に注力しており,環境への配慮が不足している。
- 本研究は,カーボンフットプリント推定とグリーンなスケジューリングにより,環境負荷を低減するフレームワークを提案する。
- CarbonEdgeのグリーンモードは,モノリシック実行と比較して22.9%のカーボン排出量削減を達成した。
- CarbonEdgeは,タスクあたりのスケジューリングオーバーヘッドが0.03msと軽微でありながら,カーボン効率を1.3倍に向上させた(245.8推論/g CO2 vs 189.5推論/g CO2)。
- 本フレームワークは,分散型深層学習推論の環境フットプリントを定量化し,最小化するためのツールとして,研究者や実務者に貢献する可能性を示す。
モデルフリー強化学習における中間者攻撃検出の限界 [eess.SY, cs.LG, cs.SY]目的:モデルフリー強化学習における中間者攻撃検出の限界
- サイバーフィジカルシステムは重要インフラを支えるため,セキュリティ確保が不可欠である。
- 強化学習を用いたシステムの攻撃に対する検出手法は未だ十分ではなく,攻撃の巧妙化に対応する必要がある。
- 報酬関数に依存する攻撃を考慮し,効率的な検出スキームの限界を明らかにする。
- 提案手法は,検出効率の点で最適なオーダーである。
- エージェントの学習時間が,攻撃者の学習時間に比例することを示した。
- 非同期かつ断続的な攻撃シナリオにおいても,信頼性の高い検出が可能である。
デフレーションPINN: PDEおよびLandau-de Gennesモデルの多解法学習 [math.NA, cs.LG, cs.NA]目的:偏微分方程式の多解の識別と特性評価
- 物理学や工学の様々な現象を記述する上で,偏微分方程式は不可欠である。
- 従来のPINNは一つの解しか見つけられないため,多解を持つ問題には対応が難しい。
- デフレーションPINNは,複数の安定な解を系統的に探索することを可能にする。
- デフレーション損失を導入することで,PINNが異なる解の分岐に収束するように促す。
- Landau-de Gennesモデルの実験を通じて,複雑なエネルギー地形における複数の結晶構造を正確に特定した。
- 理論的な収束性についても証明され,モデルの有効性が確認された。
CDH-Bench:視覚言語モデルの視覚的忠実度を評価するための常識駆動型幻覚ベンチマーク [cs.CV, cs.AI, cs.CL]目的:視覚的証拠と常識の矛盾下における視覚言語モデルの幻覚現象の評価
- 視覚言語モデルの性能向上は目覚ましいが,その信頼性,特に視覚情報と常識の矛盾下での振る舞いは未解明な点が多い。
- 視覚的証拠を無視し,常識に基づく回答を選択する「常識駆動型幻覚」という問題が存在する。
- 視覚情報と常識の矛盾下でモデルが視覚的証拠をどの程度重視するかを定量的に評価すること。
- CDH-Benchは,数え間違い,関係性の異常,属性の異常という3つの側面から,視覚的証拠と常識の矛盾を作り出すように設計されたベンチマークである。
- 最先端の視覚言語モデルを二値質問応答と多肢選択質問応答で評価した結果,強いモデルでも常識に強く影響される脆弱性が見られた。
- CDH-Benchは,視覚情報と常識の矛盾下における視覚的忠実度を診断するための制御された環境を提供する。
家畜成長予測のためのニューラル連合学習 [cs.CC, cs.CE, cs.LG]目的:家畜成長予測のための連合学習フレームワーク
- 畜産経営最適化や効率的で持続可能な畜産生産に不可欠な分野である。
- 大規模データセットの不足と,農場レベルデータのプライバシー懸念が課題である。
- 分散された農場間でデータを共有せずにモデルを共同で学習し,プライバシーを保護する。
- 提案手法 LivestockFL は,農場データを共有することなくモデルを共同学習する初のフレームワークである。
- LivestockPFL は,各農場のローカルデータでトレーニングされたパーソナライズされた予測ヘッドを備えた,高度なフレームワークである。
- 実世界のデータセットを用いた実験により,提案手法の有効性と実用性が示された。
PReD:電磁波知覚,認識,意思決定のためのLLMベースの基盤多Modalモデル [cs.AI]目的:電磁波信号の知覚,認識,意思決定を包括的に扱う基盤多Modalモデルの開発
- 電磁波は通信,レーダー,センシング等,現代社会の基盤技術であり,その高度化が不可欠である。
- 電磁波分野では,データ不足や専門知識の統合が不十分であり,高度なAIモデルの構築が困難である。
- 電磁波信号の理解と推論能力を向上させ,新たな電磁波技術の発展に貢献することを目標とする。
- PReDは,電磁波信号のタイムドメイン波形,周波数スペクトル,コンステレーション図などの多様な表現を扱うことができる。
- 構築されたデータセットPReD-1.3Mと評価ベンチマークPReD-Benchを用いて,信号検出,変調方式認識などのタスクで最先端の性能を達成した。
- エンドツーエンドでの信号理解から言語駆動型の推論と意思決定まで,電磁波分野における専門知識を大幅に向上させる可能性が示された。
LG-HCC:3Dガウススプラッティングのための局所形状を考慮した階層的文脈圧縮 [cs.ET, cs.CV, cs.AI]目的:3Dガウススプラッティングのコンパクトな表現
- 3Dガウススプラッティングは高品質なリアルタイムレンダリングを可能にするが,巨大なデータサイズが実用上の課題となっている。
- 既存の圧縮手法は文脈モデルに焦点を当てており,幾何学的な依存関係を考慮していないため,構造劣化が生じやすい。
- 幾何学的な相関関係を考慮し,アンカープルーニングとエントロピー符号化を改善することで,圧縮率と品質の両立を目指す。
- 提案手法LG-HCCは,近傍アンカーの形状情報を活用したアンカープルーニングにより,幾何学的な一貫性を保ちつつデータ量を削減する。
- 軽量な幾何学ガイド畳み込み(GG-Conv)を用いた階層的なエントロピー符号化により,空間適応的な文脈モデリングとレート歪み最適化を実現する。
- Mip-NeRF360データセットを用いた実験により,LG-HCCがScaffold-GSベースラインと比較して最大30.85倍の圧縮率を達成し,幾何学的な整合性とレンダリング品質を向上させることが示された。
HISA:ファインチューニングされた疎な注意のための効率的な階層的インデックス [cs.LG, cs.AI]目的:ファインチューニングされた疎な注意におけるインデックス効率の向上
- Transformerモデルの文脈長拡大が重要視される中,計算効率が課題となっている。
- 疎な注意メカニズムでは,インデクサーが文脈全体を走査する必要があり,ボトルネックとなりやすい。
- HISAは,階層的なインデックスを用いてインデクサーの計算量を削減し,高速化を目指す。
- HISAは,ブロックレベルでの粗いフィルタリングとトークンレベルでの微調整の二段階で検索経路を書き換える。
- ベンチマークテストの結果,HISAは64K文脈において大幅な高速化を達成した。
- DeepSeek-V3.2やGLM-5へのHISAの組み込みにより,DSAと同等の性能を維持しつつ,ブロック疎なベースラインよりも優位性を示した。
線形マルコフ決定過程に対するパラメータ化された方策を用いた楽観的アクター・クリティック法 [cs.LG, stat.ML]目的:線形マルコフ決定過程における楽観的アクター・クリティックフレームワークの提案
- 強化学習は,自律的な意思決定を行うシステム構築に不可欠であり,その理論的基盤の確立が重要である。
- 既存のアクター・クリティック法の理論的解析は,探索問題や計算コストの問題を抱えており,実用性に課題がある。
- 本研究は,実用的なアクター・クリティック法を理論的に解析し,サンプル複雑性を改善することを目指す。
- 有限地平線線形マルコフ決定過程に対し,パラメータ化された対数線形方策を用いる楽観的アクター・クリティック法を提案した。
- アクターには実行可能なlogit-matching回帰目的関数を導入し,クリティックにはLangevinモンテカルロによる近似トムソンサンプリングを用いた。
- 提案手法は,オンポリシー設定で$\widetilde{\mathcal{O}}(\epsilon^{-4})$,オフポリシー設定で$\widetilde{\mathcal{O}}(\epsilon^{-2})$のサンプル複雑度を達成し,既存研究と同等の性能を示す。
ARCS:トポロジーを意識したグラフ注意機構と仕様条件を用いた自己回帰回路合成 [eess.SY, cs.SY, cs.LG, cs.AR]目的:アナログ回路の自動生成
- 高性能なアナログ回路設計の自動化は,設計期間の短縮や設計者の負担軽減に不可欠である。
- 従来の探索的手法は計算コストが高く,設計に時間がかかるという課題があった。
- 本研究は,高速かつ高精度な回路生成手法を開発し,設計効率の向上を目指す。
- ARCSは,SPICEシミュレーション可能なアナログ回路を,従来の探索的手法に比べて大幅に高速に生成する。
- 99.9%のシミュレーション有効性を32のトポロジーで達成し,従来の遺伝的アルゴリズムと比較してSPICE評価回数を40分の1に削減した。
- トポロジーを意識したグラフTransformerを用いた単一モデル推論では,ランダム探索の600倍以上の速度で85%のシミュレーション有効性を実現した。
非線形偏微分方程式のためのLie生成ネットワーク [cs.LG, physics.flu-dyn]目的:非線形偏微分方程式のダイナミクスを線形な潜在空間に持ち上げ,Koopman生成子を学習すること
- 線形力学系は固有スペクトルで完全に特徴付けられるが,非線形システムには同様の理論が存在しない
- 非線形偏微分方程式のダイナミクスを解析的に理解し,予測することは困難である
- ダイナミクスの安定性を保証し,物理に基づいたモデルの転移を可能にすること
- Lie Generator Network-Koopman (LGN-KM)により,非線形ダイナミクスを安定的に学習することが可能となった
- 2次元Navier-Stokes乱流において,既知の減衰スケーリングと完全な分散関係が,物理的知識なしに回復された
- 学習された生成子は安定であり,長期的安定性と連続時間評価,物理情報に基づいたモデル転移を保証する
MemFactory:エージェントメモリのための統一推論・学習フレームワーク [cs.RO, eess.SY, cs.SY, math.OC, cs.CL, cs.AI]目的:メモリ拡張大規模言語モデルの学習・推論基盤の構築
- 長期的なAIエージェント開発にはメモリ機能が不可欠であり,その重要性は高まっている。
- 既存の実装は細分化され,タスク固有であるため,統合的なインフラが不足している。
- 本研究は,メモリ管理の最適化を容易にする,統一的でモジュール性の高いフレームワークを提供する。
- MemFactoryは,メモリライフサイクルをプラグアンドプレイ可能なコンポーネントとして抽象化することで,カスタムエージェントの構築を可能にする。
- GRPOを統合し,多次元環境報酬に基づいた内部メモリ管理ポリシーのファインチューニングを可能にする。
- MemAgentアーキテクチャを用いた実験で,ベースモデルに対して最大14.8%の性能向上が確認された。
AI科学論文向け自動手法イラスト生成:描画ミドルウェアの作成,進化,オーケストレーション [cs.GR, cs.AI]目的:AI科学論文における自動手法イラスト生成
- 科学論文において,手法イラストは内容理解を助ける重要な要素である。
- 手法イラストの作成は時間と労力を要する手作業に依存している。
- 高品質な手法イラストを自動的に生成する手法を開発し,作成の負担を軽減する。
- 提案手法FigAgentは,既存の手法イラストから描画経験を抽出し,再利用可能な描画ミドルウェアを生成する。
- ミドルウェアは,変化する描画要件に適応するように進化し,複雑な構造を持つイラストを段階的に構築する。
- 実験結果から,提案手法の有効性が確認された。
エージェント追跡分析のためのビュー指向会話コンパイラ [cs.AI]目的:エージェントの会話ログを構造化された形式に変換するコンパイラ
- エージェントシステムでは,会話ログの分析価値が向上しており,その重要性が増している。
- 従来の会話ログ形式では,複雑な構造を十分に表現できず,分析品質が低下する可能性がある。
- 複雑なエージェントの会話ログをより効率的に分析し,コンテキストエンジニアリングの性能を向上させる。
- VCCは,生のJSONLログを,完全ビュー,UIビュー,適応ビューという構造化された形式に変換する。
- AppWorldでの実験の結果,VCCによる入力形式の変更により,モデルの合格率が向上し,トークン消費量が削減された。
- メッセージ形式は,コンテキストエンジニアリングにおいて重要なインフラストラクチャとして機能することが示唆された。
深層学習における密度行列から相転移へ:スペクトルによる早期警告と解釈可能性 [cs.LG, cs.AI]目的:深層学習モデルの学習中の創発的機能の予測と理解
- AI研究において,モデルの学習過程における新たな能力の予測と解明は不可欠である。
- 学習中の相転移の検出が難しく,モデルの挙動を事前に予測することが困難である。
- 相転移の早期警告信号を提供し,モデルの学習過程を解釈可能な形で明らかにすること。
- 2点還元密度行列を用いることで,学習中の相転移を効率的に観測できることが示された。
- スペクトル熱容量が二次の相転移を事前に警告し,参加比が再編成の次元を明らかにする。
- 密度行列の主要な固有ベクトルは解釈可能であり,相転移の性質を容易に分析できる。
認知摩擦:道具使用エージェントにおける有界熟慮のための意思決定理論的枠組み [cs.AI]目的:道具使用エージェントにおける情報源の選択と熟慮の停止に関する意思決定
- ネットワーク環境における自律エージェントの効率的な行動決定が重要である
- 情報獲得コストの制約がない場合,過剰な道具使用や判断の遅延が生じやすい
- 認知摩擦の概念を用いて,これらの問題を形式化し,最適な行動決定を可能とする
- Triadic Cognitive Architecture(TCA)により,時間行動の迅速化とリソース効率の向上が確認された
- EMDG環境において,貪欲なベースラインと比較して36ポイントの生存可能性の向上を示した
- NSTG環境では,33ポイントの完全性の向上が確認され,選択と停止の同時最適化が不可欠であることが示された
スコアベース拡散モデルにおけるMCMC補正:モデル合成への応用 [stat.ML, cs.LG]目的:モデル合成におけるサンプリング品質向上
- 拡散モデルは生成モデリングにおいて重要な役割を果たし,多様な応用が期待されている。
- スコアベース拡散モデルは普及しているが,エネルギー関数が定義されず,MCMCを用いたサンプリングが困難である。
- スコア関数を用いてMCMCと同様の効果を得ることで,既存モデルの活用を可能にする。
- 提案手法は,エネルギーベースモデルと同程度の改善効果を,明示的なエネルギー関数を必要とせずに実現する。
- スコア関数の線積分に基づく新しいMH類似の受容規則を導入することで,スコアベース拡散モデルにMCMCを適用可能とした。
- 合成データおよび実データを用いた実験により,提案手法の有効性が確認された。
関数的要約に対するラプラス過程類似の純粋な差分プライバシー [stat.ML, cs.CR, cs.LG]目的:関数的要約に対する純粋な差分プライバシーの実現
- データ分析におけるプライバシー保護は,個人情報保護の観点から極めて重要である。
- 既存手法は有限次元空間への埋め込みに依存し,複雑な構造を持つ要約には不向きである。
- 無限次元ヒルベルト空間における純粋な差分プライバシーを実現し,既存手法の課題を克服する。
- 提案手法である独立成分ラプラス過程(ICLP)メカニズムは,関数的要約を真に無限次元の対象として扱う。
- 統計的推定問題において,非プライベートな要約のスムージングによりプライバシー保護された要約の有用性を高めることが示された。
- 合成データと実データを用いた数値実験により,提案メカニズムの有効性が確認された。
因果的k-meansクラスタリング [stat.ME, cs.LG, stat.ML]目的:異質的な治療効果を持つサブグループの特定と評価
- 因果推論において,集団全体の平均効果だけでは十分でない場合があるため。
- サブグループ構造が未知であるため,サブグループごとの効果を特定することが困難である。
- 未知のサブグループ構造を明らかにし,より精度の高い因果効果の推定を目指す。
- 提案手法「因果的k-meansクラスタリング」は,k-meansクラスタリングを活用し,未知のサブグループ構造を効率的に発見する。
- プラグイン推定子と,ノンパラメトリック効率理論に基づいたバイアス補正推定子を開発し,漸近的な性質を明らかにした。
- シミュレーションと慢性腰痛の自己管理支援に関する実証研究を通じて,提案手法の有効性を示した。
最適な近傍探索によるスケーラブルかつロバストな内在次元推定 [stat.ML, cs.LG, math.ST, stat.CO, stat.ME, stat.TH]目的:内在次元の推定
- 教師なし学習や特徴選択において,システム記述に必要な変数の下限を示す重要な概念である。
- 実際のデータセットでは,内在次元は分析スケールに依存する。スケールが小さすぎると測定誤差の影響を受け,大きすぎると多様体構造が影響を受ける。
- 適切なスケール範囲を自動的に選択し,意味のある有用な内在次元を推定することを目的とする。
- 提案手法は,データ密度が一定となる適切なスケールを自動的に選択する。
- 内在次元の推定と密度推定を自己整合的に行うことで,ノイズに対するロバスト性を実現する。
- 人工データおよび実データを用いたベンチマークテストにより,有効性と堅牢性が確認された。
時間的スナップショットからのドリフト,拡散,因果構造の特定 [stat.ML, cs.LG, math.ST, stat.TH]目的:確率的微分方程式のドリフトと拡散の同時同定
- 動的プロセスのモデリングにおいて,確率的微分方程式は不可欠なツールである。
- 個々の軌跡が観察できない場合,データから基礎となる確率的微分方程式を学習することは困難である。
- 時間的周辺分布のみからドリフトと拡散を特定し,因果グラフを復元することを目的とする。
- 線形ドリフトと加法的な拡散を仮定した場合,初期分布の特殊な対称性がない限り,識別可能であることが示された。
- 初期分布が対称性を持つ場合でも,ほとんどの場合,周辺分布からドリフトと拡散を復元できる。
- 加法的な拡散を持つ確率的微分方程式の因果グラフは,特定されたパラメータから復元可能である。
トラスト領域確率的逐次二次計画法の高確率複雑度限界:重い尾を持つノイズに対する考察 [math.CO, cs.DM, cond-mat.dis-nn, cs.CC, math-ph, math.MP, math.PR, math.OC, cs.CC, cs.LG, cs.NA, math.NA, stat.ML]目的:確率的制約条件を持つ非線形最適化問題に対する,高確率な反復計算複雑度限界の導出
- 機械学習等の分野において,大規模な非線形最適化問題は不可欠であり,効率的な解法が求められている。
- 従来の確率的最適化手法は,ノイズの分布に依存し,特に重い尾を持つノイズに対する解析が不足していた。
- 本研究では,重い尾を持つノイズ下における確率的逐次二次計画法の性能を解析し,実用的な解法を提示することを目指す。
- 提案手法は,重い尾を持つノイズ環境下でも,既存手法と同程度の反復回数で一次収束を達成する。
- さらに,二次収束についても有望な結果を示し,理論的な性能を検証した。
- CUTEstベンチマークテストセットを用いた実験により,提案手法の実用性も確認された。
反応ネットワークを用いたサポートベクターマシン実装 [q-bio.MN, cs.NE]目的:サポートベクターマシンの化学的実現
- 機械学習は,データ分析やパターン認識において不可欠な技術である。
- 従来の計算機環境に依存する機械学習の適用範囲に限界がある。
- 非伝統的な計算環境における機械学習の実装可能性を探求する。
- サポートベクターマシンを化学反応ネットワークとして実装する手法を提案した。
- 反応ネットワークの定常状態を利用し,SVMの主要な計算要素をモデル化した。
- このアプローチは,機械学習アルゴリズムを新しい生化学的フレームワークで実現する。
放物型モンジュ・アンペールPDEによる後悔のない生成モデリング [stat.ML, cs.LG, math.OC, math.ST, stat.TH]目的:生成モデリングの新たな枠組み
- 最適輸送理論は,確率分布間の距離を測る上で重要な役割を果たす。
- 既存の生成モデルは,複雑な分布や非対数凹分布に対して性能が十分でない場合がある。
- 本研究は,後悔分析に基づく理論的保証を持つ生成モデリング手法を開発する。
- 提案手法は,Sinkhornアルゴリズムの連続極限として現れる放物型モンジュ・アンペールPDEに基づいている。
- 反復的なBrenier写像の改良により,様々なステップサイズスケジュール下で最適なBrenier写像への収束が理論的に保証される。
- 本研究は,生成モデリングと変分推論の新たな道を開き,GANや拡散モデルとの統合も可能にする。
確率的最適制御による適応的拡散ガイダンス [stat.ML, cs.LG]目的:拡散モデルにおけるガイダンススケジューリングの最適化
- 拡散モデルは,条件付き生成や無条件サンプルの品質向上に不可欠であり,応用範囲が広い。
- 現在のガイダンススケジューリングは経験則に頼る部分が多く,理論的根拠が乏しい。
- ガイダンスの強さを動的に調整し,より効果的なガイダンス手法を確立することを目指す。
- ガイダンスの強度と識別器の信頼度の関係を理論的に明確に表現することに成功した。
- 確率的最適制御の枠組みを導入し,ガイダンススケジューリングを適応的な最適化問題として定式化した。
- 時間,現在のサンプル,条件付けクラスに基づいてガイダンス強度を動的に選択する手法を確立した。
カーネル化されたスタイン不一致に基づく不均一ランダムグラフモデルの純粋仮説検定 [stat.ML, cs.LG, math.ST, stat.TH]目的:不均一ランダムグラフモデルに対する仮説検定手法
- 複雑なデータはグラフとして表現され,その解析は重要である。
- 高次元データにおける適合度検定は一般的に困難である。
- 単一のネットワーク観測から検証可能な検定手法を開発する。
- 本研究では,カーネル化されたスタイン不一致(KSD)を用いた不均一ランダムグラフモデルに対する新たな仮説検定を提案した。
- 提案手法は,ネットワークの規模に関わらず適用可能であり,特に小規模ネットワークにおいて有用である。
- 理論的な保証も提供されており,その信頼性が示唆される。
CayleyPy Growth: カイレーグラフの効率的な成長計算と数百の新たな予想 (概要版) [math.CO, cs.LG, hep-th, math.GR]目的:カイレーグラフおよびシュライアーグラフにおける直径と成長に関する新たな予想の導出
- 群論は数学や物理学の様々な分野で基本的な役割を担い,その構造解析は重要である。
- カイレーグラフの直径や成長の計算は計算量が多く,大規模グラフの解析が困難である。
- 効率的な計算手法を開発し,カイレーグラフの構造に関する新たな知見を得ることを目指す。
- CayleyPyというPythonライブラリを公開し,既存のシステムと比較して,より大規模なグラフを高速に処理できるようになった。
- 対称群Snのカイレーグラフにおいて,直径に関して準多項式的な公式が観察され,一般的な現象であるという予想が立てられた。
- いくつかの予想はLLMで扱いやすく,アルゴリズムやPythonコードで検証可能な形で提示された。
遺伝子擾乱予測における適応的データ・知識整合 [q-bio.MN, cs.AI, cs.LG]目的:遺伝子擾乱応答の予測におけるデータと知識の整合性向上
- 細胞システムの複雑性を理解する上で,遺伝子擾乱応答は重要な情報を提供する。
- 既存の手法では生物学的解釈が難しく,知識の体系的な洗練が困難である。
- データと知識間の不整合を克服し,透明性と進化性を備えたメカニズム理解を目指す。
- 提案手法ALIGNEDは,データと知識の一貫性を評価するバランスの取れた指標において,最先端手法を上回る性能を示した。
- ALIGNEDは,生物学的に意味のある知識を再発見し,予測の透明性を高めることに貢献する。
- 本研究は,メカニズム的生物学的理解の深化と進化を可能にする新たな道を開く。
正則化の観点から見た合成データ [stat.ML, cs.LG]目的:実データ不足時の汎化性能向上
- データ駆動型機械学習において,大規模で高品質なデータセットが不可欠である。
- 実データだけでは学習が困難な場合があり,合成データの活用が模索されている。
- 実データと合成データの最適な比率を理論的に決定し,汎化性能を最大化すること。
- 合成データと実データの分布間のWasserstein距離と,期待テスト誤差の関係を理論的に解析した。
- 最適な合成データ比率は存在し,合成データ比率とテスト誤差の関係はU字型になることが示された。
- CIFAR-10と脳MRIデータセットで実験的に検証され,理論予測の妥当性が確認された。
条件付きフローマッチングによるベイズ事後推論 [stat.ML, cs.LG]目的:ベイズ事後分布の生成サンプリング手法
- ベイズ推論は不確実性の定量化に重要であり,様々な分野で活用されている。
- 事後分布の計算は困難であり,特に高次元問題では計算コストが課題となる。
- 尤度評価を必要とせず,効率的な事後分布サンプリングを実現する。
- フローマッチングを用いて,データとパラメータの結合空間でブロック三角の速度場を学習する。
- この速度場を時間積分することで,事前分布から事後分布への決定論的な輸送写像を得る。
- 提案手法はGANや拡散モデルと比較して計算コストが低く,複雑な事後分布構造を捉えることができる。
多重ストリーム変分オートエンコーダにおけるソースの分離 [stat.ML, cs.LG]目的:ソースの分離
- データから意味のある表現を学習することは,機械学習の重要な課題である。
- 従来の変分オートエンコーダでは,潜在空間の解釈が難しく,ソースの分離が困難である。
- 離散的および連続的な潜在変数を組み合わせることで,ソースの分離を容易にすることを目指す。
- 提案手法である多重ストリーム変分オートエンコーダ(MS-VAE)は,離散潜在変数と連続潜在変数を組み合わせることで,ソースの分離を実現した。
- MNISTの手書き数字の重ね合わせや,2人の会話から話者分離の実験において,ソースの分離性能が確認された。
- 特に複雑な数字の重ね合わせや,話者帰属の精度において,競争力のある性能を示した。
BIOGEN:抗菌薬耐性におけるトランスクリプトーム解釈のためのエビデンスに基づいたマルチエージェント推論フレームワーク [q-bio.QM, cs.AI, cs.LG]目的:抗菌薬耐性研究におけるトランスクリプトームモジュールの解釈
- 機能ゲノム学は,生物学的プロセスを理解する上で不可欠であり,特に抗菌薬耐性メカニズムの解明は公衆衛生上の重要な課題である。
- 従来のパスウェイエンリッチメント法では,限定的なカバレッジしか提供できず,一次文献に基づいたクラスタ固有のメカニズム説明が得られない場合がある。
- BIOGENは,RNA-seqデータの解釈において,エビデンスに基づいたより詳細なメカニズム説明を提供し,仮説生成を支援することを目指す。
- BIOGENは,PubMedおよびUniProtからの知識を統合し,追跡可能なクラスタレベルの説明とエビデンス報告,信頼性評価を提供する。
- Salmonella entericaデータセットにおいて,高いエビデンスの基盤性と生物学的整合性が確認された(BERTScore 0.689,RAGAS Faithfulness 0.930など)。
- BIOGENは,他の細菌RNA-seqデータセットでも幻覚率0%を維持し,KEGG/ORAベースのエンリッチメントよりも広範なテーマを網羅した。
生成モデル出力の(不)正当性評価のためのEスコア [stat.ML, cs.AI, cs.LG]目的:生成モデル出力の(不)正当性を評価するEスコアの提案
- 生成モデル,特に大規模言語モデルは広く利用されているが,その正当性を評価する手法は十分ではない。
- 既存手法はp値に基づくため,事後的な許容水準の選択により保証が無効になる可能性がある。
- Eスコアを活用し,事後的な許容水準の選択を可能にしつつ,誤りの上限を保証する。
- Eスコアは,従来の保証を維持しながら,データ依存的な許容水準の選択を可能にする。
- Eスコアは,許容水準の選択後の誤り(サイズ歪み)の上限を定める。
- 数学的事実の正確性や特性制約の充足に関して,Eスコアの有効性が実験的に示された。
タクソノミー制約階層ベイズTSBモデル:異質断続需要予測への応用 [stat.ML, cs.LG]目的:異質断続需要予測のためのタクソノミー制約階層ベイズTSBモデル
- 需要予測はサプライチェーン最適化の中核であり,在庫管理や生産計画に不可欠である。
- 断続需要は観測データが少なく,新規商品や廃止商品の予測が困難である。
- 本研究は,古典的なTSB法の弱点を克服し,より正確な断続需要予測を目指す。
- 提案手法TSB-HBは,UCI Online Retailデータセットにおいて,RMSEとRMSSEが既存手法中最下値を達成した。
- M5サンプルデータセットにおいても,MAEとRMSEが古典的な断続需要予測手法を上回る改善が見られた。
- 確率的設定により,TSB-HBはピンボール損失においても競争力があり,シャープネスとキャリブレーションのトレードオフも良好であった。
ボルツマン生成器による溶媒和自由エネルギー推定 [cond-mat.stat-mech, cs.LG, physics.comp-ph]目的:溶媒和自由エネルギーの推定
- 分子シミュレーションにおいて,溶媒和自由エネルギーの正確な計算は不可欠である。
- 従来法では,十分な相空間の重複を確保するため,膨大なサンプリングと多数の中間状態が必要となる。
- 相空間の重複を改善し,効率的な自由エネルギー推定を実現すること。
- normalizing flowsを用いた手法は,従来の推定方法と比較して同程度の精度を示した。
- 特に,ソルベントの成長やソルベント間の距離増加など,困難な変換に対して有効である。
- 生成された溶媒配置は物理的に意味のある再配置を示し,配置空間における状態間の相空間の重複を大幅に向上させた。
整数計画法による正確なグラフ学習 [stat.ME, cs.LG]目的:複雑なシステムにおける変数間の依存構造の学習
- 医療,自然科学,社会科学など,複雑なシステムの理解に不可欠な依存構造の明確化。
- 既存手法は仮定への依存度が高く,最適解の保証がない,あるいは貪欲法に頼る点が課題。
- 条件付き独立性検定と整数計画法に基づき,グローバルに最適なグラフ学習を実現する。
- 本手法は,混合整数計画問題としてグラフ学習問題を定式化し,その最適解が元の問題を解決することを示した。
- グラフ分離基準の効率的な符号化により,従来よりも大規模なグラフの正確な復元が可能となった。
- シミュレーションデータとベンチマークデータにおいて,既存手法を凌駕する性能と高速性を確認した。
AIエージェントは既に実験高エネルギー物理学を自律的に実行できる [physics.soc-ph, cs.CY, hep-ex, cs.AI, cs.LG]目的:実験高エネルギー物理学における分析パイプラインの自律的な実行
- 高エネルギー物理学は,宇宙の根源的な構成要素と相互作用を解明する上で不可欠である。
- データ解析には膨大な労力と専門知識が必要であり,研究のボトルネックとなっている。
- AIを活用し,データ解析の自動化と効率化を図ることで研究加速を目指す。
- 大規模言語モデルベースのAIエージェントが,実験高エネルギー物理学の分析パイプラインを自律的に実行可能であることを示した。
- 従来のAIワークフローよりも広範囲な分析に対応できる,文脈提供型フレームワーク「JFC」を開発した。
- AIツールは,物理学者を代替するのではなく,分析作業の負担を軽減し,より高度な研究に集中できる環境を提供する。
