arXiv雑要約
AI - 2026/06/03 公開
変動締切を持つ動的クラウドワークフローの専門家混合による効率的なスケジューリング [cs.DC, cs.AI]目的:クラウド環境における動的ワークフローの効率的なスケジューリング手法
- クラウドコンピューティングの普及に伴い,ワークフローの効率的な管理が重要になっている。
- 既存の深層強化学習スケジューラは,多様なシナリオに対応できないという課題がある。
- 締切の厳しさに応じた専門家混合モデルにより,様々なワークフローに対応する。
- 提案手法DEFTは,締切の厳しさレベルに応じて異なる専門家を動的に選択する。
- グラフ適応型ゲーティング機構により,ワークフローの状態と仮想マシンの状況を考慮した専門家の活性化を実現。
- 実験結果から,DEFTは実行コストと締切違反を大幅に削減し,既存手法を凌駕することが示された。
Transformerにおける局所比較学習を通じた創発的な順序幾何学 [cs.RO, cs.AI]目的:推移的推論における順序幾何学の創発
- 推移的推論は,認知科学における基本的な問題であり,人間の思考の根幹をなす能力である。
- 従来のモデルでは,推移的推論のメカニズムが明確に解明されておらず,人間の認知との乖離が見られる。
- Transformerモデルが,局所比較学習を通して,推移的推論における順序幾何学を獲得できるか検証する。
- Transformerモデルは,隠れた全順序から学習することで,未知の遠隔ペアへの外挿的汎化能力を獲得する。
- エンティティ埋め込みは,隠れた順位をほぼ完璧に再現する一次軸を持つ一次元多様体上に崩壊し,幾何学的な再編成が確認された。
- 決定の確信度と幾何学的な分離は,順位距離とともに単調にスケールし,人間の行動実験で観察される象徴的距離効果を再現する。
決定木におけるカタラン指数事前分布を用いたベイズモデル平均のサンプル複雑性と決定理論的保証 [cs.LG, stat.ML]目的:決定木におけるベイズモデル平均の重みの情報量
- ベイズ推論は不確実性を考慮した合理的な意思決定に不可欠である。
- ベイズモデル平均では,モデル選択の閾値が不明確な場合がある。
- ベイズモデル平均の重みが十分な情報を含むかどうかの判断基準を確立する。
- 決定木とカタラン指数事前分布を用いることで,非漸近的な理論的保証が確立された。
- ベイズ決定木において,合理的なコミットメント閾値が明確に定義できることが示された。
位置エンコーディングの役割の再考:PEなしのスライディングウィンドウTransformerはチューリング完全性を維持する [cs.LG, cs.CC]目的:Transformerにおける位置エンコーディングの必要性に関する研究
- Transformerは自然言語処理において重要な役割を果たしており,その性能向上は不可欠である。
- Transformerが順序付きシーケンスを処理する上で,位置エンコーディングが不可欠であると考えられてきた。
- 位置エンコーディングが不要でも,Transformerがチューリング完全性を維持できることを示す。
- スライディングウィンドウ機構自体が,ある程度の順列対称性を打ち破るという知見が得られた。
- HISTモデルと呼ばれる抽象的な自己回帰モデルがチューリング完全であることが証明された。
- 位置エンコーディングを用いないスライディングウィンドウTransformerが,HISTモデルをシミュレート可能であることが示された。
EvoBrain:異種BCIタスク間における脳波基礎モデルの継続学習 [cs.CL, cs.AI]目的:異種脳波タスクに対する脳波基礎モデルの継続学習手法
- 非侵襲型脳コンピュータインターフェースの根幹であり,多様な応用が期待される分野である。
- 従来の脳波解析はタスク固有であり,汎用性や拡張性に課題があった。
- 異種タスク間での知識転移を促進し,スケーラブルな脳波解析を実現すること。
- EvoBrainは,Neuro-Spectral Task NormalizationとResponse-Affinity Distillationにより,plasticity-stability trade-offを解決する。
- 6種類の異なるBCIタスクにおいて,既存手法を上回る性能を達成し,汎用性と安定性を両立した。
- 脳波分野における異種タスク間の継続学習を初めて実現し,汎用的な脳波解析システムの構築に貢献する。
MOSS-Audio 技術報告 [cs.SD, cs.AI]目的:音声,環境音,音楽の理解
- 音声と言語の理解は,人間と機械の自然なコミュニケーションを実現する上で不可欠である。
- 既存モデルでは,音声の多様性に対応し,時間的な情報を正確に処理することが課題であった。
- 多様な音声データに対する理解能力向上と,時間軸に沿った正確な処理を目指す。
- MOSS-Audioは,音声,環境音,音楽を統合的に理解するモデルであり,多様なタスクに対応可能である。
- DeepStackによる特徴量注入と時間マーカーの導入により,音声情報の活用と時間的精度が向上した。
- 大規模な音声言語データを用いた事前学習と,多段階のポストトレーニングにより,高性能を実現した。
ContinuousBench:差分プライバシーを考慮した合成テキストは能力を向上させられるか [cs.LG, cs.CL, cs.CR]目的:差分プライバシーを考慮した合成テキストによる能力向上
- 機密性の高いデータセットを安全に活用し,モデルの学習を可能にする重要性
- 既存の評価指標では,合成データが真に新しい知識を伝達しているかの判断が困難である
- オリジナルデータへのアクセスに代わる,合成データを用いた能力向上を検証すること
- ContinuousBenchは,四半期ごとに新しいデータセットと質問応答セットを自動生成する継続的なベンチマークである。
- 非プライベート合成による知識伝達は大きい一方,最先端の差分プライバシー合成手法では十分な性能が得られていないことが示された。
- 標準的なベンチマークでは飽和状態にあるが,ContinuousBenchを用いることでその限界が明らかになった。
コミュニティを考慮したソーシャルテキストの関与と共鳴の評価:ユーザー生成コンテンツ評価における人間中心の視点 [cs.RO, cs.AI]目的:ユーザー生成コンテンツのコミュニティにおける共鳴度評価
- ユーザー生成コンテンツの重要性が増す中で,その質評価基準は多様化している。
- 従来の評価は視覚的な品質に偏り,社会的要素や共鳴度を考慮していない。
- マルチモーダルな情報を活用し,コミュニティ全体の反応をシミュレートする評価手法を開発する。
- CASTERタスクとMEDEAアーキテクチャを提案し,ユーザー生成コンテンツのコミュニティ共鳴度を評価する新しいパラダイムを提示した。
- MEDEAはSocial-CoTメカニズムを用いて,多様な視聴者の視点を考慮した評価を実現し,人間の社会的認知を反映した推論経路を生成する。
- 実験により,MEDEAが既存の最先端モデルを上回り,コミュニティからのフィードバックと整合性の高い解釈可能な結果が得られた。
KliniskVestBERT:ノルウェー語臨床テキストに特化したBERTモデル [cs.CL, cs.AI]目的:ノルウェー語臨床テキストに特化したBERTモデルの構築
- 医療分野における自然言語処理の応用拡大に伴い,専門的な言語モデルの重要性が増している。
- 既存の言語モデルは,臨床言語の複雑さに対応できず,十分な性能を発揮できない場合がある。
- ノルウェー語臨床テキストに特化した言語モデルを開発し,医療分野における自然言語処理の精度向上を目指す。
- KliniskVestBERTは,既存の言語モデルをノルウェー語の臨床データセットで追加学習させることで構築された。
- 合成データセットと実際の臨床問題に対する評価の結果,KliniskVestBERTは既存モデルを上回る性能を示した。
- この結果は,医療分野における自然言語処理タスクにおいて,ドメイン特化型事前学習の有効性を示唆している。
深層研究エージェントはどこで間違えるか:エージェントの行動経路における範囲レベルのエラー特定 [cs.AI]目的:深層研究エージェントの行動経路におけるエラー範囲の特定
- 複雑なタスク解決において,エージェントの信頼性確保が重要となるため。
- 最終的な回答のみでは,エージェントの信頼性を損なう原因箇所が不明である。
- 行動経路中のエラー範囲を特定し,エージェントの信頼性向上を目指す。
- 本研究では,2790件の実際の行動経路を分析し,TELBenchというエラー範囲特定ベンチマークを構築した。
- さらに,エージェントの主張と証拠を照合するDRIFTという監査フレームワークを提案した。
- 実験の結果,DRIFTはエラー範囲特定と初回エラーの正確性を最大30%向上させた。
エージェント型強化学習における行動しないタイミングの学習:ツール濫用の緩和 [cs.CL, cs.AI]目的:ツール濫用緩和のための効率的なエージェント型ポリシー最適化フレームワーク
- 大規模言語モデルの能力を拡張するツール利用は,複雑な問題解決に不可欠である。
- エージェント型強化学習では,モデルが内部推論で解決可能なクエリに対しても外部ツールを過剰に使用するツール濫用が問題となる。
- ツール利用の頻度を抑制しつつ,有用なツール支援探索を損なわない,選択的なツール利用学習を目指す。
- EAPOは,ツールを使用しない軌跡を導入し,難易度に応じた報酬形成と信頼度に応じたトークン再重み付けを行うことで,効率的なツール利用を学習する。
- 9つの数学・知識集約型推論ベンチマークにおいて,EAPOはQwen2.5-3B,Qwen2.5-7B,Llama3.1-8Bで精度と効率性のトレードオフを改善した。
- GRPOと比較して,EAPOは平均性能を10.45%,7.27%,9.69%向上させ,平均ツール利用回数を18.33%,18.33%,24.59%削減した。
AgentRedBench:SaaS連携におけるLLMエージェントに対する動的レッドチームと統合対応型防御 [cs.CR, cs.AI, cs.CL, cs.ET]目的:LLMエージェントにおけるSaaS連携経由のインダイレクトプロンプトインジェクション攻撃の評価と防御
- LLMエージェントの利用拡大に伴い,SaaS連携のセキュリティリスクが重要になっている。
- 既存の評価指標は,連携の種類や攻撃手法が限定的であり,実環境の脅威を十分に捉えられていない。
- 多様なSaaS連携における脆弱性を評価し,効果的な防御策を開発することを目指す。
- AgentRedBenchは,24のエンタープライズ連携を対象とした,動的なLLM駆動型レッドチームベンチマークである。
- 保護モデルAGENTREDGUARDは,パネル全体の攻撃成功率を69.9%から2.4%に大幅に削減し,既存のオープンソースベースラインを上回った。
- 異なる連携や攻撃タイプに対する検証により,AGENTREDGUARDの汎用性が確認された。
注意を忘却せよ:重要度を意識した注意が全てである [cs.AI, cs.CL, cs.LG]目的:ハイブリッド言語モデルにおける注意機構の改善
- 言語モデリングは自然言語処理の基盤であり,高性能なモデルの実現が求められている。
- Transformerは広範な情報を捉えるが優先順位付けが苦手,SSMは重要度を認識するが再訪問ができないという課題がある。
- SSM由来の重要度を注意スコアに直接組み込み,TransformerとSSMの利点を統合すること。
- SISAはLAMBADA-greedyで17.3%の性能を示し,Transformer (13.9%)やMamba-3 (15.5%)を上回る結果を得た。
- NIAHではステップ1Kから100%の精度を達成し,Transformerよりも7倍速く収束した。
- SISAはスコアレベルでの融合という新たな設計軸を提示し,ブロックレベルやヘッドレベルのパラダイムを超える可能性を示した。
PEFTのスケーリング:兆パラメータモデルにおける百万のパーソナルモデルへ [cs.LG, cs.CL]目的:強固な基盤モデル上に,インスタンス固有の行動を担う小規模な学習可能なアダプターを,持続的なローカル状態として捉えること
- 大規模言語モデルの活用が広がる中で,効率的なカスタマイズ手法の確立が重要である。
- 従来のファインチューニングは計算コストが高く,リソースに制約がある環境での利用が難しい。
- PEFTを用いて,パーソナルモデルを効率的に構築し,維持するための基盤を確立すること。
- PEFTは,単なるファインチューニングの代替手段ではなく,持続的なパーソナルモデルのためのコンパクトな基盤となりうる。
- 共有される基盤モデルの性能向上により,小規模なローカル更新がより有効になることが示された。
- MinTは,アダプターの管理,評価,提供のためのインフラストラクチャの一例を提供する。
AgentCL:言語エージェントにおける継続学習の厳密な評価に向けて [cs.AI, cs.CL]目的:言語エージェントにおける継続学習の評価フレームワーク
- 言語エージェントはタスク解決に時間を要し,過去の経験の活用が課題である。
- 既存の評価基準は,言語エージェントにおける継続学習を厳密に評価できていない。
- 制御されたタスクストリームと転移学習の指標を用いて,評価の改善を目指す。
- AgentCLは,過去の解決策が再利用可能なタスクストリームを構築し,単純なストリームと比較することで,エージェントの学習能力を評価する。
- MemProbeという探索手法を開発し,メモリ設計の選択が継続学習に与える影響を診断した。
- 単純なストリームではメモリ設計の違いが不明瞭だが,制御されたストリームでは可塑性が明確に区別されることが示された。
ワンステップ生成モデルにおけるドリフト最適化 [cs.LG, cs.CV]目的:ワンステップ生成モデルの嗜好性最適化
- 画像生成モデルは,その高品質さから様々な応用が期待されている重要な分野である。
- ワンステップ生成モデルの嗜好性調整は難しく,既存手法は複雑な計算を必要とする。
- 本研究は,効率的かつシンプルな嗜好性調整手法を開発し,計算コストを削減することを目指す。
- 提案手法DrPOは,報酬勾配を必要とせず,単一の生成器呼び出しで推論が可能である。
- SD-TurboおよびSDXL-Turboを用いた評価により,DrPOが既存手法を上回る性能を示すことが確認された。
- HPSv3の学習計算量を最大3.51倍削減し,効率的な学習を可能にすることが示された。
トレース境界付きSDPに対する劣最適性限界が,より高速でスケーラブルな低ランクSDPソルバーSDPLR+を可能にする [math.PR, cs.DC, math.CO, cs.DM, math.OC, cs.LG, cs.NA, math.NA]目的:トレース境界付きSDP問題に対する劣最適性限界の導出と,それを用いた高速かつスケーラブルな低ランクSDPソルバーSDPLR+の開発
- 半正定値計画法は機械学習やデータ科学で広く利用されているが,大規模問題への対応が課題である。
- 従来のSDPソルバーは,疎な入力データに対しても,正定値行列を密に扱うため,メモリ使用量が多い。
- 低ランク近似を用いることでメモリ使用量を削減し,より大規模な問題に対応するSDPソルバーを開発する。
- 劣最適性限界を用いることで,最適化の進捗をより正確に評価し,早期終了が可能になった。
- SDPLR+は,極めて低ランクな因子分解から開始し,反復ごとにランクを動的に更新することで,計算速度とメモリ効率を向上させた。
- 大規模なMax Cut,Minimum Bisectionなどの問題において,既存のメモリ効率の良いSDPソルバーと比較して,高いスケーラビリティと計算速度を示した。
Motsch-Tadmorモデルにおける相互作用カーネル推定のためのスパースベイズ学習アルゴリズム [stat.ML, cs.LG, math.DS]目的:Motsch-Tadmorモデルにおける相互作用カーネルのデータ駆動型同定
- 集団ダイナミクスを記述する上で,状態に依存した相互作用カーネルの正確なモデリングは不可欠である。
- 観測データのみから相互作用カーネルを特定することは,非線形逆問題であり困難を伴う。
- 観測データから,ロバストかつ高精度に相互作用カーネルを推定し,モデルの不確実性を定量化すること。
- 提案手法は,支配方程式の暗黙的な形式を用いることで,カーネル同定を部分空間識別問題に変換する。
- 相互作用カーネルがスケールまで一意に回復できる条件を示す同定可能性の結果を確立した。
- スパースベイズ学習アルゴリズムにより,様々なノイズレベルおよびデータ条件下で,高い精度と解釈性が確認された。
未知の妨害下における電力効率を考慮した認知レーダによる多目標追跡 [eess.SP, cs.LG]目的:多目標追跡における認知レーダシステムの性能向上
- 航空交通管制や防空において,複数の目標を正確に追跡することは極めて重要である。
- 従来のレーダでは,信号対雑音比が低い目標の検出や追跡が困難であるという課題がある。
- 本研究は,低い信号対雑音比の目標に対する検出確率を向上させ,追跡精度を高めることを目指す。
- 提案するPOMCP法は,低い信号対雑音比の目標に対する検出確率を0.6からほぼ0.9に向上させることを確認した。
- 適応波形設計により,弱い目標に対する追跡精度が,固定波形や認知型均一電力POMCPと比較して向上した。
- 各目標に独立したPOMCPツリーを割り当てることで,効率的な目標状態予測を実現している。
MIMO-OFDMチャネル生成における非同一拡散モデル [eess.SP, cs.AI, cs.LG]目的:無線OFDMチャネル生成への非同一拡散モデルの適用
- 無線通信システムにおけるチャネルモデルの精度向上は,通信品質向上の鍵となる。
- 従来のチャネルモデルは,チャネル要素の信頼性のばらつきを捉えきれない場合がある。
- パイロット信号に基づく初期推定の信頼性ばらつきに対応したチャネル生成を目指す。
- 本研究では,要素ごとに異なる時間指標を用いる非同一拡散モデルを提案した。
- このモデルは,チャネル要素の信頼性を考慮し,初期推定が偏っていても高精度な生成を可能にする。
- 理論的・数値的検証により,提案手法の有効性が確認された。
分散型確率的非凸最適化における$(L_0,L_1)$-滑らかさ [math.CO, cs.DM, math.OC, cs.LG]目的:分散型ネットワークにおける確率的非凸最適化問題の定常点探索
- 機械学習等で利用される最適化問題であり,大規模データへの対応が求められる。
- エージェント間通信コストが高く,効率的な分散アルゴリズムの設計が課題である。
- $(L_0,L_1)$-滑らかさ条件下の分散型アルゴリズムの性能向上を目指す。
- 提案手法である分散型正規化確率的勾配降下法(DNSGD)が,各エージェントにおいて$\epsilon$-定常点に到達することを示す。
- サンプル計算量は${\mathcal O}(m^{-1}(L_f\sigma^2\Delta_f\epsilon^{-4} + \sigma^2\epsilon^{-2} + L_f^{-2}L_1^3\sigma^2\Delta_f\epsilon^{-1} + L_f^{-2}L_1^2\sigma^2))$,通信量は$\tilde{\mathcal O}((L_f\epsilon^{-2} + L_1\epsilon^{-1})\gamma^{-1/2}\Delta_f)$である。
- 特別な場合($L_1=0$)では,既存の分散型確率的非凸最適化手法の理論的限界にほぼ一致する。
DeMuon:グラフ上での行列最適化のための分散型Muon [math.OC, cs.AI, cs.LG, cs.MA, cs.SY, eess.SY]目的:グラフ上での分散型行列最適化手法
- 近年,大規模データセットと複雑なモデルを扱うため,分散型最適化の重要性が高まっている。
- 既存の分散型最適化アルゴリズムは,異質性への対処や理論的な収束保証が不十分な場合がある。
- 本研究は,分散環境における行列最適化の効率と理論的保証を向上させることを目指す。
- 提案手法DeMuonは,ニュートン・シュルツ反復による行列直交化と,勾配追跡法により,異質性を軽減する。
- 重い裾を持つノイズ条件下で,DeMuonの反復計算量は,中心化アルゴリズムと同等の理論的保証を持つ。
- 実験結果は,DeMuonが様々なネットワークトポロジにおいて,他の分散型アルゴリズムよりも優れていることを示唆している。
生成AIと営業生産性:オンライン小売におけるフィールド実験 [econ.GN, cs.AI, q-fin.EC]目的:生成AIがオンライン小売における営業生産性に与える影響の定量化
- オンライン小売は経済成長の重要な推進力であり,競争力強化が不可欠である。
- 営業効率の改善は収益増加に直結するが,その方法は依然として模索段階にある。
- 生成AIの導入が営業生産性を向上させる可能性を実証し,その効果を評価する。
- 生成AIの導入は,顧客サービス,商品マッチング,広告,販売者サービスなど,多くのワークフローで売上増加に寄与した。
- 売上増加率は最大で16.3%に達し,年間で500万ドルの付加価値を生み出すことが示唆された。
- この効果は主にコンバージョン率の向上に起因し,顧客体験の改善に貢献していると考えられる。
データ適応型ノイズ:1次元プロセスからの生成フロー [stat.ML, cs.LG, math.AP]目的:データ適応型事前分布の学習
- 生成モデルの性能は,潜在変数の分布に大きく依存する。
- 従来のガウス分布は,裾が重い分布の学習には不向きである。
- 1次元分位関数を用いて,データに適応する事前分布を学習する。
- 提案手法は,裾が重い分布やコンパクトサポートを持つ分布に柔軟に対応可能である。
- ノイズとデータの間のWasserstein距離を最適化することで,輸送経路を短縮する。
- 気象データや画像データに対する実験で,その有効性と計算効率が確認された。
文脈を考慮した確証的予測による再生可能エネルギー予測の向上 [stat.AP, cs.LG]目的:再生可能エネルギー予測の信頼性向上
- 再生可能エネルギーの導入拡大に伴い,不確実性を管理し,リスクを考慮した運用判断を支援するため,信頼性の高い確率予測が不可欠である。
- 既存の予測は,時間的変動,気象条件の変化,異質な運用体制により,しばしば誤った校正に苦しむ。
- 外部ソースからの予測に対する,モデルアクセスや計算資源の制約下における,効率的かつモデルに依存しない信頼性向上手法を提供する。
- 提案手法CACPは,ターゲットとなる予測条件により類似する過去の観測に高い重みを割り当てることで,予測区間の信頼性と効率性を向上させる。
- NRELの太陽光発電予測データセットを用いた実験により,CACPはNRELのベースラインモデルや他の確証的予測と比較して,サイトレベルおよびシステムレベルで信頼性-効率性のトレードオフを改善することが示された。
- これらの結果は,CACPが信頼性の高いAIを活用した再生可能エネルギー予測および運用意思決定支援のための,実用的な信頼性向上層として機能することを示唆している。
最も影響力の強い集合の検証 [stat.ML, cs.LG, econ.EM, math.ST, stat.ME, stat.TH]目的:モデル結論に劇的な影響を与えるデータサブセットの評価
- データ分析におけるモデルの頑健性を保証することは重要である。
- 少数のデータポイントが主要な知見を覆す可能性がある。
- 影響力の過大さを統計的に検証する方法の確立。
- 線形最小二乗法において,影響力の正確な計算式を導出した。
- 定型集合と重い尾を持つデータではFr\'echet分布,成長集合や軽い尾を持つデータではGumbel分布が適用されることが示された。
- 経済学,生物学,機械学習のベンチマークにおいて,仮説検定による厳密な推論が可能になった。
潜在拡散モデルによるスケーラブルな単一細胞遺伝子発現生成 [stat.ML, cs.LG, q-bio.GN]目的:単一細胞遺伝子発現データの生成
- 細胞プロセス理解には不可欠であり,疾患メカニズム解明への応用が期待される。
- 遺伝子発現データの性質と複雑な遺伝子間依存関係から,リアルなプロファイル生成が困難。
- 潜在拡散モデルを用いて,データの交換可能性を尊重し,高品質な生成を目指す。
- 提案手法scLDMは,Multi-head Cross-Attention Block (MCAB) アーキテクチャを活用し,効率的なエンコード・デコードを実現。
- Diffusion Transformersと線形補間を用いることで,高品質な生成とマルチ条件による制御が可能となった。
- 観測データおよび摂動データを用いた実験で,細胞レベル分類を含む様々なタスクにおいて優れた性能を示した。
大規模オンラインカーネル学習による双方向因果効果の推定 [stat.ML, cs.LG, stat.ME]目的:双方向因果効果の推定
- 現実世界の現象には相互依存関係が広く存在するが,従来の因果推論は一方向的な効果に焦点を当てていた。
- 異分散性を持つシステムにおける双方向因果関係の推定は,既存の手法では困難であった。
- 大規模データにおける複雑な双方向因果効果を,効率的に推定することを目的とする。
- 提案手法は,様々なデータ生成過程において,単一方程式モデルや多項式近似よりも高い精度と安定性を示した。
- 特に,バイアスと二乗平均平方根誤差が低く,複雑な双方向因果効果を捉えることが確認された。
- 計量経済学の識別と最新の機械学習技術を組み合わせることで,実用的なスケーラブルな解を提供している。
深層強化学習による自律量子誤り訂正の発見 [quant-ph, cs.LG]目的:深層強化学習を用いたボソン符号の発見
- 量子計算の誤り耐性化には量子誤り訂正が不可欠であり,その実現が強く求められている。
- 従来の誤り訂正法は測定に伴う追加エラーが課題であり,実用的な符号設計が困難である。
- ボソン系における自律量子誤り訂正の枠組みの下,損失に耐性のある符号を自動的に発見する。
- 深層強化学習とカリキュラム学習を組み合わせることで,効率的な符号探索が可能になった。
- 訓練されたエージェントは,単一光子損失と二光子損失の両方に対して,$\ket{4}$と$\ket{7}$のFock状態を最適な符号として発見した。
- 発見された符号は,既存の符号よりも長い時間スケールで誤り訂正性能を維持し,位相・振幅ダンピングノイズに対しても堅牢であることが示された。
独立な神経潜在動態と結合性を明らかにする因子分解低ランクRNNフレームワーク [q-bio.NC, cs.CE, cs.LG]目的:神経潜在動態と結合性の解明
- 神経活動の背後にある低次元潜在動態を理解することは,脳機能の解明に不可欠である。
- 従来の低ランクRNNは結合性が低ランクであるものの,独立性の解釈が難しく,計算役割の特定が困難である。
- 潜在動態の独立性を促進し,学習された潜在軌跡の解釈性を向上させることを目指す。
- 提案するFacRNNは,潜在動態間のグループごとの独立性を仮定することで,従来のlrRNNよりも優れた解釈性を実現する。
- 合成データ,サルM1,マウス電圧イメージングデータにおいて,FacRNNは潜在軌跡の分離と低ランク結合性の向上に一貫して貢献する。
- 変分オートエンコーダ(VAE)フレームワークと部分相関ペナルティの導入により,グループ間の独立性を効果的に促進する。
大規模LensLib事前学習と離散劣化事前知識を用いたブラインドレンズ収差補正 [eess.IV, cs.CV, cs.LG, physics.optics]目的:ブラインドレンズ収差補正の汎化性能向上
- レンズ収差は画像品質を大きく左右するため,その補正は重要な課題である。
- 既存手法では,学習データの多様性不足や,光学劣化に関する事前知識の欠如が課題となっていた。
- 大規模データセットと離散劣化事前知識により,未知のレンズに対する汎化性能を向上させる。
- 本研究では,大規模なレンズライブラリAODLibproを構築し,劣化の多様性を高めた。
- 点像分布関数(PSF)をベクトル量子化し,潜在的なPSF表現(LPR)を構築することで,劣化に関する事前知識を導入した。
- 合成データおよび実レンズを用いた実験により,ゼロショット汎化性能およびFew-shot適応性能の優位性が確認された。
機械学習原子間ポテンシャルに対するカルテシアン3jフレームワーク [eess.SP, cs.SY, eess.SY, physics.chem-ph, cond-mat.mtrl-sci, cs.LG]目的:機械学習原子間ポテンシャルにおけるカルテシアン3jフレームワークの開発
- 計算化学において,原子間ポテンシャルは物質のシミュレーションに不可欠であり,その精度向上は重要である。
- 既存の等方モデルは球テンソルに基づいており,カルテシアンテンソル表現は発展が遅れている。
- カルテシアンテンソル表現を用いた効率的かつ高精度な原子間ポテンシャルモデルを構築することを目指す。
- カルテシアン3j記号とカルテシアン一般化クリーブシュ・ゴルダン係数を導入し,ICTsのフレームワークを構築した。
- 既存のMACE,NequIP,Allegroのカルテシアン版を構築し,球テンソルとの比較を行った。
- ICTsを活用したTACE-v1-OAM-Mは,Matbench Discoveryにおいて最先端の球テンソルモデルと競合する性能を示した。
障害物問題を対象とした最適制御のためのシングルループ双水準深層学習法 [math.OC, cs.LG]目的:障害物問題の最適制御
- ロボット工学や最適化など,広範な分野で重要となる制御問題の解決手法である。
- 非滑らか性,非線形性,双水準構造により,計算コストが高く,複雑な問題である。
- メッシュフリーで高次元問題にも対応可能な,効率的な最適制御手法の確立。
- 本研究では,制約埋め込みニューラルネットワークを用いたシングルループ双水準深層学習法を提案した。
- 提案手法は,繰り返し部分問題を解く必要がなく,従来の数値解法よりも計算コストを削減できる。
- S2-FOBAと呼ばれるアルゴリズムは,ネストされた最適化を回避し,下位レベルの一意性に関する制約がない。
LatentChem:化学的推論におけるテキストベースのCoTから潜在的思考へ [physics.chem-ph, cs.AI, cs.CL, cs.LG]目的:化学的推論における潜在的思考のメカニズム
- 化学分野における高度な推論能力の自動化は,新物質の発見や反応予測に不可欠である。
- 既存のLLMは自然言語によるCoTに依存しており,化学的論理と自然言語のミスマッチがボトルネックとなっている。
- 連続的な潜在ベクトルによる思考を導入し,化学的推論の効率性と自然さを向上させることを目指す。
- LatentChemは,言語生成から化学的論理を分離した推論インターフェースを提案し,連続的な思考ベクトルと動的な認識を可能にした。
- タスクの成功のみを最適化することで,モデルは冗長なテキストを避け,潜在的な計算に移行する自発的な内部化が確認された。
- ChemCoTBenchにおいて,LatentChemはCoTベースラインに対して59.88%の勝率を達成し,推論ステップ数を平均10.84倍削減した。
深層における最適な初期化:Lyapunov初期化と深層Leaky ReLUネットワークに関する極限定理 [stat.ML, cs.LG, math.DS, math.PR]目的:深層Leaky ReLUネットワークの活性化ノルムの対数に関する極限定理の証明
- 深層ネットワークの学習性能は初期化に大きく依存するため,その理論的理解が重要である。
- 既存の初期化手法では,低幅の深層ネットワークにおける活性化の不安定性が課題となっていた。
- Lyapunov指数に着目し,活性化の安定性を保証する初期化手法を提案することで,この課題を解決する。
- 活性化ノルムの対数のLyapunov指数が,活性化の消失と爆発の間の相転移を特徴づけることが示された。
- 標準的な初期化手法では,活性化の安定性を保証できないことが明らかになった。
- Lyapunov指数をゼロに設定するLyapunov初期化が,ネットワークの安定性を高め,学習性能を改善することが確認された。
ニューラル場としての世界モデル [physics.optics, cs.ET, q-bio.NC, cs.CV, cs.LG]目的:世界モデルの構造
- 人間の学習には,環境とのインタラクション以外に,将来の予測やシミュレーションが重要である。
- 従来の機械学習の世界モデルは,視覚情報を潜在ベクトルに圧縮する際に空間構造を失う。
- 空間構造を保持することで,物理予測を幾何学的伝播として実現し,効率的な学習を可能にする。
- 運動ゲート付きニューラル場は,弾道予測において「瞬間移動」現象を防ぎ,正確な予測を実現した。
- 学習済みの世界モデルを通じてタスクエラーを伝播させることで,オフラインでの把持ポリシーを改善することに成功した。
- 身体ラベルなしで,身体に特化した運動チャネルが自律的に発達することを示唆する結果が得られた。
地平線認識型,いつでも有効な検定のための賭け方学習 [stat.ME, cs.LG]目的:厳格な締め切り時刻 $N$ の下での,有界平均値に対する地平線認識型,いつでも有効な検定と信頼区間の開発
- 統計的仮説検定は,科学研究や意思決定において重要な役割を担っている。
- 限られた時間の中で,確実性を損なわずに検定を完了することが課題である。
- 時間制約を考慮しつつ,最適な賭け戦略を学習することで,効率的な検定を実現する。
- 本研究では,賭け/e-過程の枠組みを用いて,地平線認識型賭けを有限地平線最適制御問題として定式化した。
- Kelly賭けが一定の条件下で最適であることを示し,さらにスケジュールに応じてより積極的または保守的な賭け戦略が有効となる条件を明らかにした。
- 深層強化学習を用いて,過去の観測統計から賭けを決定するポリシーを学習し,限られた地平線での実験で最先端の結果を得た。
適応制約ガイダンスを用いたファインチューニング不要の拡散モデル:無機結晶構造生成 [cond-mat.mtrl-sci, cs.AI]目的:無機結晶構造生成のための拡散モデルに基づく生成機械学習フレームワーク
- 材料科学において,特定の特性を持つ無機結晶構造の発見は重要な課題である。
- 既存の生成AIモデルは,実験的に実現可能な材料の多様性,新規性,信頼性に課題がある。
- 本研究では,ユーザー定義の物理化学的制約を組み込み,結晶構造の生成を可能とする。
- 提案手法は,DFTレベルの精度を持つグラフニューラルネットワークと凸包解析を組み合わせた検証パイプラインにより,生成された候補の堅牢性と妥当性を確保する。
- 無機化合物群の古典的な例を用いたケーススタディにより,本フレームワークが多様な無機化学システムにおいて,熱力学的に妥当な結晶構造を生成できることが示された。
- 提案手法は,特定の幾何学的制約を満たす結晶構造を生成する能力を示し,専門家主導の探索を可能にする。
カテゴリカルデータのサンプリングのための球面フロー [stat.ML, cs.CL, cs.LG]目的:離散系列の生成モデル学習
- 近年,確率モデルの生成能力向上が求められているため,新しい生成モデルの研究が重要である。
- 既存手法はユークリッド空間や確率シンプレックス上で動作し,高次元データに対する効率性に課題がある。
- 球面上のvon Mises-Fisher分布を利用し,効率的なサンプリング手法を確立することを目指す。
- 球面上の連続埋め込み空間で,von Mises-Fisher分布が自然なノイズ過程と閉形式の条件スコアを提供する。
- ラジアル対称性を利用し,連続方程式をコサイン類似度に関するスカラーODEに帰着させることで計算を効率化。
- Sudokuと言語モデリングの実験で,vMFとPredictor-Correctorサンプリングの組み合わせが大幅な性能向上を示した。
確率的PLSの厳密なスティフェル最適化:閉形式更新,誤差境界,および校正された不確実性 [stat.ML, cs.AI, cs.LG]目的:確率的偏最小二乗法(PPLS)の最適化手法の開発
- 多視点学習において,解釈可能な潜在因子と校正された不確実性を両立させるモデルの必要性
- 既存手法におけるノイズと信号の結合,および直交制約の複雑な処理
- ノイズ事前推定,制約付き尤度最適化,予測校正を統合したエンドツーエンドなフレームワークの提案
- 低固有値ノイズ部分空間からのノイズ推定器は,信号強度に依存しない有限サンプルレートを達成し,ミニマックス下限に一致する。
- 提案手法は,事後再校正なしにほぼ公称カバレッジを達成し,TCGA-BRCAにおいてランクr=3でリッジレベルの点精度に達する。
- クロスビュー予測においてPO2PLSと同等またはそれ以上の性能を示し,ネイティブに校正された不確実性を提供する。
最適化器設計のための対称性適合原理:埋め込み,LMヘッド,SwiGLU MLP,およびMoEルーター [math.OC, cs.AI, cs.LG, stat.ML]目的:最適化器の対称性適合設計
- 深層学習モデルの性能向上には,効率的な最適化手法が不可欠である。
- 既存の最適化器は座標系に依存するため,モデルの対称性を活かせない。
- モデルの対称性を尊重した最適化器を設計し,学習の安定性と性能を改善する。
- 対称性適合原理に基づき,様々な層に対応した最適化器を開発した。
- 実験により,提案手法は最終的な検証損失を改善し,スパースMoEモデルの負荷分散を促進することが確認された。
- Qwen3やGemmaなどの大規模言語モデルの事前学習において,AdamWよりも安定した学習が可能になった。
座標軸昇降型変分推論のWasserstein収縮 [stat.ML, cs.LG, math.FA, math.OC, math.PR, stat.CO]目的:座標軸昇降型変分推論アルゴリズムにおけるWasserstein距離の収縮
- ベイズ推論は不確実性の定量化に不可欠であり,複雑なモデルへの適用が求められている。
- 変分推論は近似推論手法だが,収束の保証や収束速度が課題となっている。
- 本研究は,座標軸昇降型変分推論の収束性をWasserstein距離を用いて厳密に評価する。
- 輸送情報不等式と関数滑らかさ条件の下で,座標軸昇降型変分推論のWasserstein収縮が成立することが示された。
- 本結果は,一般的な滑らかな多様体や非滑らかな空間においても適用可能であり,局所的収束保証を提供する。
- ベイズガウス混合モデルや高次元ベイズProbit回帰,Polya-Gamma変数を用いたロジスティック回帰への応用が検討された。
パラメータフリーかつグループ条件付きオンライン適合予測 [stat.ML, cs.LG]目的:グループ条件付きオンライン適合予測における不確実性定量
- 機械学習を実世界で利用する上で,データ分布の変化に対応した不確実性定量は不可欠である。
- 既存手法では,グループごとの誤差制御とパラメータフリー実装の両立が困難であった。
- グループ条件付きかつパラメータフリーなオンライン適合予測アルゴリズムを提案し,信頼性の向上を目指す。
- 提案手法は,グループ条件付きの保証において既存手法を上回り,高い網羅率を達成した。
- パラメータフリーでありながら,データ分布の変化に対するロバスト性を確認した。
- 予測区間は,調整済みのグループ条件付き手法と同程度のサイズで実現可能である。
構造的因果効果におけるトポロジー的無視可能性 [stat.ME, cs.AI]目的:構造的因果効果のトポロジー的無視可能性
- 平均値以外の因果効果を捉える必要性が高まっている。
- 平均値に基づく因果推定量では,構造的な変化を見逃す場合がある。
- 介入後の結果分布の構造的な違いを定量化する手法を開発する。
- トポロジー的無視可能性という概念を導入し,結果分布の構造的不変性を利用する。
- 密度超準位ベティ数やオイラー数などのトポロジー・幾何学的因果指標を提案した。
- シミュレーションと実際のデータで,既存手法の限界と本手法の有効性を示した。
