arXiv雑要約
AI - 2025/10/14 公開
トレンドを持つVARモデルに対する深層学習：DeepVARwT [stat.ME, cs.AI]目的：トレンドと依存構造の同時最尤推定
- 多変量時系列データの関係性を分析する上で，VARモデルは重要な役割を果たす。
- 従来のVARモデルでは，トレンドの取り扱いが難しく，推定誤差が生じやすい。
- 深層学習を用いてトレンドと依存構造を同時に推定し，VARモデルの精度向上を目指す。
- 提案手法DeepVARwTは，LSTMネットワークを用いてトレンドと依存構造を同時に推定する。
- シミュレーション実験では，現実的なトレンド関数を用いて推定値の精度を検証した結果，良好な性能を示した。
- 実データへの適用では，既存モデルと比較して，予測性能の向上が確認された。
条件付きF\"ollmerフローによる深層条件付き分布学習 [stat.ML, cs.LG]目的：条件付き分布の学習
- 機械学習において，データの複雑な分布を捉えることは重要である。
- 既存手法では，条件付き分布の正確なモデリングが困難である。
- ODEフローを用いた条件付き分布学習のエラー解析と性能向上を目指す。
- 提案手法は，標準ガウス分布から出発し，時間発展により目標の条件付き分布を近似する。
- 学習されたサンプル分布と目標分布との間のWasserstein-2距離に関する収束性を示すことができた。
- 画像データを含む多様な実験で，既存手法と比較して優れた性能を示した。
組合最適化問題に対する代理ポリシーの一般化境界 [math.CO, cs.CC, cs.DM, stat.ML, cs.LG, math.OC, stat.ME]目的：組合最適化問題における代理ポリシーの一般化性能の理論的保証
- 組合最適化問題は現実世界の様々な分野に現れるため，効率的な解法が不可欠である。
- 既存手法では，勾配法が適用しづらく，理論的な一般化性能の保証が十分でない場合がある。
- 統計モデルと近似解法を組み合わせることで，よりロバストで効率的な学習を目指す。
- 摂動を加えたポリシーを分析することで，微分可能な損失関数と一般化性能の向上が確認された。
- 過剰リスクを摂動バイアス，統計的推定誤差，最適化誤差に分解する一般化境界を導出した。
- 統計モデルと実行可能多面体の幾何的な相互作用を捉える新しいUniform Weak (UW)特性が，穏やかな仮定の下で成立することが示された。
ガウスモデルからのベイズネットワーク学習のための漸近的に最適な座標降下法 [stat.ML, cs.LG]目的：ガウスモデルからのベイズネットワーク学習問題
- ベイズネットワークは不確実性をモデル化する強力なツールであり，様々な分野で活用が期待されている。
- 大規模なベイズネットワークの学習は計算量が多く，効率的なアルゴリズムが求められている。
- $\ell_0$正則化最大尤度推定法の近似解を効率的に求め，その最適性を保証すること。
- 提案手法は，座標ごとに最小値を達成しながら収束し，損失関数の非凸性にも関わらず，サンプルサイズが無限大に近づくにつれて，目的値が最適なものに収束する。
- 有限サンプルにおける統計的整合性も保証されており，ベイズネットワーク学習における最適性と統計的保証を備えた初めての座標降下法である。
- 合成データと実データに対する数値実験により，提案手法がスケーラブルでありながら，ほぼ最適な解を得られることが示された。
フレーバーを持つアクシオン模型に対する強化学習に基づく統計的探索戦略 [hep-ph, cs.LG, hep-th]目的：フレーバーを持つアクシオン模型のパラメータ探索
- 標準模型を超える新物理の探索は，素粒子物理学における重要な課題である。
- 模型のパラメータ空間が広大であり，従来の最適化手法では効率的な探索が困難である。
- 強化学習を用いてパラメータ探索を効率化し，フレーバー問題や宇宙論的パズルを解決する解を見出す。
- 強化学習エージェントは，クォークとレプトンの電荷配置を特定し，150以上の現実的な解を発見した。
- 発見された解に対して，アクシオン検出実験の感度について議論を行った。
- 強化学習に基づく探索方法が，従来の最適化手法よりも高速に最適なパラメータを見つけることを示した。
データ制約下における不確実性集合の統合 [stat.ME, cs.LG]目的：多様かつ潜在的に依存する不確実性集合の統合手法
- 様々な分野で不確実性を評価する上で，信頼性のある集合推定が重要である。
- 初期集合と制御レベルのみから不確実性集合を統合することの困難さ。
- 通信制約下や異なるアルゴリズム間の統合など，データ制約下での信頼性確保。
- 本研究では，合成統計量の構築と集約，そして検定反転を通じて，不確実性集合を統合するSATアプローチを提案する。
- 理論的分析により，SATが決定論的な集合統合において許容性を持つことが示された。
- 実験結果は，有限サンプルにおけるカバレッジの有効性と望ましい集合サイズを確認している。
連続性のモジュラス下の射影ランジュバンアルゴリズムの混合時間とプライバシー解析 [stat.ML, cs.LG, math.OC, math.ST, stat.TH]目的：射影ランジュバンアルゴリズムの混合時間およびノイズ付き確率的勾配降下法のプライバシー曲線
- 機械学習において，最適化アルゴリズムの収束性とプライバシー保護は重要な課題である。
- 非滑らかな関数に対する最適化アルゴリズムの収束性やプライバシー保護の解析は困難である。
- 連続性のモジュラスを導入することで，より広範な凸損失関数に対する解析を可能にする。
- 射影ランジュバンアルゴリズムの混合時間に関して，重要なケースにおいて次元に依存しない，精度の対数関数的な上限を導出した。
- サブサンプリングされたノイズ付き確率的勾配降下法のプライバシー曲線の新しい上限を確立し，勾配の正則性への依存性を示した。
- プライバシー増幅による反復 (PABI) フレームワークを拡張し，最適なRényiダイバージェンス境界を考慮した最適化問題を設計した。
分離可能データとFenchel-Young損失における任意のステップサイズ勾配降下法 [stat.ML, cs.LG]目的：分離可能データに対するFenchel-Young損失を用いた勾配降下法の収束性
- 機械学習において勾配降下法は基本的な最適化手法であり，その性能向上は重要である。
- ニューラルネットワークの学習初期段階では損失地形が鋭化し，安定性の限界付近で学習が不安定になりやすい。
- 損失関数の特性に着目し，任意のステップサイズで勾配降下法が収束するための条件をFenchel-Young損失の枠組みで示す。
- Fenchel-Young損失に基づく勾配降下法は，分離可能なデータに対して任意のステップサイズで収束することが示された。
- Tsallisエントロピーでは収束速度が$T=\Omega(\epsilon^{-1/2})$，R{\'e}nyiエントロピーではより高速な$T=\Omega(\epsilon^{-1/3})$となることが確認された。
- この収束速度の差は，損失関数の自己有界性ではなく，分離余裕（separation margin）に起因すると主張されている。
単純なTransformerを用いた準最適なリアルタイムパーソナライズ [math.OC, cs.LG]目的：リアルタイムパーソナライズのための効率的なアルゴリズム
- ユーザー行動データの活用により，リアルタイムパーソナライズの重要性が高まっている。
- 従来の埋め込みベースの手法では，複雑なユーザー行動の捕捉が困難である。
- Transformerを活用し，複雑なユーザー行動を捉えつつ，高速な最適化を実現する。
- 単純なTransformerは，複雑なユーザーの嗜好を捉える能力を持つことが示された。
- 開発されたアルゴリズムは，Sublinear時間で準最適な性能を達成する。
- SpotifyとTrivagoのデータセットを用いた実験で，その有効性が確認された。
テキストと画像データを用いた需要推計 [econ.GN, cs.CV, cs.LG, q-fin.EC]目的：需要推計の新たな手法
- 消費者行動の理解は，マーケティング戦略や製品開発において不可欠である。
- 製品属性データが不足している場合，需要を正確に推計することが困難である。
- テキストや画像データを用いて，より精度の高い需要推計を実現すること。
- 本手法は，製品画像とテキスト記述から特徴量を抽出し，ランダム係数logitモデルに組み込む。
- 選択実験データを用いた分析により，従来の属性ベースモデルよりも優れた予測性能が示された。
- Amazonの40製品カテゴリーにおいて，テキストと画像データが密接な代替品を特定するのに役立つことが確認された。
深層学習のためのスケーラブルな量子アニーリング多頭注意機構 [quant-ph, cs.AI]目的：深層学習における注意機構のスケーラビリティ向上
- 深層学習の性能向上に不可欠な注意機構であり，その効率的な実装が重要である。
- 従来の注意機構は，系列長が長くなるにつれて計算量とメモリ使用量が急増する。
- 量子アニーリングを用いて注意機構を効率化し，スケーラビリティの課題を解決することを目指す。
- QAMAは，従来の多頭注意機構と比較して，最大2.7ポイント以内の精度低下で済む。
- QAMAは，系列長に対して線形的な量子ビット数で動作するため，スケーラビリティに優れる。
- ハミルトニアンペナルティ項は，各ヘッドにおいて有意義で解釈可能なスパース性を誘導する。
古典・量子チャネル識別におけるクエリ複雑性 [quant-ph, cs.IT, cs.LG, math.IT, math.ST, stat.TH]目的：量子チャネル識別に必要なチャネル使用回数の最小数
- 量子情報理論において，誤り確率の減衰率を評価することが重要である。
- 必要なチャネル使用回数の評価が十分に行われていない。
- 目標とする誤り確率を達成するために必要なクエリ複雑性を厳密に評価する。
- バイナリチャネル識別におけるクエリ複雑性は，逆誤り確率に対して対数的に，チャネル忠実度の負の対数に対して反比例することが示された。
- 古典チャネル，古典-量子チャネルを識別する場合のクエリ複雑性を正確に特徴付けた。
- 事前確率を含む量子仮説検定のサンプル複雑性を最適化することで，固定閾値以下の誤り確率におけるクエリ複雑性をより正確に評価した。
k-meansクラスタリングのための，一様サンプリングによる高速な乱数・量子アルゴリズム [quant-ph, cs.DS, cs.LG]目的：k-meansクラスタリングの高速化
- ビッグデータ分析において，データ量の増大に伴い計算コストが課題となる
- 従来のk-meansアルゴリズムは，データ数に比例した計算時間を要する
- 一様サンプリングを用いることで，既存アルゴリズムよりも性能向上を目指す
- 提案する乱数および量子アルゴリズムは，既存の手法よりも優れた最悪の場合の性能保証を持つ
- 一様サンプリングにより，k-means問題の対称性を維持し，効率的な計算を可能にする
- データ点数に対する計算時間の依存性を低減することで，ビッグデータへの適用性を高める
1段階Top-$k$ 延期学習：理論的保証付きスコアベースの代替手法 [stat.ML, cs.LG]目的：Top-$k$ 延期学習フレームワークの構築
- 機械学習モデルの精度向上と計算コスト削減は，実用的な応用において重要である。
- 従来の延期学習手法は，単一の専門家への延期に限定され，柔軟性に欠ける。
- 複数エンティティへの延期を可能にし，精度とコストのバランスを最適化すること。
- 本研究で提案する1段階Top-$k$手法は，既存のTop-1延期学習よりも優れた性能を示すことが確認された。
- 動的なエンティティ数選択を行うTop-$k(x)$は，入力の複雑さに応じて精度とコストのトレードオフを最適化する。
- 提案手法は，kの値に依存しない凸型サーロゲート損失を導入し，kの範囲全体での汎化性能を向上させる。
タスク最適化された畳み込み再帰型ニューラルネットワークは，げっ歯類の脳における触覚処理と一致する [q-bio.NC, cs.AI, cs.LG, cs.RO]目的：タスク最適化された時間的ニューラルネットワークの探索
- 視覚や言語と比較して，触覚センシングは神経科学や人工システムにおいて未解明で効果が低い。
- 触覚情報の効率的な処理機構が不明であり，人工システムへの応用が難しい。
- 触覚処理に特化したニューラルネットワークの構造を明らかにすること。
- 畳み込み再帰型ニューラルネットワーク（ConvRNN）が，触覚分類において優れたエンコーダーとなることが示された。
- ConvRNNに基づくモデルは，げっ歯類の体性感覚皮質の神経表現と高い一致性を示した。
- 自己教師あり学習によるConvRNNエンコーダーモデルは，教師あり学習モデルと同等の神経的適合性を示し，ラベルなしでの触覚知覚の代替手段となる。
抗体結合親和性成熟・設計のためのベンチマーク AbBiBench [q-bio.QM, cs.AI, cs.CE, cs.LG, q-bio.BM]目的：抗体結合親和性成熟と設計の評価フレームワーク
- 抗体医薬品開発において，高い結合親和性を持つ抗体は治療効果に不可欠である。
- 既存の評価方法は抗体単体に着目し，生物学的コンテキストが考慮されていない場合がある。
- 抗体と抗原複合体全体を評価することで，より正確な設計が可能となる。
- AbBiBenchは，14種類の抗体と9種類の抗原に対する18万件以上の実験データを統合した。
- 15種類のタンパク質モデルを比較した結果，マスク言語モデルが最も高い相関を示した。
- F045-092抗体へのインフルエンザH1N1への結合導入実験で，構造条件付き逆折畳みモデルが優れた性能を示した。
少ない情報量でも効果的：二値フィードバックは順位比較よりもランキング回復において優れた性能を示す [math.OC, cs.SY, eess.SY, physics.soc-ph, cs.SI, physics.data-an, stat.ML, cs.LG]目的：ランキング回復における二値フィードバックと順位比較の性能比較
- ランキング学習は，情報検索や推薦システムなど，幅広い分野で重要な役割を担う。
- 順位比較データは情報量が多いと考えられているが，ノイズの影響を受けやすいという課題がある。
- 二値化された順位比較データが，ランキング回復の精度向上に貢献することを理論的に示す。
- 二値フィードバックを用いた場合，順位比較データよりもランキング誤差の収束が速いことが証明された。
- パターン関数によって決定される信号対雑音比(SNR)の観点から，二値化による性能向上の理由が説明された。
- シミュレーションとMovieLensデータセットの分析により，理論的な知見が実証された。
実験に関する考察 [stat.ML, cs.LG, math.PR, math.ST, stat.TH]目的：実験結果を知識へと変換する科学的プロセス
- 科学的探求の根幹であり，自然界の理解を深める上で不可欠である。
- 科学的プロセスを数学的に定式化し，自動化することは依然として課題である。
- 科学的プロセスを数学言語で表現し，自動化への道筋を示す。
- 新たな一般化されたデータ処理不等式を提示した。
- カノニカル損失におけるバイアス分散分解を確立した。
- Blackwell-Sherman-Stein定理とランダム化定理の簡略化された証明，および線形計画法による欠損の計算方法を提案した。
多岐にわたる心電図信号に対する説明可能な深層ニューラルネットワーク：中間融合と後期融合 [eess.SP, cs.LG]目的：多岐にわたる心電図信号における，中間融合と後期融合の有効性比較
- 深層学習は医療分野で有用だが，過学習や汎化性能の限界が課題である。
- 心電図に基づく心血管疾患分類において，最適な多Modal融合戦略が不明である。
- 心電図の時系列，周波数，時間周波数領域における融合戦略を比較し，最適なアーキテクチャを特定する。
- 中間融合は後期融合を上回り，最高97％の精度を達成した。
- 中間融合は単独モデルと比較してCohen's d > 0.8，後期融合と比較してd = 0.40を示した。
- サリエンシーマップ分析の結果，両モデルとも離散化された心電図信号と一致し，相互情報量で統計的依存性が確認された。
生成AIが気候変動極端現象の予測精度を向上 [physics.ao-ph, cs.AI]目的：気候変動極端現象予測精度の向上
- 気候変動は極端現象を増大させ，生物多様性，人間の健康，食料安全保障にリスクをもたらすため，正確な予測が不可欠である。
- 既存のGCMは解像度が粗く，計算コストが高いため，極端現象の表現に限界がある。
- この研究は，GCM出力のダウンスケーリングにより，より現実的な極端現象のシミュレーションを可能にすることを目指す。
- FuXi-CMIPAlignという生成深層学習フレームワークを開発し，CMIP出力のダウンスケーリングを実現した。
- Flow MatchingとMMD損失を用いたドメイン適応により，入力データの差異を軽減し，予測精度，安定性，汎化性能を向上させた。
- FuXi-CMIPAlignは，熱帯低気圧などの複合的な極端現象のより現実的なシミュレーションを可能にする。
非線形シナプスプルーニングと樹状突起統合に基づく効率的な軽量SNN：NSPDI-SNN [q-bio.NC, cs.AI, cs.NE]目的：非線形樹状突起統合とシナプスプルーニングによる効率的かつ軽量なSNN手法
- 近年，生物由来のニューラルネットワークであるSNNが注目を集めている。低消費電力でのAI処理が期待されている。
- 従来のSNNは，生物の神経細胞の複雑な樹状突起構造を十分に再現できていないという課題がある。
- 本研究では，SNNのスパース性を高め，情報処理能力を向上させることで効率化を目指す。
- 提案手法NSPDI-SNNは，DVS128 Gesture，CIFAR10-DVS，CIFAR10の３つのベンチマークデータセットで高い性能を示した。
- 特に，イベントストリームデータセットにおいては，既存手法を上回る最高の実験結果を達成した。
- スパース性が高まるにつれて，シナプス情報伝達の効率がNSPDIによって大幅に向上することが示された。
脳間ネットワークの幾何学について [q-bio.NC, cs.CG, cs.LG]目的：脳間相互作用の動的再構成の幾何学的解析
- 社会神経科学では，他者との相互作用における脳活動の理解が重要である。
- 従来の脳間同期指標は相関に基づくため，記述的な観察に留まることが多い。
- ネットワーク科学の幾何学的知見を応用し，脳間結合の変化を幾何学的に捉える。
- 提案手法は，脳間ネットワークの幾何学的構造の変化を通じて相互作用を解析する。
- エントロピー指標と曲率分布を用いることで，ネットワーク接続の変化点を特定する。
- 本研究は，双方向脳波計測法による社会的行動の神経メカニズム解明能力を向上させる。
深層ループ整形による重力波観測所の観測範囲拡大 [astro-ph.IM, cs.LG, cs.SY, eess.SY, gr-qc]目的：重力波観測所の観測範囲拡大
- 重力波天文学は，宇宙の起源や進化を解明する上で重要な役割を担う。
- 現在の観測所の低周波感度向上は，鏡の安定化制御によるノイズが妨げとなっている。
- 深層ループ整形を用いてこのノイズを除去し，観測感度を向上させることを目指す。
- 深層ループ整形は，周波数領域における報酬を用いる強化学習手法である。
- LIGO Livingston Observatoryにおいて，10-30Hz帯域の制御ノイズを30倍以上，部分的な帯域では100倍以上低減した。
- この結果は，深層ループ整形が現在の重力波観測所だけでなく，将来の観測所や制御システム全体の性能向上に貢献する可能性を示唆する。
量子データの再アップロード：量子入力に対する汎用関数近似器 [quant-ph, cs.LG]目的：量子入力に対する汎用関数近似
- 量子機械学習の発展には，量子データの効率的な処理が不可欠である。
- 量子状態に内在する情報を古典的な形で直接扱うことが困難である。
- 量子データに直接作用する量子機械学習モデルの設計手法を提供する。
- 提案された量子データ再アップロードアーキテクチャは，単一の補助量子ビットと単一量子ビット測定のみで任意の有界連続関数を近似できる。
- 入力レジスタの途中リセットとエンタングルメント演算を交互に繰り返すことで，開量子系力学における衝突モデルに類似した離散的なカスケードを実現する。
- 本フレームワークは，量子データ上で直接動作する量子機械学習モデルを設計するための，量子ビット効率的で表現力豊かなアプローチを提供する。
ConQuER：IQP量子生成モデルにおける制御とバイアス軽減のためのモジュールアーキテクチャ [quant-ph, cs.ET, quant-ph, cs.AI, cs.LG]目的：IQP量子生成モデルの制御性と生成バイアス軽減
- 量子生成モデルは複雑な分布学習に有望だが，古典的な訓練可能性維持が課題。
- 既存モデルは生成出力の制御が難しく，特定のパターンへのバイアスが強い。
- モジュールアーキテクチャで制御性とバイアスを改善し，実用的な生成モデリングを目指す。
- ConQuERは軽量な制御回路を組み込むことで，フルリトレーニングなしに生成分布を制御。
- IQPの利点を活用し，少ないパラメータでハミング重み分布などの特性を精密に制御。
- データ駆動型最適化によりバイアスを軽減し，量子状態データセットで優れた性能を実証。
ミニNインループサンプリングの最良策：信頼性と効率性に優れたBest-of-Nサンプリングのための文脈的品質報酬モデル [stat.ME, cs.AI, cs.LG]目的：信頼性と効率性を高めるBest-of-Nサンプリングのための文脈的品質報酬モデルの構築
- 近年の言語モデルでは，人間の好みに合わせた応答生成が重要視されている。
- 従来の報酬モデルは相対的な好みを学習するのみで，応答の絶対的な品質評価が困難である。
- 応答の許容可能性を判断し，不適切な選択を減らすことで，システムの信頼性を向上させる。
- 提案手法は，Best-of-Nサンプリングにおける信頼性の失敗を70%削減することを示した。
- また，推論速度を22%以上向上させ，計算効率の改善にも貢献する。
- 信頼性と計算効率のトレードオフを明示的に管理するための，原理的かつ柔軟なフレームワークを提供する。
データから報酬へ：最尤推定の双水準最適化の視点 [stat.ML, cs.LG]目的：生成モデルと最尤推定の課題に対する双水準最適化によるアプローチ
- 現代の機械学習において，生成モデルはテキスト，画像，マルチモーダルなど多様な応用を支える基盤である。
- 最尤推定は汎化性能や破滅的忘却のリスクがあり，強化学習手法と比較して課題が指摘されている。
- 報酬信号が利用できない状況下で，高品質なデータのみから生成モデルを適切に学習する方法を模索する。
- 本研究では，報酬関数を外層問題の最適化変数，方策勾配目的関数を内層問題として扱う双水準最適化フレームワークを提案した。
- 理論解析により得られた知見は，表形式分類やモデルベース強化学習といった応用にも適用可能であることが示された。
- 実装コードを公開しており，研究の再現性や発展に貢献することが期待される。