arXiv雑要約
AI - 2026/01/30 公開
ハバードU補正の選択的適用が基礎的MLIPに与える影響 [stat.ME, cs.SY, econ.EM, eess.SY, physics.chem-ph, cond-mat.mtrl-sci, cs.LG]目的：基礎的な機械学習原子間ポテンシャル（fMLIP）のトレーニングにおけるハバードU補正の選択的適用による影響の評価
- 材料科学において，原子間ポテンシャルは分子動力学計算等に不可欠であり，計算コスト削減に貢献する。
- 既存のデータベースは，ハバードU補正の適用に一貫性がなく，ポテンシャルエネルギー面上に不整合が生じている。
- ハバードU補正の不整合が引き起こす系統的な誤りを是正し，より正確なfMLIPを構築することを目指す。
- Materials Project等のデータベースにおいて，ハバードU補正の不整合が，U補正された金属と酸素/フッ素を含む種間の反発を引き起こすことが示された。
- 原子あたりに適用する単純なシフトによってPBE+UとPBEエネルギーを一致させることで，より滑らかなポテンシャルエネルギー面が得られた。
- シフトを適用したデータセットでトレーニングされたモデルは，U補正された元素スラブ上への酸素吸着エネルギーの平均絶対誤差が小さくなった。
故障確率計算のための効率的，正確かつ解釈可能な機械学習手法 [stat.ML, cs.LG]目的：複雑系の故障確率の計算
- システム信頼性評価は，安全性の確保やコスト削減に不可欠である。
- 高次元モデルにおける故障確率の計算は，計算コストが膨大となる。
- 計算コストを削減しつつ，高精度な故障確率を推定すること。
- 本研究で提案するPenalized Profile Support Vector Machineは，少ないモデル評価回数で故障確率を計算する。
- 適応的なサンプリング戦略と局所線形な近似により，決定境界の形状を維持しつつ効率的な学習を実現する。
- 数値実験およびLotka-Volterraモデルへの適用により，その有効性が確認された。
多重指数モデルにおける多重パス確率的勾配降下の高次元学習力学 [stat.ML, cs.LG, math.OC, math.PR, math.ST, stat.TH]目的：高次元多重指数モデルにおける多重パスミニバッチ確率的勾配降下法(SGD)の学習力学の解析
- 機械学習において，高次元データに対する効率的な学習アルゴリズムの確立が重要である。
- SGDは広く用いられるが，高次元空間での学習過程の理論的理解は不十分である。
- 本研究は，高次元多重指数モデルにおけるSGDの学習過程を数学的に厳密に記述することを目的とする。
- サンプルサイズと次元が比例的に増加する場合，バッチサイズや学習率のスケールに関する漸近的な厳密な特性付けを得た。
- SGDの限界力学は，バッチサイズスケールに関わらず同一であり，適切な学習率スケール下ではSGD，SME，勾配降下の力学が異なることが示された。
- SGDとSMEの力学は線形モデルにおいて一致し，勾配降下法は小さい学習率の極限で既知の結果と一致することが確認された。
トレーニング不要な拡散ガイダンスのための多層・逐次モンテカルロ法 [stat.ML, cs.LG]目的：トレーニング済みの拡散モデルにおける条件付き生成のための，正確かつトレーニング不要なガイダンス
- 拡散モデルは高品質な画像を生成するが，条件付き生成ではガイダンス手法が重要である。
- 従来のガイダンス手法は，事後分布スコアの点推定に依存し，バイアスが生じやすい。
- 拡散過程の逆過程に内在する多峰性を捉え，より正確なガイダンスを実現すること。
- 提案手法は，モンテカルロ近似により事後分布を積分し，バイアスを低減する。
- 多層モンテカルロ法を用いることで，計算コストを削減し，効率的な近似を実現した。
- CIFAR-10およびImageNetにおいて，既存手法を上回る性能を達成した。
トムソンサンプリング：正確な腕選択の動態と適応的推論 [math.ST, cs.IT, cs.LG, math.IT, stat.ML, stat.TH]目的：トムソンサンプリング型アルゴリズムにおける腕選択の動態の精密な解析
- 多腕バンディット問題は，様々な意思決定問題のモデルとして重要であり，効率的な探索と活用戦略が求められる。
- 適応的サンプリングは複雑な依存関係を生み出し，従来の推論手法の妥当性が損なわれる場合がある。
- 腕選択の動態を明らかにすることで，不安定な状況下でも信頼性の高い推論を可能にする方法を探求する。
- トムソンサンプリングにおいて，腕選択回数が漸近的に決定論的となるのは，腕が劣最適または唯一の最適腕の場合に限られることが示された。
- それ以外の場合，腕選択回数は確率微分方程式の不変則に収束し，安定性と不安定性の二分法が明らかになった。
- 腕の平均報酬は，安定な腕に対してはガウス分布に従い，不安定な腕に対しては半普遍的な非ガウス分布に従うことが示された。
回帰設定における将来の保険請求の有限サンプル有効予測のための新しい戦略 [quant-ph, cs.SI, math.CO, physics.soc-ph, stat.AP, cs.LG]目的：将来の保険請求の有限サンプル有効予測
- 保険リスク評価において，将来の保険金支払額の正確な予測は不可欠である。
- 回帰設定における保険請求予測区間の有限サンプルでの妥当性の検証が不足している。
- 既存の予測手法を回帰設定に適用し，妥当な予測区間を多数生成すること。
- 本研究では，教師なし学習の予測手法を回帰設定に変換する新しい戦略を提案した。
- これにより，多数の有限サンプル有効な予測区間を回帰設定で得ることが可能となる。
- 保険数理者が，より信頼性の高いリスク評価を行うための基盤を提供する。
クロスエントロピー誤差制御による信頼性の高い分類器ガイダンス [stat.ML, cs.LG]目的：分類器ガイダンスの信頼性向上
- 拡散モデルは画像生成において高性能だが，条件付き生成には分類器の誘導が必要である。
- 既存の分類器学習方法が拡散モデルのガイダンスに十分な効果をもたらすか不明である。
- 分類器学習におけるクロスエントロピー誤差制御がガイダンスの精度に与える影響を定量的に示す。
- 分類器の条件付きKLダイバージェンスが$\varepsilon^2$の場合，誘導ベクトルの平均二乗誤差は$\widetilde{O}(d \varepsilon)$で抑えられることが示された。
- これは，分類器ガイダンス下のサンプリング誤差の上限を示し，逆ログソボレフ型不等式との類似性がある。
- 分類器の滑らかさの仮定が不可欠であり，これがないと誘導ベクトルの制御が失敗する反例が示された。
一般化線形モデルへの柔軟な経験ベイズアプローチ：スパースロジスティック回帰への応用 [stat.ML, cs.LG, stat.CO, stat.ME]目的：一般化線形ベイズモデルの適合
- ベイズ統計は不確実性の定量化に有用であり，様々な分野で応用されている。
- 従来のベイズ推論は計算コストが高く，複雑なモデルへの適用が困難である。
- 計算効率の良いベイズ推論手法の開発が求められている。
- 提案手法は，平均場変分推論を用いて，チューニングフリーな経験ベイズアプローチを実現している。
- 事後平均と事前パラメータを直接最適化することで，パラメータ数を削減し，スケーラブルなアルゴリズムを可能にしている。
- スパースロジスティック回帰への応用により，既存手法と比較して優れた予測性能が示された。
変分オートエンコーダを用いた中性子星状態方程式のデータ駆動型生成 [astro-ph.HE, astro-ph.IM, astro-ph.SR, cs.LG]目的：中性子星状態方程式の再構成と生成
- 中性子星の内部構造理解は，極限状態下の物質の性質解明に不可欠である。
- 状態方程式のモデル化は困難であり，多様なアプローチによる検証が求められる。
- 機械学習を用いて，観測制約を満たす新たな状態方程式を効率的に生成すること。
- 変分オートエンコーダは，高次元な状態方程式データを低次元の潜在空間にマッピングする。
- 潜在空間のサンプリングにより，因果的かつ安定な状態方程式を生成可能である。
- 最大質量と半径の2つの観測量，および地殻-核遷移近傍の潜在変数の組み合わせで，Skyrme状態方程式を高精度に再構成できた。
非滑らかサブモジュラー凹関数におけるオフライン・オンラインMin-Max問題の解法：ゼロ次アプローチ [math.OC, cs.LG, cs.NA, math.NA]目的：非滑らかサブモジュラー凹関数のMin-Max問題の解法
- 最適化問題は機械学習，経済学など広範な分野で基盤となる技術である。
- 従来の解法は，関数の滑らかさや凸性などの制約が必要とされる場合が多い。
- 滑らかでない関数に対しても効率的にMin-Max問題を解く手法を開発すること。
- 本研究では，ゼロ次アプローチを用いて，オフライン設定において$\epsilon$-サドル点への収束が期待できることを示した。
- オンライン設定においては，アルゴリズムが$O(\sqrt{N\bar{P}_N})$のオンラインデュアリティギャップを達成することを期待できる。
- 理論的結果は数値例によって検証され，その有効性が示唆された。
バルク較正クレダル曖昧性集合：サンプル外汚染に対する高速かつ扱いやすい意思決定 [stat.ML, cs.LG]目的：サンプル外の汚染に対するロバストな意思決定のための手法
- 分布外のデータに対するロバスト性は，機械学習モデルの実用において重要である。
- 従来の分布ロバスト最適化は，曖昧性集合に汚染を含めると計算が困難になる場合がある。
- バルク較正クレダル曖昧性集合により，計算可能なロバスト最適化を可能にすること。
- 提案手法は，閉形式の有限なロバスト目的関数と計算可能な最適化問題を導く。
- 不確実性確率の考え方と最悪リスクとの等価性を示す。
- 重い裾を持つ在庫管理，地理的にシフトした住宅価格回帰，人口統計的にシフトしたテキスト分類において，良好な性能を示す。
Statsformer：LLM由来の意味的事前知識を用いた検証付きアンサンブル学習 [stat.ML, cs.LG]目的：LLM由来の知識を教師あり統計学習に統合するための枠組み
- 近年のLLMの発展は，多様なタスクにおいて高い性能を示す一方で，幻覚などの課題も抱えている。
- 既存手法は，LLMのガイダンスを検証なしで注入，または固定された学習器に埋め込むため，適応性と汎用性に課題がある。
- LLMの幻覚の影響を軽減しつつ，その知識を柔軟に活用できる学習フレームワークを構築すること。
- Statsformerは，LLM由来の特徴量事前知識をアンサンブル学習に組み込み，交差検証で影響を適応的に調整する。
- これにより，理論的にアンサンブル内のベース学習器の凸結合と同等以上の性能が保証される。
- 実験的に，有効な事前知識は性能向上をもたらし，無効または誤ったガイダンスは自動的に抑制された。
Conformal Predictionにおけるカバレッジ-長さ指標の妥当性：より短い区間が必ずしも良いとは限らない [stat.ML, cs.LG]目的：Conformal Predictionの評価指標に関する検討
- 不確実性推定は機械学習の信頼性を高める上で不可欠であり，分布に依存しない手法が求められている。
- 従来のConformal Predictionの評価はカバレッジと区間長に偏重しており，その妥当性が十分に検証されていない。
- 本研究は，カバレッジを保ちつつ区間長を人為的に短縮する手法の存在とその問題点を明らかにする。
- 「有害なトリック」と呼ばれる手法によって，カバレッジを維持しつつ，予測区間長を短縮できる場合があることが示された。
- この手法は，同じ入力に対して異なる予測区間を生成する可能性があり，実用上の脆弱性をもたらす。
- 予測区間の安定性を評価する新しい指標が提案され，有害なトリックの検出に役立つことが示唆された。
多様体拘束最急降下法 [eess.SP, cs.ET, math.OC, cs.LG]目的：多様体上での最適化
- 大規模学習において，線形最小化オラクルに基づく最適化手法が有効である。
- 多様体拘束問題への拡張は難しく，しばしば反復的な計算を必要とする。
- 効率的な単一ループ最適化フレームワークを開発し，安定性と性能を向上させる。
- MCSDは，リーマン勾配に対するLMOを用いて最急降下方向を選択し，多様体への投影を行うことで，多様体上での最適化を実現する。
- MCSDおよびその確率的モーメンタム変種に対して，標準的な滑らかさの仮定の下で収束性が保証される。
- シュティーフェル多様体上のMCSDのスペクトルノルム特殊化であるSPELは，高速行列符号計算により効率的な実装が可能である。
人工知能時代における持続可能な材料探索 [cond-mat.mtrl-sci, cs.AI]目的：持続可能な材料の発見
- 材料開発は，技術進歩と社会課題解決の基盤であり，持続可能性が不可欠である。
- 従来の材料探索は，環境負荷の評価が後回しになる傾向があり，非効率である。
- 性能と環境負荷を同時に最適化する材料探索フレームワークの構築を試みる。
- 機械学習とライフサイクルアセスメント（LCA）を統合したML-LCA環境を提案する。
- ML-LCAは，材料-環境知識ベースの構築，データベースの調和，多段階モデル，製造経路の予測を含む。
- ガラス，セメント，半導体露光液，ポリマーのケーススタディを通じて，ML-LCAの必要性と実現可能性を示す。
表現正則化畳み込みオーディオTransformerによるオーディオ理解 [eess.AS, cs.AI, cs.SD]目的：オーディオ理解のための新しいフレームワーク
- 音声データは多様な情報を含み，様々な応用分野で重要性が高まっている。
- 既存手法は単一の粒度で処理するため，複雑な音声信号の構造を捉えきれない。
- 階層的な特徴表現を獲得し，学習効率を向上させることで，オーディオ理解の精度を高める。
- 提案手法CATは，多重解像度ブロックにより，様々な粒度の音声特徴を捉える。
- 表現正則化により，外部エンコーダからの高品質な意味表現に学習を誘導し，学習効率を向上。
- AudioSet 20kデータセットで，既存手法より5倍の速さで収束し，競争力のある性能を達成。
量子回路最適化パスの適応的構成のための強化学習 [stat.CO, cs.DC, quant-ph, cs.LG]目的：量子回路最適化パスの構成
- 量子コンピュータの実用化には，量子回路の効率的な最適化が不可欠である。
- 最適化パスの適用順序は手動設定か汎用的なデフォルトに頼るため，回路ごとの最適化が困難である。
- 強化学習を用いて，量子回路に特化した最適なパス順序を自動的に決定することを目指す。
- 強化学習エージェントは，デフォルトのパスシーケンスと比較して，2量子ビットゲートの削減において優れた性能を示した。
- テストセットにおいて，エージェントは平均57.7%，中央値56.7%の2量子ビットゲートを削減した。
- 一方，次善のデフォルトパスシーケンスは，それぞれ41.8%と50.0%であった。
拡散モデルにおける時間系列予測のための分解可能な前方過程 [stat.ML, cs.AI, cs.LG]目的：時間系列予測に対する，信号をスペクトル成分に分解するモデル非依存な前方拡散過程
- 時間系列予測は，将来の傾向を把握する上で重要であり，多様な分野で活用されている。
- 従来の拡散モデルでは，季節性などの構造化された時間的パターンを効果的に保持することが困難であった。
- スペクトル分解により，主要な周波数の信号対雑音比を高く保ち，長期パターンの復元を改善することを目指す。
- 提案手法は，既存の拡散モデル（DiffWave，TimeGrad，CSDIなど）に容易に適用可能である。
- フーリエ変換やウェーブレット変換などのスペクトル分解戦略を用いることで，ベースラインの拡散モデルを改善できる。
- 計算オーバーヘッドはわずかであり，予測の品質向上に貢献する。
正解データなし大規模言語モデル評価のための判断者認識ランキングフレームワーク [stat.ML, cs.LG]目的：大規模言語モデルの評価における判断者依存性の考慮
- 大規模言語モデルの性能評価は，その発展において不可欠であり，信頼性の高い評価手法が求められている。
- 判断者となる言語モデルの信頼性にばらつきがあり，単純な集計では誤ったランキングや不確実性の推定を招く可能性がある。
- 判断者の信頼性を考慮したランキングフレームワークを構築し，より正確なモデル評価を実現することを目指す。
- 提案手法は，Bradley-Terry-Luceモデルを拡張し，判断者固有の識別パラメータを導入することで，モデル品質と判断者信頼性を同時に推定する。
- 複数のベンチマークと新規データセットにおいて，提案手法は人間の選好との一致度を高め，加重平均ベースラインよりもデータ効率が良いことを示した。
- また，LLMランキングに関する不確実性の定量化が校正されていることを確認した。
離散データの幾何学的潜在空間による生成モデリング [stat.ML, cs.LG]目的：離散データの生成モデリング手法
- 離散データは様々な分野で現れ，その生成モデルの構築は重要である。
- 従来のモデルでは，離散変数の冗長な自由度により学習が困難になる場合がある。
- 潜在空間の次元削減により，効率的な生成モデルの学習を目指す。
- 指数型パラメータ空間における潜在空間を利用することで，離散データの統計的依存性を効率的に捉えることができた。
- リーマン幾何学に基づき，一貫したフローマッチングが可能となり，効果的なモデル学習を実現した。
- 実験結果から，低次元の潜在空間で十分な生成性能が得られることが示された。
スコアベース生成モデルの忘却と安定性について [stat.ML, cs.LG]目的：スコアベース生成モデルのサンプリング誤差の上界
- 生成モデルの安定性と長期挙動の理解は，現代機械学習の根幹的課題である。
- 逆時間ダイナミクスに関連するマルコフ連鎖における安定性や忘却特性が十分解明されていない。
- 初期化誤差や離散化誤差の伝播を保証し，サンプリング手順の定量的安定性を確立すること。
- Lyapunov drift条件とDoeblin-type minorization条件により，誤差の伝播が保証されることが示された。
- 逆拡散ダイナミクスはサンプリング軌跡に沿って収縮機構を誘導し，サンプリング手続きの安定性に寄与する。
- 本研究は，スコアベースモデルにおける確率的ダイナミクスの役割を明確にし，誤差伝播解析の枠組みを提供する。
VSE：複雑なモデルフリー過程の状態推定 [eess.SP, cs.LG, stat.ML]目的：複雑なモデルフリー過程における状態推定手法
- 現実世界の様々な過程は複雑であり，その状態を正確に把握することは重要である。
- 物理モデルが利用できない場合，複雑な過程の状態推定は困難となる。
- 物理モデルを必要とせず，複雑な過程の状態を推定する手法を開発する。
- 本研究では，RNNを用いて閉形式のガウス事後分布を提供するVSE手法を提案した。
- 学習には追加のRNNを使用し，変分推論に基づき，両方のRNNが互いに学習を助け合う。
- シミュレーション実験の結果，提案手法はモデルベースの粒子フィルタや既存のデータ駆動型手法と遜色ない性能を示した。
臨界点の近似計算について [math.OC, cs.CC, cs.LG, cs.NA, math.NA, stat.ML]目的：非凸関数の臨界点近似計算の困難性
- 最適化問題において，臨界点は局所解を見つける上で重要な役割を果たす。
- 非凸関数の最適化では，臨界点の近似計算が困難であると考えられている。
- 本研究は，単純な非凸関数の臨界点の近似計算がNP困難であることを示す。
- 多変数多項式に対し，ある程度の近似的な臨界点を効率的に見つけるアルゴリズムが存在しないことが示された。
- このことは，非凸最適化における近似計算の難しさを裏付けている。
- 臨界点の存在や一意性といった追加の仮定を置いても，近似計算の困難性は変わらない。
深層確率的Transformerにおけるクラスタリング [stat.ML, cs.LG]目的：深層Transformerにおけるトークンの動的挙動の理論的解明
- Transformerは深層学習を大きく進歩させたが，トークンの振る舞いは未だ解明途上である。
- 従来の理論は決定論的な重みを仮定しており，実際のTransformerの初期化スキームを反映していない。
- 初期化の確率的性質を考慮し，トークンのクラスタリング現象を理論的に説明することを試みる。
- Transformerの層数を無限に増加させた場合，トークンは球面上での相互作用粒子系に収束する。
- 初期化ノイズは，決定論的モデルで予測される単一点への崩壊を防ぐ。
- 2つのトークン間において，相互作用強度と次元に依存する相転移が確認された。
逐次モンテカルロ法による拡散経路サンプラー [stat.ML, cs.LG, stat.CO]目的：正規化定数まで既知のターゲット分布に対するサンプリング手法
- 近年，拡散モデルが画像生成等の分野で注目されており，その理論的基盤である拡散過程の研究が重要である。
- 拡散過程におけるスコア関数の推定は，計算コストが高く，精度が課題となっている。
- 逐次モンテカルロ法を用いてスコア関数を効率的に推定し，拡散過程のサンプリング精度を向上させる。
- 本研究では，拡散過程を逐次モンテカルロ法で近似する手法を提案し，理論的な収束性を保証した。
- 提案手法は，時間変化する分布に対するスコア推定の分散を最小化する制御変量スケジュールを開発した。
- 合成データおよび実世界のデータセットを用いた実験により，提案手法の有効性を確認した。
単純およびMLR仮説に対するほぼ最適なプライベート検定 [stat.ML, cs.LG]目的：単純仮説および単調尤度比条件下の片側・両側検定のための検定手続き
- 統計的仮説検定は，科学研究や意思決定において重要な役割を果たす。
- プライバシー保護と統計的精度を両立させることは困難である。
- 差分プライバシー下での最適な検定方法を開発し，精度とプライバシー保護を両立する。
- 提案手法は，データ駆動型クランプ境界を持つプライベート平均推定器に基づいている。
- この推定器を用いて構築されたプライベート検定統計量は，ノンプライベート検定と同等の漸近相対効率を実現する。
- 数値実験により，提案手法が既存のDP手法を上回り，ノンプライベート検定に匹敵する検定力を持つことが示された。
MIPにおける並列LPソルビングのためのバッチ化一次元法 [math.OC, cs.LG]目的：MIPにおける並列LPソルビングのためのバッチ化一次元法
- 混合整数計画問題の効率的な解法は，最適化分野において重要な課題である。
- 従来のシンプレックス法は，大規模問題において計算コストが高くなる場合がある。
- GPUを活用した一次元法により，LPソルビングの並列化と高速化を目指す。
- GPU上で複数の線形計画問題を並列に解くためのバッチ化一次元法を提案した。
- 行列と行列の演算を活用することで，GPUアーキテクチャにおいて計算効率を向上させた。
- 特定の条件下において，一次元法が従来のシンプレックス法よりも優れた性能を発揮することが示された。
逐次モンテカルロによる効率的な確率的最適化 [stat.ML, cs.LG, stat.CO]目的：困難な勾配を持つ関数の効率的な最適化
- 機械学習や統計において，勾配計算が困難な関数最適化は頻繁に発生する重要な課題である。
- 従来の確率的近似法では，勾配推定に高コストな内部サンプリングが必要となり，計算量が問題となる。
- 本研究は，高コストな内部サンプリングを効率的な逐次モンテカルロ近似に置き換えることで，計算効率を向上させる。
- 逐次モンテカルロサンプラーを用いることで，困難な勾配を持つ関数の最適化が可能となることが示された。
- 提案手法は，エネルギーベースモデルの報酬調整において有効であることが，様々な設定下で実証された。
- 本手法の基本的な再帰式の収束性が理論的に確立された。
MEIDNet：逆材料設計のためのマルチモーダル生成AIフレームワーク [cond-mat.mtrl-sci, cs.AI, cs.LG, physics.comp-ph]目的：逆材料設計のためのマルチモーダル生成AIフレームワーク
- 材料開発は，社会の発展に不可欠であり，効率的な手法が求められている。
- 従来の材料探索は，計算コストが高く，効率が低いという課題があった。
- 本研究は，AIを活用し，材料探索の効率化と新規材料の発見を目指す。
- MEIDNetは，構造情報と材料特性を共同で学習するマルチモーダルなフレームワークである。
- クロスモーダル学習により，潜在空間の整合性が高く，効率的な学習を実現している。
- 低バンドギャップペロブスカイト構造の生成において，高い新規性を示す結果が得られた。
最適な執行スケジュール生成への多様なアプローチ [q-fin.TR, cs.LG]目的：取引執行における多様な戦略ポートフォリオの生成
- 市場の流動性やボラティリティは常に変化するため，状況に適応した執行戦略が不可欠である。
- 従来の最適化手法は単一の最適な戦略に焦点を当てがちで，多様な市場環境への対応が難しい。
- 品質多様性アルゴリズムを用いて，市場状況に応じた専門的な戦略を生成し，執行パフォーマンスを向上させる。
- MAP-Elitesは，流動性やボラティリティに応じて特化した複数の執行戦略を生成することに成功した。
- 個々の専門戦略は，特定の市場状況において8〜10％のパフォーマンス改善を示した。
- シミュレーション環境は，現実の市場を反映しており，高品質なベースラインポリシーの構築に貢献した。
文法誘導学習と探索によるアルファの発見 [q-fin.CP, cs.AI, cs.LG]目的：アルファファクターの自動発見
- 定量金融において，収益性の高いアルファファクターの探索は重要である。
- 既存手法は構文・意味的制約を無視し，非構造化空間を網羅的に探索するため非効率である。
- 構文的に有効で解釈可能なアルファファクターを効率的に発見し，取引収益性を向上させる。
- AlphaCFGは，文法に基づいたアルファファクターの定義と発見のためのフレームワークである。
- 実験の結果，中国と米国の株式市場データにおいて，AlphaCFGは最先端の手法を上回る探索効率と取引収益性を示した。
- AlphaCFGは，アセットプライシングやポートフォリオ構築を含む定量金融におけるシンボリックファクター発見の一般的なフレームワークとして機能する。
好奇心：内在動機に基づくモジュール式多目標強化学習 [cs.AI]目的：内在動機による探索を通じた自律的な目標設定とカリキュラム構築
- 開かれた環境下での自律学習には，エージェントが自ら目標を設定し，学習を進める必要があり，重要性が高まっている。
- エージェントは多様な目標を考慮するが，容易な目標と不可能な目標が存在し，最適な目標選択が課題である。
- 学習可能な目標の習熟度を最大化するため，学習進捗の大きい目標に焦点を当てることで，この課題を解決する。
- 提案手法CURIOUSは，モジュール化された汎用価値関数近似器と，自動カリキュラム学習メカニズムを組み合わせている。
- エージェントは複雑性の高い目標に順次焦点を当て，忘れかけている目標にも再注目することで，発達的な自己組織化を実現する。
- 新しいモジュール式目標ロボット環境での実験により，目標の選択における頑健性，忘却，身体特性の変化への耐性が確認された。
有向グラフに対するパラメータ化べき乗反復クラスタリング [cs.RO, cs.LG, stat.ML]目的：有向グラフの頂点レベルクラスタリング手法
- グラフ構造の分析は，ネットワーク科学や機械学習において不可欠である。
- エッジの方向性により，既存のスペクトル法が適用困難であり，計算コストも高い。
- 効率的かつ高精度な有向グラフクラスタリング手法の開発。
- 提案手法ParPICは，パラメータ化された可逆ランダムウォーク演算子を用いることで，クラスタリング精度を向上させた。
- 拡散時間の自動調整と最終埋め込みの効率的な切り捨てにより，計算量を削減し，スケーラビリティを改善した。
- 合成データと実データでの実験により，ParPICが既存手法と同等以上のクラスタリング精度を達成することが示された。
ADAMの分散削減版の収束と発散に関する結果 [cs.LG, math.OC]目的：ADAMの収束性改善
- 深層学習の訓練において，最適化アルゴリズムは不可欠であり，性能向上に大きく貢献している。
- ADAMは効率的だが，特定の条件下で発散することが知られており，その原因が不明確である。
- 分散削減によりADAMの収束性を保証し，発散問題を解決することを目指す。
- ADAMの発散は，勾配の分散が原因であることが示唆された。
- 分散削減版ADAMは，理論的に収束することが証明された。
- 数値実験の結果，提案手法はADAMと同等の性能を発揮することが確認された。
継続学習のための低冗長性知識蒸留 [cs.LG, cs.AI]目的：継続学習におけるモデル性能と学習効率の向上
- 脳の文脈ゲーティング機構に着想を得て，過去の知識を維持しつつ新しい知識を獲得する継続学習は重要である。
- 既存の継続学習手法は精度向上に偏りがちで，学習効率が十分でないため，実用上の制約がある。
- モデルと教師モデルの冗長性を排除し，リハーサルサンプルの最適化により，効率と精度を両立させる。
- 提案手法LoRDは，学生モデルと教師モデルのパラメータ圧縮とプルーニングにより，過去の知識の保持と最適化を実現する。
- LoRDは，タスク固有の知識を分離することなく，高い精度と低い学習FLOPsを達成する。
- 様々なベンチマークデータセットでLoRDの優位性が確認された。
敵対的欠損過程下における公平なグラフ機械学習 [cs.LG]目的：敵対的欠損過程下での公平なグラフ機械学習手法
- グラフ構造データは社会インフラ等に応用され，公平性が重要視されている。
- 既存研究では，属性の欠損がランダムであるか，完全観測される前提がある。
- 欠損過程が敵対的な場合に公平性を損なう問題を解決する。
- 提案手法BFtSは，公平性を最悪の状態と仮定して欠損値を補完する。
- 2人の敵対者がGNN分類器に対して協力して攻撃し，分類器は最大バイアスを最小化する。
- 合成データと実データでの実験により，BFtSは既存手法より公平性と精度のトレードオフが優れていることが示された。
バナッハ空間値を持つランダム特徴モデルの普遍近似性：ランダムニューラルネットワークを含む [cs.LG, math.PR, stat.ML]目的：大規模カーネル近似のためのデータ駆動型教師あり機械学習技術であるランダム特徴学習のバナッハ空間値拡張
- 機械学習において，大規模データに対する効率的なカーネル法は重要な課題である。
- 従来のカーネル法は計算コストが高く，大規模データへの適用が困難である。
- ランダム特徴モデルを用いて，計算コストを抑えつつ汎化性能を確保することを目指す。
- ランダム特徴モデルをバナッハ空間値の確率変数と捉え，対応するボハナー空間における普遍近似定理を証明した。
- ランダムな重み初期化による単隠れ層フィードフォワードニューラルネットワーク（ランダムニューラルネットワーク）に対する普遍近似性も確立した。
- 近似誤差と計算コストの関係を解析し，ランダム特徴モデルの実験的な優位性を示した。
大規模言語モデルのダウンストリームタスク性能に対するスケーリング則 [cs.CL, cs.LG, stat.ML]目的：大規模言語モデルのダウンストリームタスク性能のスケーリング則
- 大規模言語モデルの設計において，スケーリング則は重要な指針となる。
- 既存研究は主に事前学習の損失のスケーリング則に焦点を当てていた。
- 転移学習設定における事前学習データの選択と規模の影響を明らかにすること。
- 転移学習においては，事前学習データとダウンストリームデータの分布の整合性が重要である。
- 分布の整合性が十分であれば，事前学習データの増加に伴い，ダウンストリーム性能は単調に向上する。
- 分布の不整合がある場合，性能が変動または低下することが示唆された。
識別可能な潜在的加法性ノイズモデルへ [cs.LG, stat.ME, stat.ML]目的：因果表現学習における識別可能性の向上
- データ生成の根本的な因果構造を理解することは，AIの信頼性と解釈可能性を高める上で重要である。
- 既存手法は識別可能性の強い仮定を必要とし，現実世界の複雑なデータへの適用が困難である。
- 潜在変数間の因果関係の変化を利用し，より緩やかな制約下での識別可能性を確立すること。
- より一般的な枠組みを構築し，部分的な識別可能性の結果を弱い条件の下で導出した。
- 潜在的後期非線形モデルを含む，より広範なモデルクラスへの分析を拡張した。
- 合成データおよび半合成データセット，さらに人間の動作解析への適用を通して，提案手法の有効性を示した。
異種電子カルテシステムにおける費用対効果の高い参加者選択を用いた連合学習 [eess.SY, cs.SY, cs.LG]目的：異種電子カルテシステムに対する，費用対効果の高い連合学習モデル構築
- 医療データ量は増加の一途を辿り，臨床予測モデルの精度向上への期待が高まっている。
- 電子カルテシステムの異質性が，モデルの互換性を阻害し，データ標準化のコスト増を招く。
- 限られた予算内で，各医療機関に特化した予測モデルを構築することを目指す。
- 提案手法EHRFLは，テキストベースの電子カルテモデリングにより，機関間互換性を高める。
- 患者埋め込み類似度に基づく参加者選択戦略により，計算コストを削減し，性能を維持する。
- 複数のオープンソース電子カルテデータセットで有効性が確認された。
深層強化学習と局所報酬を用いた適応スウォームメッシュ細分化 [cs.DC, cs.MS, cs.CY, cs.LG, cs.MA]目的：物理シミュレーションにおけるメッシュ細分化の効率化と精度向上
- 工学分野において，物理システムのシミュレーションは不可欠であり，その精度と効率が重要である。
- 従来の有限要素法は複雑な問題において計算コストが増大し，適応メッシュ細分化もヒューリスティックに依存しやすい。
- 深層強化学習を用いて，複雑なシミュレーションにおいても効率的かつ安定的なメッシュ細分化を実現すること。
- 提案手法ASMR++は，ヒューリスティック手法や既存の機械学習ベースの手法よりも優れた性能を発揮し，高精度なメッシュ生成を実現した。
- ASMR++は，推論時に異なるドメインへの汎化が可能であり，より要求の厳しい設定において均一な細分化よりも最大2桁高速にシミュレーションを実行できる。
- エージェント間の協調により，局所的な報酬に基づいてメッシュ要素エラーを削減する空間的な報酬形成が可能となった。
安全性と迅速性の調和：FDAの医療機器承認ポリシー強化への人間・アルゴリズム連携アプローチ [cs.DC, cs.CL, cs.LG, cs.HC, math.OC, stat.ML]目的：FDAの510(k)医療機器承認プロセスの改善
- 医療機器の安全確保は公衆衛生において極めて重要であり，迅速な承認とのバランスが課題。
- 510(k)手続きの曖昧さにより，承認後のリコール率が高く，安全性への懸念が生じている。
- リコールリスクの低減とFDAの業務負荷軽減を目指す。
- 提案する人間・アルゴリズム連携アプローチは，既存の手法と比較してリコール率を32.9%改善する。
- また，FDAの業務負荷を40.5%削減することが示された。
- このアプローチにより，医療システム全体で年間約17億ドルのコスト削減が見込まれる。
転移学習に基づく説明可能なビジョンTransformerによる効率的な干ばつストレスの識別 [cs.CV, cs.AI, cs.ET, cs.LG]目的：干ばつストレスの効率的な識別
- 食糧生産において，干ばつは深刻な脅威であり，早期発見と対策が不可欠である。
- 従来の識別方法は，微妙な兆候の検出が難しく，迅速な対応が遅れる場合がある。
- 画像データとTransformerを用いることで，早期かつ正確な干ばつストレスの識別を目指す。
- 提案手法は，高い精度で干ばつストレスを識別できることを示した。
- ViTモデルの注意機構を可視化することで，干ばつストレスの識別における重要な空間的特徴を明らかにした。
- 本研究は，農家が作物の管理判断を行うための，堅牢かつ解釈可能なソリューションを提供する。
1つのモデルでどんな接続クエリにも対応：不完全な知識グラフに対するクエリ応答のためのグラフニューラルネットワーク [cs.LG, cs.AI]目的：不完全な知識グラフに対するクエリ応答
- 現代の知識グラフは不完全であり，その活用には限界がある。
- 既存手法では，複雑なクエリや未知の知識グラフへの対応が困難である。
- 不完全な知識グラフにおいても，信頼性の高いクエリ応答を実現すること。
- 提案手法AnyCQは，様々な知識グラフと接続クエリに対して汎用的に答えを分類・検索できる。
- AnyCQは，Booleanクエリへの応答を学習するために強化学習を用い，小規模なデータから大規模なクエリへ一般化する。
- リンク予測モデルと組み合わせることで，新しい知識グラフへの転移学習も可能であり，不完全なデータに対するクエリの可能性を広げる。
オフラインモデルベース強化学習のスケーリング：共同最適化されたワールド・アクションモデル事前学習 [eess.SY, cs.SY, physics.ao-ph, cs.LG, cs.AI]目的：大規模かつ多様なデータセットから高い能力を持つ汎用的なエージェントの開発
- オフライン強化学習は，実世界の複雑な問題への応用が期待されており，データ効率の良い学習が重要である。
- 既存手法では，専門家の軌跡に依存したり，多様な未学習タスクへの一般化が困難であったりする問題がある。
- 画像観測に基づくワールドモデルを活用し，オフライン強化学習のスケーリングと未学習タスクへの一般化性能の向上を目指す。
- 提案手法JOWAは，複数のAtariゲームで事前学習を行い，汎用的な表現と意思決定能力を獲得した。
- 大規模なモデル（1億5000万パラメータ）を用いて，事前学習されたゲームにおいて人間のレベルの性能の78.9%を達成した。
- JOWAはモデル容量のスケーリングに有利であり，わずかなオフラインデータで新しいゲームへの効率的な転移が可能である。
WLテストは万能ではない：分散計算の観点からのWLテストの困難性とGNN表現力の再検討 [cs.LG, cs.AI]目的：グラフニューラルネットワークの表現力に関する理解
- グラフ構造データの解析において，GNNは強力なツールとして注目されている。
- GNNの表現力を評価する上で，WLテストが基準として用いられることが多いが，その限界が指摘されている。
- WLテストの限界を克服し，GNNの表現力をより正確に評価するための新たな枠組みを提案すること。
- 本研究では，従来のWLテストの困難性に関する結果を強化し，それがGNNによって実装するには不十分であることを示した。
- 拡張されたCONGESTモデルに基づき，GNN表現力の研究のための新たな枠組みを提案した。
- 仮想ノードや仮想エッジを持つグラフにおいて，WLテストの限界を明らかにした。
ポケット内の大規模言語モデルの理解：市販モバイルデバイスにおける性能研究 [cs.LG]目的：市販モバイルデバイスにおける大規模言語モデルの性能評価
- LLMが普及する中で，プライバシー保護の観点からローカル環境での利用が重要になっている。
- モバイルデバイス上でのLLM性能は，ユーザー体験と開発の両面で十分な検討がなされていない。
- モバイルデバイスにおけるLLMの性能ボトルネックを特定し，改善に資する知見を提供する。
- Gemini NanoやLLAMA2 7Bといった軽量LLMの，モバイルデバイス上での性能を包括的に測定した。
- トークン処理速度，遅延，応答品質といったユーザー視点の指標と，リソース使用量やバッテリー消費などの開発者視点の指標を評価した。
- 主要ベンダーのSoC間での性能比較を行い，モバイルLLMアプリケーションにおけるボトルネックの特定に役立つ情報を提供した。
OD-Stega：最適化された分布に基づくLLMを用いた比較的高セキュリティなステガノグラフィ [cs.IT, cs.AI, cs.CL, cs.CR, cs.LG, math.IT]目的：LLMを用いたテキスト埋め込みによるステガノグラフィ手法
- 情報セキュリティにおいて，秘密情報を隠蔽する技術は重要な課題である。
- 従来のステガノグラフィは，埋め込み容量や自然さの点で課題が残されている。
- LLMの性質を利用し，より効率的かつ自然なステガノグラフィを実現する。
- 提案手法は，次に来るトークンの生成確率分布の最適化により，少ないトークン数で秘密情報を埋め込むことを可能にした。
- KLダイバージェンスまたは全変動制約下での解析解を提供し，実用的な課題への対応を示した。
- トークン化の不一致問題の解決や，既存のステガノグラフィ技術との組み合わせも検討された。
SAC-GLAM: ソフトアクター・クリティックと後付けリラベルを用いたLLMエージェントのオンライン強化学習の改善 [cs.LG, cs.AI]目的：LLMエージェントにおけるオンライン強化学習の性能向上
- LLMは生成モデルとしてだけでなく，テキストによる順序決定タスクを解決するエージェントとしても注目されている。
- 既存研究はオンポリシーアルゴリズムに限定され，LLMエージェントが利用できる探索・利用手法が限られていた。
- LLMエージェントにオフポリシー学習を導入し，自己目的型エージェントの実現を目指す。
- ソフトアクター・クリティックと後付けリラベルをLLMエージェントに適用する手法を提案した。
- 提案手法は，より古典的なマルチゴール強化学習環境においても，オンポリシー手法を上回る性能を示した。
- 本研究は，オンラインで学習する自己目的型LLMエージェントの実現に向けた道を開く。
グラフニューラルネットワークの状態はグラフの特性を含むか？ [cs.LG, cs.AI]目的：グラフニューラルネットワークにおける表現の学習
- 深層学習は高い性能を示すが，モデル規模の拡大が課題。
- グラフニューラルネットワークの非ユークリッド性は，既存の解釈手法の適用を困難にする。
- グラフ構造特性を埋め込みに反映させる表現学習の解明。
- 提案手法により，グラフ理論的特性がグラフニューラルネットワークの表現学習に寄与することが示唆された。
- 様々なアーキテクチャとデータセットで，モデルの学習表現を検証するパイプラインを確立した。
- この研究は，グラフニューラルネットワークに対する理解と信頼性の向上に貢献する。