arXiv雑要約
AI - 2025/10/13 公開
時空間予測を計画として：生成型ワールドモデルを用いたモデルベース強化学習アプローチ [cs.LG, cs.AI]目的：時空間予測のための新たなパラダイム
- 物理現象の予測は，科学技術の発展に不可欠であり，気象予測やロボット制御など，幅広い分野で利用されている。
- 従来の予測手法は，確率的な揺らぎや微分不可能な評価指標によって，予測精度が制限される場合がある。
- 本研究は，予測の不確実性と評価指標の問題を解決し，高精度な時空間予測を実現することを目指す。
- 本研究では，モデルベース強化学習に基づき，生成型ワールドモデルを用いて多様な未来の状態をシミュレーションする「時空間予測を計画として」という新しいアプローチを提案した。
- 提案手法では，予測モデルをエージェントとして捉え，ビームサーチに基づく計画アルゴリズムを用いて，高い報酬が得られる未来の状態を探索する。
- 探索された高報酬の状態を擬似ラベルとして利用することで，予測モデルの性能を継続的に向上させ，極端な現象の捕捉など，重要な評価指標で優れた性能を示した。
低精度Transformer学習が失敗する理由：Flash Attentionの分析 [cs.LG, cs.AI]目的：低精度Transformer学習における損失爆発のメカニズム解明
- Transformerモデルの効率的な学習は重要であり，低精度化はそのための有力な手法である。
- 低精度化は学習不安定性を引き起こし，性能低下の要因となる場合がある。
- Flash Attentionを用いた低精度学習における損失爆発の原因を特定し，解決策を提示する。
- 低精度化において，Attention機構内で類似した低ランク表現が出現することが損失爆発の一因である。
- 低精度演算に固有の丸め誤差の偏りが，誤差の蓄積を悪化させ，学習を不安定化させる。
- Flash Attentionの修正により丸め誤差の偏りを軽減し，学習の安定化に成功した。
MLLMEraser：活性化ベクトル操作によるマルチモーダル大規模言語モデルのテスト時アンラーニング [cs.LG, cs.AI]目的：マルチモーダル大規模言語モデルにおけるテスト時アンラーニング手法
- 大規模言語モデルの利用拡大に伴い，プライバシー保護の重要性が増している。
- 既存のアンラーニング手法は計算コストが高く，学習データの知識を歪める可能性がある。
- 学習を行わずに，効率的かつ安全に不要な情報を消去する手法を確立すること。
- MLLMEraserは，入力に応じて活性化ベクトルを操作し，パラメータ更新なしで知識の消去を実現する。
- 知識を想起させる画像-テキストペアと消去ペアとの対照により，テキストと視覚の両方の差異を捉えた消去方向を構築する。
- LLaVA-1.5とQwen-2.5-VLでの実験により，既存手法よりも優れた性能と低い計算コストが確認された。
打ち切りカーネル確率的勾配降下法：汎用損失と球面基底関数 [cs.LG]目的：大規模教師あり学習における新しいカーネル確率的勾配降下法
- 機械学習において，カーネル法は非線形な関係性を捉え，高い予測精度を実現する重要な手法である。
- 従来のカーネル法の計算コストは高く，大規模データセットへの適用が困難であるという課題があった。
- 効率性とスケーラビリティを向上させ，汎化性能を高めるカーネル確率的勾配降下法を開発すること。
- 本研究では，球面基底関数の無限級数展開を利用した新たな正則化戦略を導入し，有限次元の仮説空間への射影を行うことで効率化を実現した。
- カーネル誘起共分散演算子のスペクトル構造の新しい推定に基づき，最適化と汎化解析を統一する解析的枠組みを構築した。
- 提案手法は，最小二乗法，Huber損失，ロジスティック損失など，幅広い損失関数に対応し，計算複雑性とストレージ複雑性を大幅に削減する。
LLMにおける信頼性の高いバックドア防御のための毒への対抗策 [cs.CR, cs.AI, cs.CL]目的：大規模言語モデルにおけるバックドア攻撃に対する，汎用的かつ効果的な防御アルゴリズムの開発
- 大規模言語モデルの信頼性と安全性は重要であり，悪意のある攻撃から保護する必要がある。
- 既存の防御戦略は，特定の攻撃やタスクにしか通用せず，汎用性に欠ける点が課題である。
- 本研究は，様々な攻撃やタスク設定において有効な，より汎用的な防御手法を確立することを目指す。
- 提案手法P2Pは，安全な代替ラベルを持つ良性トリガーを訓練データに注入し，プロンプトベースの学習によりモデルを再学習させる。
- これにより，トリガー誘発された表現が安全な出力と関連付けられ，元の悪意のあるトリガーの影響を打ち消す。
- 実験の結果，P2Pは分類，数学的推論，要約生成などのタスクにおいて，攻撃成功率を大幅に低減することが示された。
ビジョンエンコーダのポストトレーニング量子化にはプレフィックスレジスタが必要である [cs.LG, cs.CV]目的：ビジョンエンコーダにおける量子化による推論コスト削減
- マルチモーダル知能の中核であり，様々な応用を支えるため。
- 大規模な活性化による外れ値が，量子化の精度低下を引き起こす。
- 外れ値の抑制により，精度の低下を最小限に抑えた量子化を実現する。
- 提案手法RegCacheは，外れ値の影響を受けやすいプレフィックストークンを導入することで，他のトークンの外れ値を抑制する。
- ビジョンエンコーダにおける外れ値の振る舞いは，言語モデルとは異なり，中間層へのプレフィックス適用やトークン削除が有効であることが示された。
- RegCacheは，テキスト教師あり学習および自己教師あり学習によるビジョンエンコーダにおいて，量子化されたモデルの精度を安定的に向上させる。
マルチモーダル脳符号化モデルの動的被験者認識ルーティングによる改善 [eess.SY, cs.RO, cs.SY, cs.AI]目的：マルチモーダルfMRI符号化モデルの性能向上
- 脳機能解明には，視覚・聴覚などの多様な情報を統合した解析が不可欠である。
- 従来のモデルでは，被験者間の個人差や最適な情報融合方法が課題となっていた。
- 本研究では，被験者特化的な動的ルーティングにより，これらの課題を解決することを目指す。
- AFIREという標準化インターフェースとMINDという混合エキスパートデコーダーを導入した。
- MINDは，被験者情報を考慮した動的ゲート機構により，エキスパートの活用を最適化する。
- 実験の結果，既存手法と比較して予測精度が向上し，被験者間の汎化性能も改善された。
疾患間の相互関係の解明：統計的手法から大規模言語モデルへ [cs.LG, cs.AI]目的：疾患間の相互関係を明らかにするための多様なアプローチの評価
- 大規模な臨床データから疾患間の関連性を発見することは，医療の発展に不可欠である。
- 既存手法は，専門家の主観に左右されやすく，労力がかかるという課題があった。
- 本研究は，疾患間の新たな関連性を発見し，医療分野の知識基盤を構築することを目指す。
- 大規模言語モデルを用いたアプローチは，他の手法と比較して，疾患間の相互接続の多様性が低いことが示された。
- この結果は，大規模言語モデルが新たな疾患間の関連性を発見する能力には限界があることを示唆している。
- 得られた疾患間の相互関係は，今後の臨床研究や医療AI応用のための貴重な資源となりうる。
モデルベースフレームワークによる深層学習最適化のための適応型メモリモーメンタム [cs.LG]目的：深層学習の最適化における適応的なメモリモーメンタムのメカニズム
- 深層学習モデルの学習はモーメンタムに基づく最適化手法が主流であり，性能向上に不可欠である。
- 従来のモーメンタム係数は固定されており，最適な値は問題に依存するため，汎用性に課題があった。
- 学習中に動的に調整されるモーメンタム係数により，最適化プロセスを改善し，より良い性能を実現すること。
- 本研究で提案する適応型メモリメカニズムは，現在の勾配と過去の勾配の累積メモリを用いて，目的関数を近似する。
- SGDおよびAdamWの適応型メモリ変種を様々なタスクで実装した結果，従来の最適化手法を上回る性能が確認された。
- この研究は，最適化における適応性を生み出す新たな方法の可能性を示唆している。
強化学習LLMトレーニングのための適応的サンプリングフレームワークReinforce-Ada [cs.LG, cs.AI, cs.CL, stat.ML]目的：大規模言語モデルの強化学習における効率的なデータキュレーション手法
- LLMの推論能力向上には強化学習が有効だが，安定した学習が課題である。
- プロンプトごとの固定的なサンプリングでは，勾配の不安定性がボトルネックとなる。
- 不確実性または学習ポテンシャルの高いプロンプトに重点的にサンプリングすることで，学習効率を改善する。
- Reinforce-Adaは，推定とサンプリングをオンラインで繰り返すことで，効率的に学習を進める。
- 報酬の多様性を確保し，グローバル統計量を用いた優位性ベースラインを計算することで，学習の安定性を高めている。
- 実験結果から，GRPOと比較して，特にバランスサンプリングにおいて，収束が加速し，最終的な性能が向上することが示された。
ハイブリッド線形注意変換法のコンポーネント不均衡の解消 [cs.LG, cs.AI, cs.CL]目的：ハイブリッド線形注意変換法におけるコンポーネント不均衡の特定と解決
- Transformerモデルの性能は高いが，計算コストが高く，大規模化に課題がある。
- 線形注意は計算コストを削減するが，ゼロから学習するのは依然として困難である。
- ハイブリッド変換法の線形成分の活用を促し，性能維持と線形注意の有効性を両立する。
- 既存のハイブリッド変換法では，線形成分が無視され，SWAに依存していることが判明した。
- 推論時のハイブリッド化，HedgeCATs，SSDの3つの解決策を提案し，コンポーネントのバランスを改善した。
- 提案手法は計算効率を維持しつつ，ベースモデルの性能を回復し，線形注意の活用を促進する。
門戸に野蛮人が押し寄せる：AIがシステム研究を根底から覆す [cs.FL, cs.HC, cs.CL, cs.AI]目的：AIを活用したシステム研究の新たなアプローチの確立
- システム研究は，計算機システムの性能向上に不可欠であり，社会基盤を支える重要な分野である。
- 既存のアルゴリズム設計は，人間の知識と経験に依存しており，効率的な探索が困難である。
- AIによる自動的なアルゴリズム探索を通じて，性能向上とコスト削減を実現すること。
- AI駆動型研究(ADRS)により，既存のアルゴリズムを凌駕する性能を持つアルゴリズムが発見された。
- 特に，実行時間で最大5.0倍の改善，コストで50%の削減を達成した事例がある。
- 研究者は問題設定と戦略的指針に注力し，AIがアルゴリズム設計の中心的役割を担うようになるだろう。
LLMにおける責任あるAIのための，スケーラブルな多言語個人情報アノテーション [cs.CL, cs.AI]目的：LLMにおける個人情報(PII)の信頼性ある取り扱いを保証するための，多言語データキュレーションフレームワーク
- LLMの普及に伴い，多様な規制状況下で個人情報保護が不可欠となっている。
- データキュレーションの対象が限られており，特に表現の少ない地域における高品質なアノテーションが課題である。
- 13の地域に特化したPIIタイプに対応する，高品質なアノテーションデータセットを構築すること。
- 本研究で開発されたフレームワークは，パイロット段階，訓練段階，本番段階を通して，再現率と偽陽性率を大幅に改善した。
- アノテーター間合意度指標と根本原因分析を活用することで，アノテーションの不整合を体系的に特定し，解決した。
- このフレームワークは，LLMの教師ありファインチューニングに適した，高忠実度なデータセットの構築に貢献する。
高率Mixout：ロバストなドメイン汎化のためのMixout再検討 [eess.SY, cs.SY, eess.SY, cs.SY, cs.LG, cs.CV]目的：ドメイン汎化におけるロバスト性向上
- 分布シフトへの対応は，機械学習モデルの実用化において不可欠であり，その重要性は高い。
- 事前学習済みモデルのアンサンブルは有効だが，計算コストが非常に高いという課題がある。
- Mixoutの高率化により，計算コストを抑えつつアンサンブルに匹敵する性能を目指す。
- Mixoutにおいて，ViTでは0.9，ResNetでは0.8という高いマスク確率が，ドメイン汎化性能向上の鍵となることが示された。
- 高率のマスクは，事前学習済みパラメータからの逸脱を強く抑制し，未知ドメインへの汎化性能を向上させる。
- 高率Mixoutは，勾配計算量を最大45%，勾配メモリ使用量を最大90%削減し，計算コストを大幅に低減する。
ペアごとの比較によるオンライン評価基準の抽出 [cs.HC, cs.HC, cs.RO, cs.RO, cs.CL, cs.AI, cs.LG]目的：大規模言語モデルの学習における評価基準の動的な抽出と改善
- 言語モデルの性能向上には，人間の選好を反映した学習が重要である。客観的な評価が難しい場合に特に有効。
- 従来の静的な評価基準は，モデルがそれを逆手に取る可能性があり，学習が進むにつれて新たな要件に対応できない。
- 本研究は，学習中に動的に評価基準を更新することで，モデルの行動をより適切に誘導し，性能を向上させる。
- 提案手法（OnlineRubrics）は，既存の静的な評価基準のみを使用する場合と比較して，複数の評価データセットで最大8%の性能向上を達成した。
- 抽出された評価基準の分析から，透明性，実用性，構成，推論といった重要なテーマが明らかになった。
- 本手法は，学習の進行に伴う誤りの継続的な特定と軽減を可能にする。
ヘイスタックエンジニアリング：多様かつエージェント的な長文コンテキスト評価のためのコンテキストエンジニアリング [eess.SY, cond-mat.mtrl-sci, cs.SY, cs.CL, cs.AI, cs.IR]目的：異種かつエージェント的な長文コンテキスト評価のためのコンテキストエンジニアリング手法
- 大規模言語モデルの性能向上に伴い，長文コンテキスト処理能力の評価が重要になっている。
- 既存の評価手法は，現実世界のノイズやバイアスを考慮していない場合が多い。
- 現実的なノイズとエラーを含む長文コンテキストによる，よりロバストな評価手法を開発する。
- 既存のNIAHベンチマークでは捉えきれない，検索バイアスやエージェントワークフローにおける連鎖的エラーの影響が示された。
- グラフベースの再ランキングは，検索の有効性を高めると同時に，有害なノイズを軽減する効果が確認された。
- Gemini 2.5 ProやGPT-5を含む高度なモデルでも，自己生成されたノイズや早期停止の困難さから連鎖的失敗が発生することが示された。
人間チームの教訓をマルチエージェントシステムに適用できるか：構造，多様性，相互作用ダイナミクスの役割 [cs.CL, cs.CL, cs.AI]目的：マルチエージェントシステムにおけるチームダイナミクスの研究
- 複雑な問題解決において，人間の協調的チームの重要性が認識されている。
- LLM搭載エージェントからなるマルチエージェントシステムのチームダイナミクスは未解明な点が多い。
- 人間のチーム科学の知見を応用し，マルチエージェントシステムのチームパフォーマンス向上を目指す。
- フラットなチーム構造が，階層的な構造よりも高いパフォーマンスを示す傾向があることが示された。
- 多様性の影響はタスクによって異なり，一概には言えないことが明らかになった。
- エージェントはチームのパフォーマンスを過信する傾向がある一方，協調性や統合における課題を認識している。
チャートモデル評価のための小型LVLMジャッジの活用：得られた教訓とベストプラクティス [cs.CL, cs.LG]目的：チャートモデルの評価における小型LVLM（Large Vision-Language Model）の有効性
- ビジネスインテリジェンス等で，チャートの理解は不可欠であり，自動評価技術のニーズが高い。
- 大規模なLVLMは計算資源を必要とし，リソース制約のある環境での利用が困難である。
- 小型LVLMの性能を向上させ，低コストでスケーラブルなチャート評価を実現すること。
- マルチ基準プロンプティングにより，7Bモデルを含むLVLMの堅牢性に課題が明らかになった。
- 2Bパラメータの小型LVLM（ChartJudge）は，データセット間の知識転移により高い専門性を獲得できることが示された。
- モデルサイズ，プロンプト設計，転移学習可能性間のトレードオフに関する知見が得られた。
SurveyG：階層的引用グラフを用いた自動サーベイ生成のためのマルチエージェントLLMフレームワーク [cs.AI]目的：自動サーベイ生成のためのマルチエージェントLLMフレームワーク
- 学術分野の進捗を把握するため，サーベイ論文は重要な役割を担う。
- 既存手法では，論文間の構造的関係が考慮されず，サーベイの体系性や文脈理解が不十分である。
- 論文間の引用関係と意味的関連性を考慮し，構造化されたサーベイを生成することを目的とする。
- 提案手法SurveyGは，階層的引用グラフを用いて，基礎，発展，最前線という3層構造で研究の進化を捉える。
- 層内水平探索と層間垂直探索を組み合わせることで，多層的な要約を生成し，構造化されたサーベイのアウトラインを作成する。
- 人間専門家やLLMによる評価実験の結果，SurveyGは既存手法を上回り，より包括的で構造化されたサーベイを生成することが示された。
GRADE：適応的ディリクレ探索を用いたグループ相対強化学習によるパーソナライズされたマルチタスク融合 [cs.RO, cs.LG]目的：パーソナライズされたマルチタスク融合の実現
- 現代のレコメンダーシステムや検索システムにおいて，複数の目的のバランスがユーザー満足度に不可欠である。
- 既存のマルチタスク融合手法は，静的で手動調整された重みに依存しており，個々のユーザーの意図を捉えきれないという課題がある。
- GRADEは，大規模システムにおける訓練の不安定性や疎な報酬といった問題を克服し，パーソナライズされた融合を可能とする。
- GRADEは，批判関数を用いないグループ相対ポリシー最適化（GRPO）パラダイムを採用し，安定かつ効率的なポリシー学習を実現した。
- ディリクレ分布を用いることで，重み空間の構造化された探索を可能にし，疎なユーザーフィードバックと密なモデル事前知識を組み合わせた報酬関数を設計した。
- 大規模なA/Bテストにおいて，GRADEはCTR，CVR，OPM，総注文量においてそれぞれ+0.595%，+1.193%，+1.788%，+1.568%の改善を達成した。
SketchGuard：スケッチに基づくスクリーニングによる，ビザンチン耐性分散型連合学習のスケーリング [cs.LG, cs.DC]目的：分散型連合学習におけるビザンチン攻撃に対する耐性を高める手法
- プライバシー保護と分散学習の重要性が高まる中，中央サーバーを介さない連合学習への関心が増している。
- 分散型連合学習は，悪意のあるクライアントによる攻撃に脆弱であり，その対策が求められている。
- 高次元モデルの比較コストを削減し，大規模な分散環境での実用化を目指す。
- SketchGuardは，モデルの集約とビザンチンフィルタリングを分離することで，通信コストと計算コストを大幅に削減する。
- Count Sketchを用いたスケッチによる近似により，モデルの次元を圧縮し，必要なモデルの取得を絞り込む。
- 理論的収束性保証が確立されており，実験結果からもSketchGuardが既存手法と同等の堅牢性を維持しつつ，大幅な高速化と通信量の削減が示されている。
重みは少なく，問題は多く：LLMプルーニングに対する実用的な攻撃 [cs.CE, cs.LG, cs.AI, cs.CR]目的：LLMプルーニングのセキュリティリスクの検証
- LLMは高性能だが，巨大なメモリ消費量が課題であり，効率的な推論が求められている。
- モデルプルーニングはメモリ消費量を削減する有効な手法だが，セキュリティへの影響は十分に調査されていない。
- プルーニング時に悪意のある動作を誘発する攻撃手法を提示し，LLMの安全な圧縮展開を目指す。
- 本研究では，LLMプルーニングが悪意のある利用者に悪用される可能性があることを初めて示した。
- 攻撃者は，プルーニングされにくいパラメータに悪意のある動作を埋め込み，プルーニングされやすいパラメータで隠蔽することで攻撃を成功させる。
- vLLMにおけるMagnitude，Wanda，SparseGPT等のプルーニング手法に対し，高い攻撃成功率（最大99.5%）を確認した。
ローカルPageRank計算のための加速進化集合プロセス [cs.LG]目的：パーソナライズドPageRank (PPR) 計算の高速化
- 大規模グラフ分析において，PageRankは重要な指標であり，その計算効率が求められている。
- 従来のPPR計算は計算コストが高く，大規模グラフへの適用が困難であるという課題がある。
- 進化集合プロセスに基づき，PPR計算の計算量を削減し，高速化を目指す。
- 提案手法は，局所的な不正確な近接点反復を用いて線形システムを解くことで計算を加速する。
- PPRベクトルの$\epsilon$-近似計算の計算量は，グラフの辺数$m$と定数$R$によって制約される。
- 実験結果により，提案手法が現実世界のグラフで効率的に動作し，初期段階で著しい収束を示すことが確認された。
PEAR：効率的な推論のための段階エントロピーを考慮した報酬 [cs.AI]目的：大規模推論モデルにおける冗長な推論ステップの抑制
- 複雑な推論タスクにおいて，大規模言語モデルの性能が向上しているが，計算コストが高い。
- 生成される推論過程が冗長になりがちで，推論コストの増大と利用性の低下を招いている。
- 段階ごとのエントロピーを制御することで，推論の簡潔さと正確性のバランスを取ることを目指す。
- 提案手法PEARは，推論段階に応じたエントロピーを報酬に組み込むことで，冗長な推論を抑制する。
- 実験の結果，PEARは応答長さを一貫して短縮しつつ，高い精度を維持することを示した。
- さらに，PEARは学習データ外の分布に対しても高いロバスト性を示すことが確認された。
グループ間不一致最小化による多様なドメインに対する教師なしマルチソース連合ドメイン適応 [cs.NI, cs.LG]目的：多様なソースドメインからのラベル付きデータを利用して，ラベルなしターゲットドメインに汎化するモデルの学習
- プライバシー保護が重要視される中で，分散環境でのドメイン適応技術の重要性が高まっている。
- ソースドメイン数が増加すると計算コストが増大し，既存手法では安定した性能が得られない場合がある。
- 多数の異種ソースドメインに対応可能な，スケーラブルで安定した連合ドメイン適応フレームワークの実現。
- GALAは，ペアワイズドメインアライメントの計算コストを削減するグループ間不一致最小化と，ターゲットとのアライメントに基づいたソースドメインの優先順位付けを導入。
- GALAは，大規模な異種ソースに対する安定した並列学習を可能にする。
- 新しいベンチマークDigit-18での実験により，GALAが既存手法を凌駕し，多様なマルチソース設定で高い性能を示すことが確認された。
ニューラル露出場によるビュー合成学習 [cs.CV, cs.AI]目的：ビュー合成のためのニューラル露出場の学習
- 3D再構成とビュー合成の質は近年飛躍的に向上しており，様々な応用が期待されている。
- 露出変化のような画像ごとの変動を含むデータでは，既存手法の出力品質が低下する問題がある。
- 本研究は，現実世界の難しい条件下でも高品質な3Dシーンを再構成する手法を確立することを目指す。
- 本研究では，3D点ごとに最適な露出値を予測するニューラル場を学習する新しい手法Neural Exposure Fields (NExF)を提案した。
- シーン表現と露出場を同時に最適化することで，高ダイナミックレンジ環境下での正確なビュー合成を実現した。
- 提案手法は既存手法よりも高速に学習し，複数のベンチマークで55%以上の改善が見られた。
寛容な0-1損失関数の多クラス学習可能性の特性評価 [cs.LG, stat.ML]目的：寛容な0-1損失関数の多クラス学習可能性
- 機械学習において，損失関数の選択は学習性能に大きく影響する重要な課題である。
- 従来の損失関数では，誤分類に対して過度にペナルティを課す場合があり，学習の妨げとなることがある。
- 本研究は，寛容な損失関数を用いた多クラス学習の理論的限界を明らかにすることを目指す。
- 寛容な0-1損失関数に対する学習可能性は，一般化されたNatarajan次元が有限であることと同値であることが示された。
- 提案された次元は，Natarajan次元に基づき，多クラス学習における複雑さを捉える。
- 集合値フィードバックを用いた学習との関連性も明らかにし，集合学習問題の学習可能性はNatarajan次元によって特徴づけられることが示された。
時系列基礎モデルのための合成系列記号データ生成 [cs.LG, cs.AI]目的：時系列基礎モデルの性能向上
- 時系列分析は，経済，気象，医療など幅広い分野で不可欠である。
- 実世界の時系列データは，不足や偏りが多く，モデルの学習を妨げる。
- 合成データ生成により，データ不足を克服し，モデルの汎化性能を高める。
- 本研究では，系列記号データ生成メカニズムを設計し，高品質な時系列データと記号表現を生成する。
- 生成されたデータを用いて，SymTimeという事前学習済み基礎モデルを開発し，時系列表現能力を向上させた。
- SymTimeは，5つの主要な時系列分析タスクにおいて，実データで学習した既存モデルと同等の性能を示した。
RLVRの最適化ダイナミクス：勾配ギャップとステップサイズ閾値 [cs.LG, cs.AI, cs.IT, math.IT, math.OC, stat.ML]目的：RLVRの学習過程における最適化のメカニズム解明
- 大規模言語モデルの性能向上は重要であり，RLVRはその有効な手法として注目されている。
- RLVRが有効であることは実証されているものの，その理論的根拠が不明確であった。
- 勾配ギャップに着目し，RLVRの収束条件と安定性を理論的に明らかにすること。
- 勾配ギャップと更新方向の整合性が，RLVRの収束に不可欠であることが示された。
- 勾配ギャップの大きさに応じたステップサイズ閾値が存在し，それを超えると性能が低下することが導かれた。
- ステップサイズの適切な設定が，応答長や成功率に依存することが理論的に予測され，実験で検証された。
活性化におけるエントロピー正則化：連続制御，大規模言語モデル，画像分類の性能向上 [cs.LG]目的：活性化関数をエントロピー制約として適用することによる性能向上
- モデルの多様性とロバスト性を高めることは，AIシステムの信頼性向上に不可欠である。
- 既存手法では，モデルの表現能力と探索能力のバランスを取ることが課題となっていた。
- 活性化関数を用いたエントロピー制御により，モデルの性能と安定性を両立させる。
- 本研究で提案するERAは，大規模言語モデルの数学的推論能力を大幅に向上させることを示した。
- 連続制御タスクにおいても，既存の強化学習アルゴリズムと比較して30%以上の性能改善を達成した。
- 画像分類タスクでは，ResNet-50のImageNetトップ1精度を0.69%向上させることに成功した。
多パラメータ正則化と集約：多項式関数回帰における検討 [math.CO, cs.DM, stat.ML, cs.LG, cs.NA, math.NA, math.ST, stat.TH]目的：多項式関数回帰における多パラメータ正則化とモデル集約のアルゴリズム
- 関数回帰は，時間変化するデータや複雑な関係性を扱う上で重要な手法である。
- 既存研究では単一パラメータの正則化に焦点が当てられており，多パラメータの最適化が課題となっていた。
- 様々な正則化パラメータを持つモデルを統合し，よりロバストな予測を可能にすることを目的とする。
- 提案手法は，理論的な根拠に基づいたパラメータ調整方法を提供し，異なる正則化パラメータを持つモデルの集約を可能にする。
- 合成データと実際の医療データを用いた評価の結果，本手法の有効性が確認された。
- 多パラメータ正則化と集約により，多項式関数回帰の精度向上が期待される。
SolNet：世界規模の太陽光発電予測のためのオープンソース深層学習モデル [eess.SP, cs.LG]目的：太陽光発電予測のための深層学習モデルの提供
- 太陽光発電の普及に伴い，安定的な電力供給のために高精度な発電量予測が不可欠である。
- 既存の深層学習モデルは高品質な大量データが必要だが，測定インフラの不足や急速な設備増設によりデータ収集が困難である。
- PVGISから生成した合成データを用いた転移学習により，データ不足下でも高精度な予測を可能にすることを目指す。
- SolNetは，オランダ，オーストラリア，ベルギーの実際の発電データを用いて，データ不足環境下およびベースラインモデルと比較して予測性能が向上することを示した。
- 特に，観測データが限られている場合に，転移学習の効果が最も大きいことが明らかになった。
- 天気データ，季節パターン，合成データ量，およびソース場所の誤指定などが結果に大きな影響を与えることが示され，転移学習の実践者への指針が提供された。
ディープCoxモデルのミニバッチ推定：統計的基礎と実践的指針 [stat.ML, cs.LG]目的：ディープCoxモデルのミニバッチ推定における統計的性質の解明と，その実践的な利用方法の提示
- 生存時間分析は，医療や信頼性工学など幅広い分野で重要であり，Coxモデルは広く利用されている。
- 深層学習を用いたCoxモデルの学習には，計算コストの課題があり，ミニバッチ法が用いられるが，その統計的性質は不明確であった。
- ミニバッチ法による推定量の統計的性質を明らかにし，より効率的な学習方法を確立することを目指す。
- ミニバッチ推定量が一致性を持つこと，および最適なミニマックス収束レートを達成することが証明された。
- 線形Cox回帰において，ミニバッチ推定量は漸近正規性を持ち，情報下限に漸近する分散を持つことが示された。
- 学習率とバッチサイズの比率がSGDのダイナミクスに重要であり，ハイパーパラメータ調整の指針が得られた。
拡散モデルに基づく画像復元のための周波数誘導型事後サンプリング [quant-ph, cs.CC, eess.IV, cs.CV, cs.LG, stat.ML]目的：拡散モデルを用いた画像復元における精度向上
- 画像復元は，劣化画像から高品質な画像を再構成する重要な技術であり，様々な分野で応用されている。
- 従来の拡散モデルに基づく復元手法は，近似誤差により画質が損なわれる場合がある。
- 本研究では，周波数領域におけるフィルタリングを導入することで，この近似誤差を低減し，復元性能を向上させる。
- 理論的解析の結果，既存手法が特定の条件下で大幅な性能劣化を起こす可能性があることが示された。
- 提案手法では，測定値の周波数領域に時間変化するローパスフィルタを導入し，徐々に高周波成分を復元に組み込む。
- 運動ぼかしや画像ヘイズ除去などの困難なタスクにおいて，提案手法が既存手法を大きく上回る性能を示すことが確認された。
二段階勾配上昇法ダイナミクスの収束：有限次元および平均場からの視点 [math.OC, cs.LG, cs.NA, math.NA]目的：二段階勾配上昇法における学習率比が収束行動に与える影響
- ゲーム理論や機械学習における最適化問題において，ナッシュ均衡を見つけることは重要である。
- 既存の勾配法では，高次元問題や複雑なゲームにおいて収束が遅い，または収束しない場合がある。
- 有限次元および平均場において，学習率比を調整することで収束を保証することを試みる。
- 有限次元の二次形式min-maxゲームにおいて，準静的な条件下で長時間の収束が確認された。
- 平均場GDAダイナミクスにおいて，有限スケール比を用いた同期反射結合技術による収束が示された。
- 学習率比の適切な設定が，二段階勾配上昇法の収束に不可欠であることが示唆された。
結晶対称性に対する生成拡散モデル：WyckoffDiff [cond-mat.mtrl-sci, cs.AI, cs.LG]目的：結晶の対称性に基づく記述の生成
- 結晶材料は高い対称性を持つため，材料設計において重要な要素である。
- 既存の生成モデルは対称性を考慮せず，原子位置や元素を制約なくモデル化する。
- 結晶の対称性を考慮した効率的な材料生成手法を確立することを目指す。
- WyckoffDiffは，結晶構造の対称性を全て符号化する表現を用いて生成モデルを構築する。
- 本モデルは，高速な材料生成を可能にする離散的な生成モデルフレームワークを採用している。
- 生成された材料の対称性を評価する新たな指標「Fr\'echet Wrenformer Distance」を提案し，性能を検証した。
3次元統計系における階層的自己回帰ニューラルネットワーク [cond-mat.stat-mech, cs.LG, hep-lat]目的：3次元イジング模型における階層的自己回帰ネットワーク（HAN）の性能評価
- 統計物理学において，スピン系のモンテカルロ法効率化は長年の課題である。
- 従来のモンテカルロ法では，相転移近傍での計算コストが高いという問題がある。
- HANアルゴリズムを用いることで，効率的なサンプリングと確率分布の評価が可能となる。
- HANアルゴリズムは，他の自己回帰アーキテクチャやヴォルフクラスターアルゴリズムと比較して良好な性能を示した。
- HANアルゴリズムは，3次元イジング模型の熱力学的な観測量（エントロピー，自由エネルギー）を精密に推定することを可能にした。
- 相転移温度付近において，HANアルゴリズムによる計算は高い精度を保った。
脳からテキストへのデコーディングモデルが視覚的意味処理の神経メカニズムを明らかにする [q-bio.NC, cs.AI, cs.CV]目的：視覚的意味処理の神経メカニズムの解明
- 脳科学とAIにおいて，神経活動から知覚内容を復元する試みは重要である。
- 既存の脳デコーディングモデルは，神経科学理論との体系的な統合が不十分である。
- fMRI信号から視覚的意味を直接デコードする新たな枠組みを提示し，そのメカニズムを解明する。
- 本研究の深層学習モデルは，視覚情報なしで最先端の性能を達成し，複雑なシーンの意味内容を捉えた説明文を生成した。
- 神経解剖学的分析により，MT+複合体，腹側視覚皮質，下頭頂皮質などの高次視覚皮質の重要性が示された。
- カテゴリー固有の分析から，生体・運動などの意味次元に対する繊細な神経表現が明らかになった。
勾配に基づくサンプル選択による高速ベイズ最適化 [stat.ML, cs.LG]目的：ベイズ最適化の計算効率向上
- ブラックボックス最適化において，効率的な手法が求められている。探索空間が複雑な場合，全探索は現実的ではない。
- ベイズ最適化は，ガウス過程モデルの計算コストがボトルネックとなり，大規模な問題への適用が困難である。
- 勾配情報を活用し，冗長性を排除しつつ多様性と代表性を維持するサンプル選択により，計算コストを削減する。
- 提案手法GSSBOは，ガウス過程モデル構築に用いるサンプル数を削減することで，計算コストを大幅に低減できる。
- 理論的解析により，GSSBOの漸近的なリグレットの上界が導出された。
- 実験結果から，GSSBOは既存手法と同等の最適化性能を維持しつつ，計算時間を短縮することが示された。
都市熱緩和のための解釈可能な機械学習：多段階要因の寄与と重み付け [math.OC, cs.SY, eess.SY, math.DS, math.CO, cs.FL, quant-ph, cs.SY, eess.SY, physics.ao-ph, cs.LG]目的：都市熱の緩和に影響を与える土地利用タイプと要因の規模ごとの影響評価
- 都市熱島現象は健康リスクをもたらすため，都市計画において熱影響の軽減が重要である。
- 都市熱に影響する要因を特定し，その寄与度を定量的に評価することは困難である。
- 土地利用タイプを考慮した機械学習モデルを用いて，都市熱緩和策の検討を支援する。
- 提案手法は，気象モデルの計算を高速化しつつ，都市熱への土地利用タイプの寄与を解釈可能に評価できる。
- 規模と制御可能性に基づいた要因分類により，特に表面放射率，アルベド，葉面積指数等の小規模要因の重要性が明らかになった。
- 提案手法は，従来のモデルよりも高い精度を示し，解釈可能性を向上させ，都市計画におけるUHI緩和評価に貢献する。
確率的勾配降下法の最終反復における収束レート [math.OC, cs.LG]目的：確率的勾配降下法（SGD）および確率的ヘビーボール法（SHB）の最終反復における収束レート
- 機械学習において，最適化アルゴリズムの収束速度は，モデルの学習効率に直結するため重要である。
- 既存の研究では，確率的勾配降下法の収束レート解析において，複雑な定理に依存することが課題であった。
- 本研究は，より単純な手法を用いて，SGDおよびSHBの収束レートを解析し，理論的保証を与えることを目指す。
- 非凸目的関数に対し，最終反復における勾配ノルムの二乗は，$t^{p-1}$よりも漸近的に小さくなることが示された。
- 凸目的関数に対し，最終反復における関数値の差は，$t^{2\gamma/(1+\gamma) \cdot \max(p-1,-2p+1)-\eps}$よりも漸近的に小さくなることが示された。
- 定数モーメンタムパラメータを持つSHBは，特定の条件下で$O(t^{\max(p-1,-2p+1)} \log^2 \frac{t}{\delta})$の収束レートを達成することが示された。
汎用確率的近似最適化アルゴリズム [cond-mat.dis-nn, cs.LG, quant-ph]目的：確率的近似最適化アルゴリズムの一般化
- 組合せ最適化問題の解決は，科学技術の発展に不可欠である。
- 既存の量子アニーリングや変分モンテカルロ法では，問題規模や性能に限界がある。
- Isingマシンや確率的コンピュータ上での高速サンプリングを実現する。
- 本研究で提案するPAOAは，古典的な変分モンテカルロフレームワークを拡張し，高性能を示す。
- PAOAは，導関数不要な更新とマルコフフローの勾配との直接的な対応関係を示す。
- シミュレーテッドアニーリングを包含するPAOAは，重い裾を持つ問題においてSAを上回る性能を発揮する。
指値板の段階的対照表現学習による多水準操作の検出 [q-fin.CP, cs.CE, cs.LG, q-fin.TR]目的：取引に基づく操作の検出
- 金融市場の公正性と安定性を維持するため，操作行為の検出は不可欠である。
- 既存手法では，多水準にわたる複雑な操作パターンを捉えきれていない場合がある。
- 指値板の情報を活用し，多水準操作をより高精度に検出することを目指す。
- 提案手法は，多様なモデルにおいて一貫して検出性能を向上させることが示された。
- 特にTransformerベースのモデルにおいて，最先端の結果を達成した。
- 多水準操作の特性と，検出における各要素の貢献について分析を行った。
生活満足度の個人効用が，政治的傾向とは無関係な不平等嫌悪を示す [econ.GN, cs.AI, cs.CY, q-fin.EC]目的：社会における幸福の優先順位と，公平性と個人の幸福との間のトレードオフに関する人々の意思決定
- 幸福度を政策指標とする重要性が増しており，社会全体の幸福を最大化するための方法論が求められている。
- 平均的な生活満足度は，個人の価値観や不平等への配慮を反映していない可能性がある。
- 社会全体の幸福度をより正確に評価し，公平性を考慮した政策立案に貢献すること。
- 参加者の多くは，凹型の効用曲線を示し，個人のリスク回避よりも社会全体の生活満足度における不平等に対する嫌悪感の方が強いことが明らかになった。
- このような公平性への配慮は，政治的傾向とは無関係に観察され，幸福に関する共通の規範的立場を示唆している。
- 平均的な生活満足度を政策指標として用いることへの疑問が提起され，非線形効用に基づく代替指標の開発が支持された。
MorphGen：制御可能で形態学的に妥当な細胞イメージ生成 [stat.ME, cs.SI, physics.soc-ph, q-bio.QM, cs.CV, cs.LG]目的：蛍光顕微鏡画像における制御可能な生成
- 創薬や遺伝子編集を加速するため，ハイスループットイメージングに基づくアッセイが重要である。
- 既存手法は多チャンネル情報をRGBに圧縮し，オルガネラ特有の詳細を失っていた。
- オルガネラ構造を維持し，詳細な形態学的分析を可能にする生成モデルの開発。
- MorphGenは，複数の細胞種と摂動に対して制御可能な画像を生成する拡散ベースの生成モデルである。
- CellProfilerの特徴量を用いた評価により，生成画像が実際の画像と生物学的に一貫性があることが示された。
- MorphGenは，RGB画像のみを生成する既存の最先端モデルMorphoDiffと比較して，FIDスコアを35%以上低く抑えた。
InstructPLM-mu：ESM2の1時間ファインチューニングがESM3を超えるタンパク質変異予測 [q-bio.QM, cs.AI, cs.CE]目的：タンパク質変異効果予測における性能向上
- タンパク質構造予測は，創薬や生命科学研究において不可欠な技術である。
- 大規模言語モデルの訓練には，膨大な計算資源が必要となる。
- 事前学習済みモデルのファインチューニングで，高精度な予測を実現する。
- InstructPLM-muにより，ESM2のファインチューニングでESM3と同等の性能が達成された。
- 構造情報を注入する際の融合方法とチューニング戦略が，予測精度に大きく影響することが示された。
- 事前学習済みモデルへの構造情報注入の指針と，更なる研究の動機付けとなる。
多変量ベルヌーイ分布におけるホフディング分解によるモデルの説明 [math.OC, cs.SY, eess.SY, stat.ML, cs.LG]目的：予測モデルの挙動解明
- 予測モデルの信頼性評価は重要であり，不確実性を定量化する必要がある。
- 相関のある確率的入力変数を持つモデルの説明が困難である。
- ベルヌーイ分布を持つ入力変数に対するホフディング分解の完全な記述を提示する。
- ベルヌーイ分布の場合，基となるL2空間は一次元であり，関数分解は明示的である。
- これにより，完全な解釈可能性フレームワークが実現し，理論的には逆解析が可能となる。
- ソボル指標やシャプレイ値などの入力の影響指標を明示的に導出できる。
GyroSwin：ジャイロキネティックプラズマ乱流シミュレーションのための5次元サロゲート [physics.plasm-ph, cs.AI, stat.ML]目的：ジャイロキネティックプラズマ乱流シミュレーションをモデル化する5次元ニューラルサロゲート
- 核融合は持続可能なエネルギー源として重要であり，プラズマ乱流の理解は核融合炉設計の鍵となる。
- 従来の数値シミュレーションは計算コストが高く，簡略化モデルでは非線形効果を捉えきれない。
- 本研究は，高精度かつ低コストな5次元サロゲートモデルを構築し，プラズマ乱流の予測精度向上を目指す。
- GyroSwinは，ヒエラルキー型Vision Transformerを5次元に拡張し，静電ポテンシャルと分布関数の相互作用を捉える。
- 熱フラックス予測において，既存の数値モデルを凌駕し，乱流エネルギーカスケードを再現する。
- 全分解非線形ジャイロキネティクス計算コストを3桁削減し，物理的検証可能性を維持する。
データから報酬へ：最尤推定の双層最適化による考察 [stat.ML, cs.LG]目的：生成モデルと最尤推定の課題に対する双層最適化フレームワークの提案
- 生成モデルは機械学習の基盤であり，様々な応用分野で最先端の性能を達成している。
- 最尤推定は汎化性能や破滅的忘却のリスクがあり，強化学習と比較して課題が残る。
- 報酬信号がない状況下で，生成モデルを高品質なデータセットを用いて整合させる方法を模索する。
- 本研究では，報酬関数を外層問題の最適化変数，方策勾配目的関数を内層問題として扱う双層最適化フレームワークを提案した。
- 理論解析により，この最適化問題の洞察を得て，テーブル分類やモデルベース強化学習への応用可能性を示した。
- 実装コードを公開することで，研究の再現性と発展に貢献する。