arXiv雑要約

AI - 2026/05/08 公開

  • SU(N)ゲージ理論のための拡散モデル [hep-lat, cs.LG]目的:SU(N)格子ゲージ理論のサンプリング手法
    • 素粒子物理学における非摂動的な計算は,実験との比較に不可欠である。
    • 従来のモンテカルロ法は計算コストが高く,大規模なシミュレーションが困難である。
    • 拡散モデルを用いて,効率的なゲージ場のサンプリングを実現することを目指す。
    • 拡散モデルはSU(3)ゲージ配置のサンプリングに成功裏に適用可能であることが示された。
    • 逆時間積分において,強い結合定数の場合,予測子修正子スキームが精度向上に有効である。
    • 修正子にハミルトニアン分子動力学を用いることでサンプリング品質が向上する一方,計算コストが増加する。

    Link: https://arxiv.org/abs/2605.06134

  • 双唇chitz正規化フローの表現力:スコアベース拡散の視点 [stat.ML, cs.LG, cs.NA, math.NA, math.PR]目的:双唇chitz正規化フローの表現力の解析
    • 確率モデルの近似において,正規化フローは重要な役割を担っている。
    • 正規化フローのアーキテクチャが表現力に与える影響は未だ十分に解明されていない。
    • スコアベース拡散モデルを利用し,双唇chitz正規化フローの表現力を理論的に評価する。
    • 双唇chitzな変量保存拡散の確率フローODEにおいて,スコアのLipschitz性は双唇chitzな微分同相写像の輸送をもたらす。
    • このODEブリッジにより,双唇chitz正規化フローの分布近似能力を分析し,拡散ベース輸送の収束性を保証する。
    • ガウス分布への変換において,双唇chitz変量保存輸送写像によって生成されるガウス分布のプルバックは,すべての確率密度において$L^1$-密である。

    Link: https://arxiv.org/abs/2605.06172

  • 予測・生成ドリフト分解による音声強調および分離 [eess.AS, cs.LG]目的:音声強調と分離のための予測手法と生成事前分布の組み合わせ
    • 音声処理技術は,通信,医療,エンターテイメントなど幅広い分野で不可欠である。
    • 既存手法では,ノイズや干渉に対する頑健性,自然な音質の維持が課題となる場合がある。
    • 予測モデルと生成モデルの利点を統合し,高品質な音声復元を実現することを目指す。
    • 提案手法SIPSは,予測推定値を生成サンプリングプロセスに直接組み込むことで,数学的に厳密なフレームワークを提供する。
    • クリーンな音声のみで学習されたスコアモデルは,タスクに依存せず再利用可能であり,自然な音質を維持する。
    • SEMambaやFlexIOなどの最新予測器を用いた実験で,分離性能が最大1.0 NISQA向上することを示した。

    Link: https://arxiv.org/abs/2605.06189

  • トリミングはいつ共形予測を助けるか:キャリブレーション汚染下における保持法則の診断 [stat.ML, cs.LG]目的:共形予測におけるトリミングの効果に関する分析
    • 共形予測は,信頼性の高い予測区間を提供するため,機械学習の安全性確保に重要である。
    • キャリブレーションデータの汚染は,共形予測の保証を損なう主要な課題である。
    • トリミングによる影響を分析し,効果的なトリミングの条件を明らかにする。
    • トリミングは,汚染されたキャリブレーション法則を保持法則で置き換えることで機能する。
    • トリミングが有効であるのは,異常スコアが保持確率を分離し,クリーンな母集団に対してスコア中立である場合である。
    • 保持された混合係数を通じて汚染を大幅に削減できない場合は,トリミングは役に立たない。

    Link: https://arxiv.org/abs/2605.06204

  • スーパーレベル集合回帰:体積最小化による条件分位数の推定 [stat.ML, cs.AI, cs.LG, stat.AP, stat.ME]目的:多変量回帰における条件付きカバレッジを満たす最小体積予測領域の構築
    • 多変量データ分析において,不確実性の定量化と予測は重要な課題である。
    • 従来の密度推定に基づくアプローチは,推定誤差に敏感で計算コストが高いという問題がある。
    • 複雑な条件付き構造を直接捉え,幾何学的最適化による新たなアプローチを提示する。
    • 本研究では,スーパーレベル集合回帰(SLS)という新しい数学的枠組みを提案し,条件分位数の推定における課題を解決する。
    • SLSは,密度全体の推定を回避し,体積保存境界関数を活用することで,複雑な条件付き構造を直接捉える。
    • このアプローチは,密度推定先行法が持つ制約的な仮定を,直接的な幾何学的最適化戦略に置き換える。

    Link: https://arxiv.org/abs/2605.06210

  • 機能的エージェント:エンドツーエンドのオン・トップ機能設計に向けて [physics.chem-ph, cs.AI]目的:強相関分子系の電子エネルギー計算のための,オン・トップ関数の自動開発
    • 強相関系では,従来のDFTでは不十分であり,高精度な電子エネルギー計算が求められる。
    • オン・トップ関数の品質がMC-PDFTの予測精度を大きく左右するが,その開発には専門知識と労力がかかる。
    • 機能的エージェントによる自動化ワークフローを構築し,オン・トップ関数の開発を効率化し,精度向上を図る。
    • 機能的エージェントを用いて,新たなハイブリッドメタGGAオン・トップ関数MC26を開発した。
    • MC26は,同じベンチマークデータセットで評価された他の手法と比較して,訓練セットに対する全体的な精度が向上した。
    • 最適化された訓練プロセスにより,訓練セットとテストセットの両方で最高のパフォーマンスを発揮する新しい関数形式COF26を導入した。

    Link: https://arxiv.org/abs/2605.06215

  • ConquerNet:ミニマックス保証を持つ畳み込み平滑化分位ReLUニューラルネットワーク [stat.ML, cs.LG]目的:分位回帰の最適化における深層モデルの課題解決
    • 分位回帰は分布学習の基礎であり,不確実性の定量化に重要である。
    • ピンボール損失の非滑らかさにより,深層モデルの最適化が困難である。
    • 滑らかな目的関数を維持しつつ,分位構造を保存するネットワークを開発する。
    • 提案手法ConquerNetは,標準的な分位ニューラルネットワークよりも複数の分位レベルで優れた性能を示す。
    • 推定精度と学習効率が向上し,特に高次および低次の分位において顕著な改善が見られた。
    • ConquerNetは,Besov関数クラス上でミニマックス保証を持つ非漸近的リスク境界を確立した。

    Link: https://arxiv.org/abs/2605.06265

  • ランダム因果有向非巡回グラフに対するトポロジカルソート基準 [stat.ME, cs.AI]目的:ランダム因果有向非巡回グラフにおける,到達可能ノード集合(親族)の単調増加性
    • 因果推論アルゴリズムの評価において,ランダムDAGが広く利用されているため。
    • 既存研究では,DAGの構造が評価に与える影響が十分に考慮されていない。
    • 因果順序の回復に利用できる「親族」の単調増加性に着目し,評価基準を提案する。
    • ランダムDAGにおいて,因果順序に沿って親族数が単調増加することが確認された。
    • 親族数によるソートが,因果順序の推定に有効であることが数値実験で示された。
    • 親族数の厳密な単調増加は,マルコフ同値クラスを特異なものにする可能性がある。

    Link: https://arxiv.org/abs/2605.06288

  • クラス不均衡下における半教師あり学習のためのマルチモーダル深層生成モデル [stat.ML, cs.AI, cs.LG]目的:クラス不均衡下における半教師あり学習のためのマルチモーダル深層生成モデル
    • データ分析において,不均衡データへの対応は重要である。実世界のデータは不均衡になりがちであり,モデルの性能に影響を与える。
    • 不均衡データに対するモデルは,多数派クラスに偏りやすい。半教師あり学習では,この偏りが拡大する可能性がある。
    • 本研究は,マルチモーダルデータを利用し,不均衡データにおける半教師あり学習の課題を解決することを目指す。
    • 提案モデルは,各モダリティに対するエンコーダと,モダリティ間で共有される潜在変数を備えている。
    • クラス不均衡に対応するため,事前分布,エンコーダ,デコーダにStudent's t分布を採用している。
    • 実験結果から,提案モデルが既存手法を上回り,不均衡なマルチモーダルデータに対する汎化性能が向上することが示された。

    Link: https://arxiv.org/abs/2605.06289

  • エンドツーエンド識別可能で一貫性のある再帰的切り替え動的システム [stat.ML, cs.LG]目的:深層生成モデルにおける識別可能な表現の学習
    • 系列データ解析において,動的システムの正確なモデリングは不可欠である。
    • 従来の識別手法は,定常性などの制約下であり,潜在構造の復元に限界がある。
    • より柔軟な仮定下での識別可能性を確立し,潜在構造のより正確な復元を目指す。
    • 提案手法$\Omega$SDSは,最尤推定を可能にするフローベースの推定器である。
    • 合成データと実世界データを用いた実験により,VAEベースの手法と比較して,より優れた解き放たれ具合が確認された。
    • また,$\Omega$SDSは基礎となる動的予測においても高い精度を示した。

    Link: https://arxiv.org/abs/2605.06315

  • 拡散モデルの学習ダイナミクスにおけるデータ構造と不均衡の相互作用 [stat.ML, cond-mat.dis-nn, cs.LG]目的:拡散モデルにおけるクラスごとの構造的差異とサンプリング不均衡が学習ダイナミクスに与える影響の解明
    • 現実世界のデータは多様であり,その学習は重要である。拡散モデルの性能はデータの特性に大きく左右される。
    • 既存の研究では,データの均質性が前提とされており,クラス間の不均衡や異質性が学習に与える影響は不明であった。
    • クラス不均衡と異質性が拡散モデルの学習ダイナミクスをどのように変化させるかを明らかにすること。
    • 拡散モデルの学習順序は,クラスの分散によって主に決定され,分散の高いクラスが優先的に学習される。
    • サンプリング不均衡は学習順序を逆転させることがあり,不均衡が強い場合,少数クラスは遅延した学習時間を持つ。
    • 拡散モデルは,あるクラスを記憶する一方で,他のクラスは十分に学習されない可能性があることが示唆される。

    Link: https://arxiv.org/abs/2605.06367

  • 独立性の仮定を超えて:$\tau$-混合下における深層Q学習の有限サンプル保証 [stat.ML, cs.LG]目的:深層Q学習における有限サンプル保証の理論的解析
    • 強化学習は,複雑な環境下での意思決定を自動化する上で重要な技術である。
    • 深層Q学習のサンプル複雑性解析では,リプレイデータの依存性が無視されている。
    • リプレイデータの時間的依存性を考慮し,より現実的なサンプル複雑性評価を目指す。
    • リプレイデータは,$\tau$-混合過程に従うとモデル化し,その条件下でリスク境界を導出した。
    • 時間的依存性は,統計的レートを低下させ,有効サンプルサイズを減少させる。
    • Gymnasium環境での実験により,独立性の仮定が破られていることと,リプレイサンプリングが指数関数的に減衰する相関を示すことが確認された。

    Link: https://arxiv.org/abs/2605.06373

  • 共変量バランスとリース回帰は,ネーマン直交スコアによって導かれるべきである:バイアス除去機械学習において [econ.EM, cs.LG, math.ST, stat.ME, stat.ML, stat.TH]目的:バイアス除去機械学習における共変量バランスの導出方法
    • 機械学習の公平性確保は重要であり,バイアスを適切に除去することが求められる。
    • 従来の共変量バランスは,効果の不均衡を完全に解消できない場合がある。
    • ネーマン直交スコアに基づくバランス調整で,より正確な因果推論を目指す。
    • バイアス除去機械学習において,共変量だけでなく回帰変数を考慮したバランス調整が有効である。
    • 特に,治療効果の異質性が存在する場合には,ネーマン直交スコアに基づいたリース回帰が推奨される。
    • 従来の共変量バランスは,特定の条件下では有効だが,一般的な手法ではない。

    Link: https://arxiv.org/abs/2605.06386

  • WavCube:意味・音響共同モデリングによる音声理解と生成の統合 [math.OC, cs.SY, eess.SY, eess.AS, cs.AI, cs.CL]目的:音声理解と生成を統合するための統一的な音声表現
    • 音声処理技術は,人間と機械のコミュニケーションにおいて不可欠であり,その発展は社会に大きな影響を与える。
    • 音声理解と生成では異なる表現が用いられ,互換性の問題が生じ,真に統合された音声システムの実現を阻害している。
    • WavCubeは,SSLで学習された特徴量を圧縮しつつ,理解,再構成,生成を可能にする汎用的な表現を確立することを目指す。
    • WavCubeは,SUPERBタスクにおいてWavLMと同等の性能を8分の1の次元数で達成した。
    • 再構成品質は既存の音響表現と同等であり,ゼロショットTTSにおいて最先端の性能と高速な収束性を示した。
    • 音声強調,分離,声質変換タスクにおいても優れた性能を発揮し,SSL特徴量の生成モデリングにおける課題を解決する。

    Link: https://arxiv.org/abs/2605.06407

  • 分離型PFN:構造化された合成事前分布による認識的不確実性・偶然的不確実性の識別 [stat.ML, cs.LG]目的:認識的不確実性と偶然的不確実性の分離
    • ベイズ予測は不確実性の定量化に重要であり,意思決定や探索を効率化する。
    • 従来のPFNでは,潜在信号と観測ノイズの不確実性を区別できていない。
    • 合成事前分布の制御性を活かし,潜在信号と観測ノイズを分離するモデルを構築する。
    • 分離型PFNは,観測ノイズの変動が大きい場合でも,認識的不確実性のみに基づいた探索が可能となる。
    • ハイパーパラメータ最適化において,調整された観測レベルベースラインと比較して,分離型モデルが性能向上を示す。
    • 合成BOを含む幅広い実験において,分離型モデルは平均ランキングで最良の結果を達成した。

    Link: https://arxiv.org/abs/2605.06413

  • ニューラル・アクチュアリーによる寿命予測:説明可能なリスク管理のためのLSTMアンカリング [stat.ML, cs.LG, q-fin.RM]目的:寿命予測の精度向上と,それを用いたリスク管理の高度化
    • 高齢化社会の進展に伴い,年金や保険などの制度設計における寿命予測の重要性が増している。
    • 従来のモデルは,国ごとの死亡率の平均回帰を仮定しているが,長寿命国のデータはその仮定を覆す可能性を示唆している。
    • 非線形性を考慮した新しい予測モデルを構築し,寿命リスクの適切な評価と管理を可能にすること。
    • Hybrid-Liftは,スウェーデンと西ドイツにおいて,Li-Leeモデルと比較して予測精度がそれぞれ17.40%,12.57%向上した。
    • スイスや日本などの線形的な傾向を示す国々においては,Li-Leeモデルと同程度の性能を維持している。
    • SHAPを用いた影響度分析や,不確実性評価,ストレステスト等のガバナンス機能も統合されている。

    Link: https://arxiv.org/abs/2605.06438

  • 動的な制御変数に基づく動的自己最適化制御 [math.OC, cs.LG, cs.SY, eess.SY]目的:動的プロセス最適化のための自己最適化制御問題の定式化と解決策
    • プロセスシステムの高度化に伴い,バッチプロセスなど動的プロセスの最適化が重要になっている
    • 従来の自己最適化制御は定常状態最適化に限定され,動的最適化には対応できていない
    • 動的制御変数を用いて,動的最適化問題をプロセス制御問題に変換し,その有効性を示す
    • 本研究で提案する動的制御変数は,多値関数や不連続関数を近似する能力に優れていることが示された
    • 動的制御変数は,従来の自己最適化制御では扱えない非固定ホライズンを持つ動的最適化問題にも適用可能である
    • データ駆動型アプローチにより,深層ニューラルネットワークを用いて動的制御変数の設計が可能になった

    Link: https://arxiv.org/abs/2605.06469

  • リスク制御付き意思決定ポリシーの後処理 [stat.ML, cs.LG, math.ST, stat.TH]目的:既存の意思決定ポリシーへの変更を最小限に抑えつつ,指定された損失に対するリスク制約を満たす新しいポリシーの選択
    • 予測モデルの導入において,既存の意思決定ポリシーを変更することへの抵抗は,実用上の大きな課題である。
    • リスク制約を満たしながら予測精度を向上させるための,効果的な手法が不足している。
    • リスク制約下で既存ポリシーとの合意度を最大化する,実用的な後処理アルゴリズムを開発すること。
    • 最適なポリシーは,オラクル代替ポリシーへの切り替えによって条件付き違反リスクが大幅に減少する状況を除き,ベースラインポリシーに従う。
    • 提案手法は,キャリブレーションデータを用いて閾値を決定し,サンプル数が増加するにつれて期待される過剰リスクがO(log n/n)に収束する。
    • COVID-19レントゲン診断,LLMルーティング,合成マルチクラス決定タスクの実験により,ベースラインとの合意度を保ちつつリスク予算を満たすことが示された。

    Link: https://arxiv.org/abs/2605.06479

  • ランダム分布シフト下におけるプロキシを用いた推論のための推定レベル調整 [econ.EM, cs.CY, stat.ME, cs.LG, stat.ML]目的:プロキシに基づく推論の較正
    • 直接測定が困難な主要な結果変数に対し,プロキシ変数は迅速かつ頻繁な測定を可能とするため,科学研究において重要である。
    • 既存の手法は,検証困難な強い識別仮定に依存しており,分布シフトによりバイアスが生じる可能性がある。
    • 過去のドメインにおける観察データからプロキシと主要変数のずれをモデル化し,バイアスを軽減する。
    • 提案手法は,プロキシと主要変数のずれをパラメータレベルの確率効果としてモデル化することで,推論の較正を行う。
    • 個々の応答データ保持の必要性を回避し,既存のプロキシ補正法と組み合わせて追加のバイアスに対処可能である。
    • 限られた過去のドメイン数に対して,モーメント法とドメインブートストラップ法による不確実性管理を行う。

    Link: https://arxiv.org/abs/2605.06484

  • カットの学習:ベンダーズ分解のための強化学習 [math.OC, cs.SY, eess.SY, math.PR, cs.DM, math.OC, cs.AI]目的:ベンダーズ分解におけるカット選択戦略の最適化
    • 不確実性下での意思決定において,二段階確率計画問題の解決が不可欠である。
    • ベンダーズ分解はカット数増加に伴い,収束速度が遅延するという課題がある。
    • 強化学習を用いて,効率的なカット選択を実現し,計算効率を向上させる。
    • 提案手法RLBDは,従来のベンダーズ分解やLearnBDと比較して計算効率の大幅な改善を達成した。
    • RLBDは,類似構造を持つ問題に対して高い汎化性能を示すことが確認された。
    • 二段階確率電気自動車充電ステーション配置問題への適用により,その有効性が実証された。

    Link: https://arxiv.org/abs/2605.06516

  • ネットワークにおける動的な治療 [stat.ML, cs.LG]目的:ネットワークにおける効果的な動的治療割り当て
    • ネットワーク分析は,感染症拡散や情報伝播など,様々な社会現象の理解に不可欠である。
    • 既存の治療戦略は静的であるか,ネットワーク構造を無視しており,効果的な介入が困難である。
    • ネットワーク構造と時間的ダイナミクスを考慮した,動的な治療戦略の確立を目指す。
    • 提案手法Q-Isingは,ベイズ動的Isingモデルを用いてネットワークの採用ダイナミクスを推定する。
    • 治療履歴と潜在状態を組み合わせ,オフライン強化学習によって動的なポリシーを学習する。
    • インドのマイクロファイナンスネットワークや合成データを用いて,適応的ターゲティングが静的ベンチマークを上回ることを示した。

    Link: https://arxiv.org/abs/2605.06564

  • AI CFD科学者:物理に精通したAIエージェントによるオープンエンドな計算流体力学の発見に向けて [physics.flu-dyn, cs.AI]目的:計算流体力学における科学的発見の自動化
    • 計算流体力学は,工学設計や科学研究において不可欠であり,高度なシミュレーション技術が求められている。
    • 従来のシミュレーションでは,物理的な妥当性の検証が難しく,潜在的なエラーを見つけ出すことが困難である。
    • AIエージェントを活用し,物理的妥当性の検証を組み込むことで,信頼性の高い科学的発見を実現することを目指す。
    • AI CFD Scientistは,文献調査,シミュレーション実行,画像に基づく物理検証,ソースコード修正,論文執筆を統合したワークフローを構築した。
    • Spalart-Allmarasモデルの実行時補正を自動的に発見し,DNSとのRMSEを7.89%削減した。
    • 既存のAI科学者と比較して,ドメイン固有の検証ゲートにより,信頼性の高い科学的根拠を提示できることを示した。

    Link: https://arxiv.org/abs/2605.06607

  • 予算制約下における逐次実験での予後共変量のターゲティング (DARTS) [stat.ML, cs.LG, stat.ME]目的:予算制約下での逐次実験における予後共変量の効率的な選択
    • 臨床試験では,予後共変量の把握が治療効果の個人差を説明し,より精密な医療を可能にする。
    • 高次元な予後共変量データの取得にはコストがかかり,コストと精度のトレードオフが課題となる。
    • 共変量選択を逐次最適化することで,限られた予算内でより有益な情報を持つ共変量を選択し,効率的な推論を目指す。
    • DARTSは,過去のバッチデータに基づいて,情報量の多い特徴に予算を集中させる。
    • その結果,理論的に厳密な推論妥当性を維持しつつ,オラクル設計に匹敵する効率性を示す。
    • 適応的な共変量選択は,バッチレベルでのランダム化の有効性を維持し,累積逆分散重み付き推定器は少なくとも公称漸近的なカバレッジを達成する。

    Link: https://arxiv.org/abs/2605.06608

  • LiVeAction:リアルタイム動作のための軽量,汎用,非対称ニューラルコーデック設計 [eess.IV, cs.LG, cs.MM, eess.AS, eess.SP]目的:リアルタイム処理のための軽量,汎用,非対称ニューラルコーデックの設計
    • ウェアラブルデバイスやリモートセンシングデバイスでは,帯域幅や電力に制約があるため,効率的なデータ圧縮が重要である。
    • 既存のコーデックは人間用の知覚に最適化されており,機械知覚や特殊な信号処理には不向きな場合がある。
    • 低消費電力環境下での実用性を考慮し,信号の冗長性を活用した高効率な圧縮手法を開発する。
    • LiVeActionは,既存の生成ニューラルコーデックと比較して,優れたレート歪性能を実現する。
    • エンコーダの複雑さを抑えるためにFFTのような構造を導入し,ニューラルネットワークベースの解析変換のサイズと深さを削減している。
    • 敵対的損失や知覚的損失の代わりに分散に基づくレートペナルティを使用することで,様々な信号モダリティに対応可能にした。

    Link: https://arxiv.org/abs/2605.06628

  • 教師のモダリティレベルのグラム行列学習によるマルチモーダル知識蒸留 [cs.AI, cs.CV]目的:マルチモーダル知識蒸留における知識伝達の効率化
    • 多様な情報源を統合することで,より高度な認識・理解が可能となるため。
    • 従来の知識蒸留は最終出力に集中しており,教師と生徒のネットワーク間の深い差異が存在する。
    • 教師ネットワークのモダリティ間関係性を生徒ネットワークに学習させることで,知識伝達を改善する。
    • 本研究では,異なるモダリティ間の関係性をグラム行列としてモデル化する新たな知識蒸留パラダイムを提案した。
    • 教師のモダリティレベルのグラム行列を学習することで,生徒ネットワークが教師のモダリティ間関係性を獲得することを可能とした。
    • 実験結果から,提案手法が既存手法と比較して,知識伝達の効率と性能向上に貢献することが示された。

    Link: https://arxiv.org/abs/2112.11447

  • MemFlow:高速ドメイン適応特徴マッピングのための軽量な前方記憶フレームワーク [cs.NE, cs.LG]目的:ドメイン適応特徴マッピングの効率化
    • 事前学習済みモデルの汎化性能は重要であり,実環境での多様なテストシナリオに対応する必要がある。
    • エッジデバイスでの勾配逆伝播による大規模パラメータの最適化は計算コストが高く,オンライン学習の妨げとなる。
    • 本研究は,勾配を用いない前方記憶フレームワークにより,低消費電力のエッジデバイスでの高速なドメイン適応を実現する。
    • MemFlowは,固定されたバックボーンを活用し,特徴と予測間のマッピングの効率的な微調整を可能にする。
    • ランダムに接続されたニューロンを用いて特徴-ラベルの関連性を記憶し,スパイク信号の伝播とニューロンに保存された記憶との関連付けによって予測を生成する。
    • 4つの実世界のクロスドメインデータセットで10%までの性能向上を実証し,従来のドメイン適応手法と比較して計算時間を1%未満に抑えた。

    Link: https://arxiv.org/abs/2402.14598

  • ANGOFA:OFA埋め込み初期化と合成データを用いたアンゴラ言語モデルの活用 [cs.CL, cs.AI]目的:アンゴラ言語に特化した事前学習済み言語モデルの開発
    • 多言語対応の言語モデルは知識転移を促進するが,資源の少ない言語は取り残されがちである。
    • 低リソース言語に対する事前学習済み言語モデルが不足しており,言語的多様性の課題が存在する。
    • アンゴラ言語の言語処理性能向上を目指し,埋め込み初期化と合成データの効果を検証する。
    • 本研究では,アンゴラ言語向けに4つの調整済み言語モデルを開発し,Multilingual Adaptive Fine-tuning (MAFT)アプローチを採用した。
    • SOTA AfroXLMR-baseと比較して,12.3ポイント,OFAと比較して3.8ポイント性能が向上した。
    • 埋め込み初期化と合成データが,MAFTモデルのダウンストリームタスクにおける性能向上に貢献することが示された。

    Link: https://arxiv.org/abs/2404.02534

  • 離散コサイン変換に基づくデコレーテッドアテンションによるビジョンTransformer [cs.CV, cs.LG, eess.SP]目的:ビジョンTransformerの効率性と性能向上
    • Transformerは画像処理において重要な役割を果たしており,その性能向上が求められている。
    • 自己注意機構の学習は計算コストが高く,初期化が難しいという課題がある。
    • 離散コサイン変換を活用し,初期化と圧縮による効率化を目指す。
    • 離散コサイン変換を用いた初期化戦略により,CIFAR-10およびImageNet-1Kの分類精度が向上した。
    • 高周波成分の切断による注意機構の圧縮により,計算量を削減しつつ同等の性能を維持した。
    • 提案手法はSwin Transformerモデルにおいて,大幅な計算量の削減を実現した。

    Link: https://arxiv.org/abs/2405.13901

  • 絡み合いを解きほぐした生成グラフ表現学習 [cs.LG, cs.AI]目的:グラフ表現の学習
    • グラフ構造データの解析は,様々な分野で重要性を増している。
    • 既存手法はグラフ全体のランダムなマスクに依存し,表現の絡み合いを無視している。
    • 表現の絡み合いを解消し,よりロバストで解釈可能な学習を目指す。
    • 提案手法DiGGRは,潜在的な絡み合いのない要素を学習し,グラフのマスクモデリングを誘導する。
    • DiGGRは,既存の自己教師あり学習手法と比較して,11の公開データセットで優れた性能を示した。
    • 実験結果は,提案手法の有効性を裏付けている。

    Link: https://arxiv.org/abs/2408.13471

  • AI制御のためのゲーム:AI展開プロトコルの安全性評価モデル [cs.DB, cs.DL, cs.IR, cs.AI, cs.LG]目的:AI展開プロトコルの安全性評価手法
    • AIの社会実装が進む中で,安全性確保は不可欠である。
    • AIの制御プロトコルの安全性評価は困難を伴う。
    • AI制御ゲームを通じて,より安全な展開プロトコルを開発すること。
    • AI制御ゲームを多目的部分観測確率ゲームとして定式化し,既存アルゴリズムの利用を可能にした。
    • 信頼される監視プロトコルをモデル化し,言語モデルをプログラミング支援として展開する際の安全性と有用性を評価した。
    • 既存研究の暗黙の仮定を明確化し,モデル化の仮定がプロトコルの安全性に与える影響を分析した。

    Link: https://arxiv.org/abs/2409.07985

  • 人工知能に対するオークションベースの規制 [cs.GT, cs.AI, cs.CY, econ.GN, q-fin.EC]目的:人工知能の規制メカニズム
    • AI技術の発展は社会に大きな影響を与えるため,安全性と倫理性の確保が重要である。
    • 現状のAI規制は遅れており,安全性,バイアス,法的問題への対応が不十分である。
    • AIの安全性とコンプライアンスを向上させる現実的な規制フレームワークを提案すること。
    • 提案するオークションベースの規制メカニズムは,コンプライアンスモデルの導入と規制プロセスへの参加を促進する。
    • 理論的な分析により,合理的な主体は規定されたコンプライアンス基準を超えるモデルを提出することが示された。
    • 実験結果は,この規制オークションがコンプライアンス率を20%,参加率を15%向上させることがわかった。

    Link: https://arxiv.org/abs/2410.01871

  • DeTrigger:連合学習における勾配中心型バックドア攻撃緩和手法 [cs.LG, cs.AI, cs.CR]目的:連合学習環境に対するバックドア攻撃の緩和
    • モバイルや組み込みシステム等,データプライバシー保護が重要な分散環境での機械学習ニーズが高まっている。
    • 連合学習は分散型であるため,悪意のある参加者によるモデル汚染攻撃,特にバックドア攻撃に脆弱である。
    • バックドア攻撃のトリガーを検出し,モデルの精度を維持しつつ効果的に除去すること。
    • DeTriggerは,温度スケーリングを用いた勾配分析により,バックドアトリガーを高精度に検出し,隔離する。
    • 従来の検出手法と比較して最大251倍高速にトリガーを検出し,最大98.9%のバックドア攻撃を緩和する。
    • グローバルモデルの精度への影響は最小限に抑えられ,実用的なバックドア対策として有効性が示された。

    Link: https://arxiv.org/abs/2411.12220

  • ReMAP:任意の次数マルコフ確率場のスケーラブルなMAP推論のためのニューラル再パラメータ化 [cs.LG, cs.AI]目的:任意の次数マルコフ確率場におけるスケーラブルな高品質なMAP推論
    • 確率場は画像処理,自然言語処理,コンピュータビジョンなど,様々な分野で重要な役割を担う。
    • 高次の確率場や大規模なインスタンスでは,効率的なMAP推論が困難である。
    • ニューラル再パラメータ化により,大規模な問題に対しても効率的に高品質な推論を実現すること。
    • 提案手法ReMAPは,既存の近似手法を上回り,大規模なインスタンスにおいてToulbar2よりも低エネルギー解を見出す。
    • ReMAPは,グラフニューラルネットワークを用いてノードごとのラベル分布を生成し,連続空間での勾配ベース最適化により解を探索する。
    • 緩和された目的関数は,離散MAP問題と一貫性があり,ニューラルな過パラメータ化が低エネルギーの最適化経路を可能にする。

    Link: https://arxiv.org/abs/2411.18954

  • 情報伝播:MLLMを用いた画像生成における文脈的一貫性の醸成 [cs.CV, cs.AI]目的:画像生成における文脈的一貫性の向上
    • 拡散モデルは画像生成において高性能だが,その仕組み上,文脈の一貫性に課題が残る。
    • 拡散モデルにおける情報伝播の無秩序さが,画像領域間の干渉や詳細の劣化を引き起こす。
    • MLLMを活用し,情報伝播を制御することで,文脈に沿った高精度な画像生成を目指す。
    • 本研究では,効率的な一方向拡散フレームワークであるCOWを導入し,精密な情報伝達と干渉の抑制を実現した。
    • さらに,MLLMを用いて文脈的関係性を明確化するSOWを提案し,拡散の方向と強度を動的に制御する。
    • 実験結果は,制御された情報伝播の潜在能力を示し,より適応的で汎用性の高い生成モデルへの道を開く。

    Link: https://arxiv.org/abs/2411.19182

  • 構図の芸術:合成視覚的根拠付けのための注意正則化訓練 [cs.CV, cs.CL, cs.LG]目的:複合的な視覚的根拠付けの性能向上
    • 画像と言語を理解するモデルは,視覚的な内容とそれに対応する言語表現の関係を解明する上で重要である。
    • 既存モデルは,単純な単一オブジェクトの表現には強いが,複雑な複数オブジェクトの表現の根拠付け性能が低下する。
    • 複数オブジェクトの表現を分解し,注意のバランスを促進することで,複数オブジェクトの根拠付け精度を向上させる。
    • 提案手法CompARTは,異なるVLMアーキテクチャとデータセットにおいて,単一オブジェクトと複数オブジェクト両方の根拠付け性能を改善した。
    • CompARTは,画像キャプションのアライメントに依存する従来の訓練方法の課題を克服し,複数オブジェクトの情報を効果的に活用する。
    • VQAタスクにおいても性能が向上し,視覚的理解能力が向上したことが示された。

    Link: https://arxiv.org/abs/2412.08110

  • 第一・第二高階依存関係と等式における目標駆動型クエリ応答 [cs.AI, cs.DB, cs.LO]目的:第一・第二高階依存関係と等式における目標駆動型クエリ応答技術
    • 知識ベースに対する質問応答は,情報検索やデータ分析において重要であり,効率的な手法が求められる。
    • 既存のクエリ応答技術では,クエリに関係のない推論が行われ,計算コストが高くなるという課題がある。
    • クエリに必要な推論のみを行い,計算コストを削減することで,効率的な質問応答を実現することを目指す。
    • 提案手法は,入力依存関係を変換することで,クエリに関係のない推論を回避し,計算量を削減する。
    • 特異化技術,関連性分析,マジックセットアルゴリズムの変種を導入し,第二高階依存関係と等式にも対応可能にした。
    • 実験結果から,目標駆動型クエリ応答は,完全な普遍モデルの計算と比較して,大幅に高速であることが示された。

    Link: https://arxiv.org/abs/2412.09125

  • LicenseGPT:公開データセットライセンス遵守のためのファインチューニングされた基盤モデル [cs.SE, cs.AI]目的:公開データセットのライセンス遵守分析
    • AI製品開発において,データセットの利用は不可欠であり,そのライセンス遵守は法的リスクを伴う。
    • データセットライセンスの解釈は曖昧さを伴うことが多く,専門家でも正確な判断が難しい。
    • ライセンス遵守分析の効率化と正確性の向上を目指す。
    • LicenseGPTは,既存の法的FMと比較して,予測一致率を大幅に向上させた。
    • ソフトウェアIP弁護士とのA/Bテストとユーザー調査により,ライセンス分析時間を94.44%短縮することが示された。
    • LicenseGPTは,弁護士による人間の監視が必要とされる場合もあるが,効率向上に役立つツールとして評価されている。

    Link: https://arxiv.org/abs/2501.00106

  • Mono-Forward:客観的局所性分解によるForward-Forwardの再検討 [cs.LG]目的:深層ニューラルネットワーク学習におけるForward-Forwardアルゴリズムの性能向上
    • 深層学習の発展は目覚ましいが,バックプロパゲーションのメモリ消費量が課題となっている。
    • Forward-Forwardアルゴリズムはバックプロパゲーションの代替案だが,精度が低いという問題がある。
    • 本研究は,Forward-Forwardアルゴリズムの精度低下の原因を特定し,改善を目指す。
    • Mono-Forwardは,Forward-Forwardの局所性を維持しつつ,コントラスト的な目的関数を標準的な多クラス交差エントロピー損失関数に置き換えた。
    • 実験の結果,Mono-ForwardはオリジナルのForward-Forwardよりも優れた性能を示し,他のForward-Forward変種とも競合できることが示された。
    • MLP-Mixersを用いた実験では,Mono-ForwardはPathMNISTにおいてバックプロパゲーションよりも優れた結果を示し,メモリ使用量はバックプロパゲーションの31%で済んだ。

    Link: https://arxiv.org/abs/2501.09238

  • 流体型レストレス多腕バンディット問題の最適制御:機械学習アプローチ [cs.LG]目的:流体型レストレス多腕バンディット問題の最適制御
    • 資源配分やスケジュール最適化など,実用的な問題解決に役立つ重要な分野である。
    • 従来の数値解法では計算コストが高く,複雑な問題への適用が困難である。
    • 機械学習を用いて効率的な最適制御戦略を学習し,計算コストを削減すること。
    • 提案手法は,多様な初期状態でのインスタンスを解くことで包括的な学習データセットを生成する。
    • 特徴ベクトルに非線形変換を適用することで,学習データセットの精度を向上させている。
    • 機械学習により得られた状態フィードバックポリシーは,直接数値解法と比較して最大2600万倍の高速化を実現した。

    Link: https://arxiv.org/abs/2502.03725

  • 離散自己回帰言語モデルへの距離尺度の学習 [cs.LG, cs.CV]目的:離散自己回帰言語モデルに対する距離尺度の学習手法
    • 大規模言語モデルは様々な分野に応用されているが,トークン間の距離情報を考慮しない点が課題である。
    • 従来のone-hotターゲットによる学習は,数値や空間座標など距離が重要なタスクにおいて性能が制限される。
    • トークン間の距離情報に基づいた報酬重み付き分布を用いて,より効率的な学習を目指す。
    • 提案手法DIST2Lossは,データ効率と様々なドメインにおける下流タスクの性能を向上させる。
    • 視覚的接地においてより正確なバウンディングボックスを獲得し,ロボット操作の学習を加速する。
    • LLMアライメントのための報酬モデリングを強化し,ベクトル量子化画像生成の精度を高める。

    Link: https://arxiv.org/abs/2503.02379

  • 局所的順序補助損失はオートエンコーダ再構成を改善できる [cs.LG]目的:オートエンコーダ再構成の改善
    • データ圧縮と再構成は,機械学習における重要な技術である。
    • 従来の平均二乗誤差は,局所的な空間的順序の保持を考慮していない。
    • 局所的順序を考慮した補助損失により,再構成精度を向上させる。
    • 有限差分符号誤差(FDSE)を導入し,MSEとの組み合わせで検証MSEを大幅に削減した。
    • FDSEとMSEの適切な重み付けにより,点ごとの精度向上が確認された。
    • 空間的にコヒーレントなフィールドにおいて,特に大きな改善効果が認められた。

    Link: https://arxiv.org/abs/2504.04202

  • PRIMETIME:LLMにおける時間に関する基礎能力の限界 [cs.NE]目的:LLMにおける時間解析と日付計算の基礎能力の評価と改善
    • LLMの応用範囲拡大のため,時間に関する推論能力の評価が重要である。
    • 既存の評価方法は,複雑な形式や知識に依存し,個々の基礎能力を正確に測れない。
    • 時間解析と日付計算の基礎能力を分離評価し,改善のための学習データを提供する。
    • PRIMETIMEという合成データ生成器を開発し,時間に関する基礎能力を個別に評価できるようになった。
    • 既存のLLMは,時間解析と日付計算において,モデルやプロンプト条件により,精度が大きく異なることが判明した。
    • 生成された学習データでファインチューニングすることで,時間に関する基礎能力を向上させ,複雑なタスクの精度を向上させることができた。

    Link: https://arxiv.org/abs/2504.16155

  • 大規模言語モデルは,意味を保持するコード変異に対する理解において頑健か? [cs.SE, cs.AI]目的:大規模言語モデルのコード理解における頑健性の評価
    • プログラミング支援の普及に伴い,大規模言語モデルの信頼性確保が重要である。
    • 既存研究では,コード理解における推論能力の評価が不十分である。
    • 意味を保持するコード変異に対する大規模言語モデルの脆弱性を明らかにする。
    • 大規模言語モデルは,高い予測精度を示す一方で,意味を保持する変異に対して予測が不安定になることが示された。
    • 専門家による評価では,大規模言語モデルは10〜50%のケースで誤った推論に基づいて正解を導き出していることが判明した。
    • プロプライエタリモデルは優れた精度と推論能力を示すものの,脆弱性分析により,変異に対する脆さが見られた。

    Link: https://arxiv.org/abs/2505.10443

  • 時間系列サリエンシーマップ:複数ドメインにおけるモデルの説明 [cs.LG]目的:時間系列モデルにおける解釈可能性の向上
    • 時系列データは,医療,金融など様々な分野で重要であり,モデルの予測根拠を理解することは不可欠である。
    • 従来のサリエンシーマップ手法は,時間領域に限定され,意味のある特徴を捉えきれない場合がある。
    • 時間領域以外のドメインにおける特徴量の貢献度を評価し,モデルの解釈性を高めることを目指す。
    • 提案手法であるCross-domain Integrated Gradientsは,時間領域と他のドメイン間の変換を可能にし,周波数領域での特徴量寄与度を評価できる。
    • 理論的な保証(経路独立性,完全性)を備えており,様々な実験を通して有効性が確認された。
    • ウェアラブル心拍数抽出,脳波によるてんかん検出,時系列予測など,実世界のタスクにおいて,時間領域のみの手法では捉えられない有用な情報を提示した。

    Link: https://arxiv.org/abs/2505.13100

  • 深層学習において深さが浅さよりも優れる理由と時期:実装非依存の状態遷移モデル [cs.RO, cs.LG, math.DS, stat.ML]目的:深層学習の汎化性能向上に関する理由と時期の解明
    • 深層学習は,画像認識や自然言語処理など,多様な分野で高い性能を発揮している。
    • 深層学習の深さが増すにつれて,汎化性能が低下する可能性が古典的に指摘されてきた。
    • 深さが増すことによる統計的な有利性を明らかにし,深層学習の深さの役割を理解すること。
    • 実装に依存しない状態遷移モデルを用いることで,深さの影響を理論的に分析した。
    • 近似誤差の改善速度と遷移半群の幾何学的性質が,深さの有効性に大きく影響することが示された。
    • 特定の条件下では,深さが統計的に有利であり,汎化性能を向上させることが確認された。

    Link: https://arxiv.org/abs/2505.15064

  • プロダクトカーネル法に対する線形時間での厳密なシャプレイ値 [cs.LG, cs.AI]目的:プロダクトカーネル法における全ての特徴量に対する厳密なシャプレイ値の計算
    • 機械学習や統計において柔軟性と表現力を持つカーネル法は広く用いられている
    • シャプレイ値の厳密計算は一般的に困難であり,近似法に頼らざるを得ない
    • プロダクトカーネルの乗算構造を利用し,厳密なシャプレイ値を効率的に計算すること
    • 提案手法PKeX-Shapleyは,特徴量数dに対して2乗の時間で厳密なシャプレイ値を計算可能である
    • プロダクトカーネル構造に内在する除去演算子を利用し,パラメータフリーな値関数を実現した
    • このフレームワークは,MMDやHSICなどのカーネルベースの不一致尺度にも適用可能である

    Link: https://arxiv.org/abs/2505.16516

  • コホートに基づく能動的モダリティ獲得 [cs.LG, cs.AI]目的:モダリティ獲得の優先順位付け
    • 現実世界のマルチモーダル学習では,欠損や高コストなモダリティが存在し,効率的なデータ収集が重要である。
    • 既存研究はサンプル個体または学習時での獲得戦略に偏っており,テスト時コホートレベルでの獲得は未開拓である。
    • 限られた予算内で,コホート全体の性能向上が期待できるモダリティ獲得戦略を確立することを目指す。
    • 提案手法CAMAは,欠損モダリティ獲得の期待効用を予測するインプットベース戦略に基づき,既存手法よりも効果的な獲得指針を提供する。
    • 実験の結果,CAMAは15個までのモダリティを持つデータセットにおいて,事前情報のみやエントロピーに基づく手法よりも優れていることが示された。
    • UK Biobankのデータを用いた実験では,疾患予測のためのプロテオミクスデータ獲得を効果的に指針付けし,実用性とスケーラビリティが確認された。

    Link: https://arxiv.org/abs/2505.16791

  • 深層学習における固定ペナルティよりも制約条件の採用 [cs.LG, math.OC]目的:深層学習における制約条件付き問題の取り扱い方法に関する議論
    • 信頼性の高いAIシステムの開発において,明示的な要件や制約条件を持つ学習問題が重要視されている。
    • 深層学習では,制約条件を固定重み付きペナルティとして扱うことが一般的だが,これは必ずしも最適とは言えない。
    • 本研究は,深層学習における非妥協的な要件を含む問題を解決するために,制約条件を直接的に扱うアプローチを提案する。
    • 固定ペナルティは,非凸な設定において制約付き問題と等価ではないため,最適化が困難である。
    • 固定ペナルティは,ハードな要件をソフトなペナルティに弱め,タスク性能とのトレードオフを生じさせる。
    • ペナルティ係数の調整は,試行錯誤を要し,誤った問題を解いてしまうリスクがある。

    Link: https://arxiv.org/abs/2505.20628

  • 確率的バンディットに対する偽データ注入による実用的な敵対的攻撃 [cs.CL, cs.LG, cs.AI, cs.CR]目的:確率的バンディット攻撃における敵対的制約下での効果的な攻撃戦略
    • 強化学習は,様々な実世界システムで意思決定を最適化する上で重要である。
    • 従来の攻撃モデルは非現実的な仮定に依存し,現実システムへの適用が限定されていた。
    • 現実的な敵対的制約下での攻撃手法を開発し,アルゴリズムの脆弱性を明らかにする。
    • 提案手法は,報酬値と時間的制約を考慮した偽データ注入により,バンディットアルゴリズムを特定の行動に誘導できる。
    • 理論的分析により,この攻撃がサブ線形的なコストでバンディットアルゴリズムを誤った行動に導くことが示された。
    • 合成データおよび実データを用いた実験により,提案手法の実用性と有効性が検証された。

    Link: https://arxiv.org/abs/2505.21938

  • 安全な強化学習における解析的勾配の活用 [cs.LG, cs.AI, cs.RO]目的:安全な強化学習のための解析的勾配に基づく保護手法
    • 安全性が求められるロボット応用の実現には,安全性の保証が不可欠である。
    • 解析的勾配に基づく強化学習は高性能だが,安全性を確保する手法は未確立であった。
    • 解析的勾配に基づく強化学習に適用可能な,効果的な保護手法を開発すること。
    • 既存の微分可能な保護手法を改変し,解析的勾配に基づく強化学習に統合した。
    • 3つの制御タスクにおいて,保護手法が学習に与える影響を評価した結果,性能を損なうことなく安全な学習が可能となった。
    • 開発した保護手法は,シミュレーションと実世界のギャップを縮小する可能性を示す。

    Link: https://arxiv.org/abs/2506.01665