arXiv雑要約
AI - 2026/02/03 公開
WassersteinとKalman-Wasserstein KLダイバージェンスによるWell-Posed KL正則化制御 [math.OC, cs.LG]目的：KL正則化制御の安定化と性能向上
- 強化学習におけるKL正則化は一般的だが，サポート不一致や低ノイズ下で問題が生じやすい。
- 従来のKL正則化は，サポート不一致時に無限大となり，低ノイズ環境下では退化する可能性がある。
- Wasserstein KLダイバージェンスを用いて，これらの問題を解決し，安定した制御を実現する。
- 提案手法は，サポート不一致下でも有限な値を保ち，正則化の幾何学的解釈を提供する。
- 線形時間不変システムにおいて，古典的なKL正則化が特異になる問題を解消し，well-posedな問題を構築する。
- Double integratorやcart-poleの例で，従来のKL正則化よりも優れた制御性能を示すことが確認された。
フラグメントフロー：大規模分子の遷移状態生成のスケーラビリティ向上 [physics.chem-ph, cs.AI]目的：大規模分子の遷移状態生成手法
- 化学反応の理解と予測には遷移状態が不可欠であり，反応機構の解明に役立つ。
- 従来の遷移状態探索は計算コストが高く，大規模分子への適用が困難である。
- 分子サイズ増加に伴う分布シフトを軽減し，大規模分子の遷移状態生成を可能とする。
- フラグメントフローは，反応機構を定義する反応中心原子の遷移状態を予測する生成モデルを訓練する。
- 反応中心に焦点を当てることで，分布シフトを緩和し，スケーラビリティを向上させる。
- 最大33個の重原子を含む反応において，90%の遷移状態を正しく同定し，最適化ステップ数を30%削減した。
人工知能と対称性：物理データにおける学習，符号化，構造発見 [hep-ph, cs.AI, cs.LG]目的：物理データにおける構造の学習，符号化，発見
- 物理学において対称性は重要な役割を担い，ダイナミクスや相互作用を規定する
- 機械学習では，高次元データから低次元構造を抽出できるが，対称性の構造推論は困難
- データ駆動型アプローチにより，対称性構造を学習し，物理データの次元削減を目指す
- 対称性と保存則は物理データセットの固有次元を削減し，潜在空間の自己組織化を促す。
- 変分オートエンコーダー等の潜在表現学習を利用することで，データから対称性を推論可能となる。
- 明示的な誘導バイアスなしに，対称性構造を推論することの理論的・実践的限界が示された。
条件付き分位点マッチングによる転移学習 [stat.ML, cs.LG]目的：回帰のための転移学習手法
- データが不足する状況下での予測精度向上は，実用的な機械学習において重要な課題である。
- 転移学習では，ソースドメインとターゲットドメインの分布の不一致が性能低下の要因となる。
- ソースドメインの知識をターゲットドメインへ効果的に転移し，分布の不一致を解消すること。
- 提案手法は，ソースドメインの条件付き生成モデルと，ターゲットドメインへの条件付き分位点マッチングを組み合わせる。
- 理論的には，拡張データセット上で訓練されたERMが，ターゲットデータのみで訓練されたERMよりもタイトな過剰リスク境界を持つことが示された。
- 実験結果から，提案手法がターゲットデータのみの学習や既存の転移学習手法よりも予測精度を向上させることが確認された。
構造化損失関数を用いた，証明可能なデータ駆動型多重ハイパーパラメータチューニング [math.OC, cs.SY, eess.SY, stat.ML, cs.LG]目的：多次元ハイパーパラメータチューニングにおける一般化保証の確立
- データ駆動型アルゴリズム設計の自動化は重要だが，統計的根拠が弱かった。
- 既存の研究は一次元ハイパーパラメータに限定され，実用的な多次元設定は未解決だった。
- データ駆動型設定における多次元ハイパーパラメータチューニングの一般化保証を確立する。
- 実代数幾何学のツールを活用し，半代数的関数クラスに対する一般化保証を強化。
- 検証損失を用いたハイパーパラメータチューニングに対し，最小限の仮定下で改善された境界を導出。
- データ駆動型重み付きグループLassoや重み付き融合Lassoを含む，新たな学習可能性の結果を実証。
全バッチ勾配降下が1パスSGDを上回る：単一指数学習におけるサンプル複雑度の分離 [stat.ML, cs.LG]目的：単一指数モデルにおけるサンプル複雑度の分離
- 機械学習の効率化において，勾配法は重要な役割を果たす。
- オンラインSGDと全バッチGDの理論的な優位性の差は不明確であった。
- 活性化関数の調整により，全バッチGDの効率を向上させる。
- 全バッチ球面GDは相関損失において$\log d$の因子が残る一方，活性化関数の切り捨てにより，$n \simeq d$サンプルでSGDを上回る。
- 初期化が小さい場合の二乗損失に対する全バッチGDの軌跡分析により，$n \gtrsim d$サンプルと$T \gtrsim\log d$ステップで正確な復元が可能となる。
人工ニューラルネットワークの関数表現 [cs.LG, math.FA, stat.ML]目的：人工ニューラルネットワークの構造の関数形式による表現
- 近年，機械学習の発展が目覚ましく，様々な分野で活用が広がっている。
- ニューラルネットワークの内部構造は複雑で，数学的な解析が困難である。
- 活性化関数の積分概念を用いて，ニューラルネットワークの構造を関数として表現すること。
- 人工ニューラルネットワークの構造をシンプルな関数として表現することが可能となった。
- ニューラルネットワークの数学的な解を導き出す道が開かれた。
- 既存のニューラルネットワークをより合理的な枠組みの中に位置づけられることが示唆された。
一般化作用ガバナーを用いた安全な制御と学習 [eess.SY, cs.AI, cs.SY, math.OC]目的：状態と入力制約をオンラインでの行動調整によって強制する能力を備えた，名目上の閉ループシステムを強化するための監視スキームである一般化作用ガバナー
- ロボット工学等の分野において，システムの安全性確保は不可欠であり，制約を満たす制御が求められる。
- 従来の安全確保手法は，正不変性の維持に依存しており，複雑なシステムへの適用が困難な場合がある。
- 安全な集合への復帰可能性を保証することで，従来の制約を緩和し，より広範なシステムに適用可能とする。
- 本研究では，離散時間システムにおける一般化作用ガバナーの理論を構築し，線形システムおよび有限状態・行動空間を持つ離散システムに対する設計手順を提示した。
- 作用ガバナーと安全なQ学習，データ駆動型クープマンオペレーターに基づく制御を統合した，安全なオンライン学習戦略を提案し，制約充足を保証した。
- 数値シミュレーションにより，提案手法の有効性を検証した。
変数機械学習システムにおける汎用的なユーザーの嗜好に対する反実仮想説明の生成 [cs.SI, physics.soc-ph, eess.SY, cs.RO, cs.SY, cs.AI]目的：汎用的なユーザー嗜好に対応した反実仮想説明生成手法
- 機械学習の普及に伴い，モデルの予測根拠を説明する重要性が高まっている。
- 既存の説明手法では，具体的な状況下での嗜好変化やモデル変動に対応しにくい。
- ユーザーの汎用的な嗜好と変動する機械学習システムに対応する説明手法を開発する。
- 本研究では，心理学・行動科学の知見に基づき，汎用的なユーザー嗜好を定義した。
- 新たに，汎用的なユーザー嗜好に対応可能な反実仮想説明生成手法T-COLを提案した。
- 実験の結果，T-COLは既存手法と比較して，汎用的なユーザー嗜好への適応において優れた性能を示した。
因数分解テンソルネットワークを用いたパラメータ効率的なマルチタスク・マルチドメイン学習 [cs.LG, cs.CV]目的：マルチタスクおよびマルチドメイン学習におけるパラメータ効率の向上
- 多様なタスクやドメインへの適応は，AIの汎用性を高める上で重要である。
- 既存手法では，複数のタスクを扱う際にパラメータ数が増加し，計算コストやメモリ消費が課題となる。
- 少ない追加パラメータで高い精度を維持し，効率的な学習を実現することを目指す。
- 提案手法である因数分解テンソルネットワーク(FTN)は，タスク固有の低ランクテンソル因子を共有ネットワークに組み込む。
- FTNは，単一タスクモデルと同等の精度を，既存手法よりも少ないパラメータ数で達成できることを実験で示した。
- この手法は，畳み込みニューラルネットワークおよびTransformerアーキテクチャの両方で有効であることが確認された。
変動速度下における振動に基づくリアルタイムベアリング故障診断 [cs.LG, cs.AI, cs.SY, eess.SY]目的：ベアリング故障のリアルタイム診断手法
- 設備の予防保全は，経済的損失や運用停止を最小限に抑えるために重要である。
- 既存技術は厳密な条件下での検証が多く，実環境への適応性に課題がある。
- 本研究は，実環境におけるベアリング故障をリアルタイムに正確に診断することを目指す。
- 提案手法は，最新技術と比較して最大15.8%の精度向上を達成した。
- 様々なノイズ条件下でも高い性能を維持し，実用性に優れていることが確認された。
- 処理時間が計測時間より5分の1以下と，リアルタイム処理が可能である。
物体制約の対象中心的抽象化を用いた統一タスク・モーションプランニング [cs.CL, cs.RO, cs.AI]目的：タスクとモーションプランニングの統合
- ロボットによる複雑な作業の自律的な実行は，AI研究における重要な課題である。
- タスクプランニングにおける物理制約の曖昧さにより，実行可能性の低い計画が生じやすい。
- 物理的に実行可能な計画を効率的に生成する手法の開発。
- 本研究では，物体中心的な制約抽象化により，タスクとモーションプランニングを統合した。
- これにより，既存のAI探索アルゴリズムを活用し，効率的に物理的に実行可能な計画を生成できる。
- 生成された計画は，幾何学的推論を経由することなく，直接タスク実行パラメータに変換可能である。
軌跡データ管理とマイニング：深層学習からLLM時代への概観 [cs.LG, cs.AI, cs.CY, cs.DB]目的：軌跡データ管理とマイニングの発展と最近の進歩に関する包括的なレビュー
- 位置情報サービス，都市交通，公共安全など，多様な実用的な応用において不可欠な分野である。
- 従来の単純な時空間特徴に焦点を当てた手法は，計算量の多さ，スケーラビリティの限界，現実世界の複雑さへの適応性の低さなどの課題を抱えている。
- 深層学習と大規模言語モデルの進歩を踏まえ，次世代の軌跡計算を再構築することを目指す。
- 本研究は，深層学習モデルの軌跡管理（前処理，保存，分析，可視化）とマイニング（予測，レコメンデーション，分類，移動時間推定，異常検知，移動生成）への応用を体系的に概観している。
- 大規模モデル（ファウンデーションモデルと大規模言語モデルを含む）が，軌跡計算に新たな可能性をもたらすことが示されている。
- 関連論文やオープンソースリソースをまとめたリポジトリ（https://github.com/yoshall/Awesome-Trajectory-Computing）を継続的に更新している。
InterDreamer：ゼロショットによるテキストから3D動的ヒューマン・オブジェクトインタラクション [cs.CV, cs.AI]目的：テキストに基づいた3Dヒューマン・オブジェクトインタラクション生成
- 人間行動理解は，ロボット工学やバーチャルリアリティなど，様々な分野で重要性を増している。
- 大規模なインタラクションデータセットの不足が，3D動的ヒューマン・オブジェクトインタラクション生成の課題となっている。
- テキストとインタラクションデータのペアによる直接的な学習なしに，インタラクション生成を可能にすること。
- InterDreamerは，大規模言語モデルとテキストからモーションへのモデルを組み合わせることで，インタラクションの意味とダイナミクスを分離し，ゼロショットでの生成を実現する。
- 物理シミュレーションを理解するワールドモデルを導入し，低レベルのインタラクションダイナミクスの複雑さを克服する。
- BEHAVEとCHAIRSデータセットを用いた実験により，テキスト指示に沿った現実的で一貫性のあるインタラクションシーケンス生成能力が示された。
Mask2Former様式モデルのための効率的なTransformerエンコーダ [cs.RO, cs.CV, cs.LG]目的：Mask2Former様式モデルにおけるTransformerエンコーダの効率化
- 画像セグメンテーション技術は，自動運転や医療診断など幅広い分野で不可欠であり，高精度化が求められている。
- Transformerベースのモデルは高性能だが，計算資源を大量に消費するため，実用デバイスへの実装が課題となる。
- 入力画像に応じてエンコーダの層数を動的に調整することで，計算コストを削減しつつ性能を維持することを目指す。
- 提案手法ECO-M2Fは，入力画像に応じてエンコーダの層数を自己選択することで，計算コストを削減する。
- 実験結果から，ECO-M2Fは性能を維持しつつ，エンコーダの計算コストを削減できることが示された。
- 本手法は，様々な計算資源環境への適応が可能であり，セグメンテーション以外の物体検出にも拡張できる。
単眼画像を用いた船載ドローンの姿勢推定のための深層Transformerネットワーク [cs.DL, cs.CV, cs.AI, cs.RO, eess.IV]目的：船に対するドローンの相対6次元姿勢推定
- ドローン技術は，海上輸送や安全保障における活用が期待されており，自律航行の実現が重要である。
- 正確な姿勢推定は，ドローンの自律航行において不可欠だが，環境光の変化や複雑な背景に弱いという課題がある。
- 船載環境におけるドローンの安定した姿勢推定と，自律的な着陸・航行への応用を目指す。
- 提案手法では，船の各部位の2Dキーポイントを検出し，それらを用いて6次元姿勢を推定する深層Transformerネットワークを開発した。
- 合成データおよび実機飛行実験の結果，様々な照明条件下でロバストかつ高精度な姿勢推定が可能であることが示された。
- 合成データでは約0.8%，飛行実験では約1.0%の船との距離に対する位置推定誤差を達成した。
二相継続学習：教師あり適応と教師なし保持 [cs.CL, cs.LG]目的：視覚言語モデルにおける継続学習時の忘却軽減
- 基礎的な視覚言語モデルは多様なタスクで優れているが，既存知識を保持しつつ新しい領域に適応することが課題。
- 急激な分布シフトは忘却を引き起こし，教師あり更新の効果を打ち消す可能性がある。
- 展開時に遭遇する代表的なテストサンプルを利用し，過去のタスク性能を強化する。
- 提案手法は，教師なしの方法で過去のタスク性能を向上させ，リプレイや保存の必要性をなくす。
- 勾配に基づく疎なパラメータ更新を行うTeacher-Studentフレームワークにより，視覚言語モデルのクラス増分型継続学習における忘却を効果的に軽減する。
- エピソードリプレイの代替となるメモリ不要な手法として，優れた実証的結果が得られた。
継続学習のための回顧的特徴推定 [cs.LG, cs.CV]目的：継続学習における，過去知識の忘却抑制
- 深層学習モデルは，変化するデータストリームへの継続的な学習能力が求められる。
- 既存の深層学習モデルは，過去の知識を忘却する災厄的忘却の問題を抱えている。
- 本研究は，回顧的特徴推定という新たな手法で，災厄的忘却を軽減することを目指す。
- 本研究では，回顧的特徴推定（RFE）という手法を提案し，過去タスクの特徴空間への特徴量の逆変換を行うことで，知識の忘却を抑制する。
- RFEは，小さな特徴写像ネットワーク（レトロスペクターモジュール）の連鎖を利用して，この逆変換を実現する。
- CIFAR10，CIFAR100，Tiny ImageNetにおける実験により，RFEが既存手法と比較して有効であることが示された。
インスタンス温度知識蒸留 [cs.CC, cs.CL, cs.LG, cs.AI]目的：知識蒸留におけるインスタンス温度調整戦略
- 深層学習モデルの性能向上は，計算資源の制約下で重要であり，知識蒸留はその有効な手法の一つである。
- 既存の知識蒸留手法では，短期的な効果に偏った温度調整が行われ，長期的な学習効果が考慮されていない。
- 本研究は，強化学習を用いて，知識蒸留の各段階における最適なインスタンス温度調整を学習する。
- 提案手法RLKDは，強化学習を用いてインスタンス温度を動的に調整し，学習効率と性能を向上させる。
- 状態表現の工夫と，報酬キャリブレーションにより，遅延報酬の問題を克服し，効率的な学習を実現した。
- 画像分類と物体検出の両タスクにおいて，様々な知識蒸留手法への容易な組み込みと有効性が確認された。
UniGAP：ノード分類タスクにおける過剰平滑化を軽減するための普遍的適応グラフアップサンプリング手法 [cs.LG]目的：ノード分類タスクにおける過剰平滑化の軽減
- グラフ構造データは，様々な分野で重要性が増しており，その分析手法の高度化が求められている。
- グラフニューラルネットワークは表現力が高い一方，層が深くなるほどノード特徴が平滑化され，性能が低下する問題がある。
- 既存のアップサンプリング手法は汎用性に欠け，最適化に手間がかかるため，より普遍的で適応的な手法が望まれている。
- UniGAPは，凝縮された軌跡特徴に基づく適応的なグラフアップサンプラーを設計し，既存のGNNに組み込むことで過剰平滑化を軽減する。
- 実験結果から，UniGAPは既存のヒューリスティックなデータ拡張手法と比較して，様々なデータセットや指標において有意な性能向上を示すことが確認された。
- UniGAPは，グラフ構造の進化を分析し，過剰平滑化が発生するボトルネックを特定し，その解決策を提供する。
構造的ひび割れセグメンテーションのための軽量局所パターン認識と長距離依存性の階層的カスケード融合 [cs.CV, cs.AI]目的：構造的ひび割れセグメンテーションにおける高精度化と計算効率の向上
- インフラの老朽化が進み，構造物のひび割れ検査は安全管理上重要である。
- 既存手法は局所的なテクスチャとピクセル間の依存関係の統合が不十分で，セグメンテーション精度が低い。
- 軽量なネットワーク構造で，高精度かつ効率的なひび割れセグメンテーションを実現することを目指す。
- 提案手法 CrackSCFは，既存手法と比較して，複数のデータセットで高いF1スコアとmIoUを達成した。
- 特に，新規に作成したTUTデータセットにおいて，F1スコア0.8382，mIoU0.8473という良好な結果が得られた。
- CrackSCFは，パラメータ数がわずか4.79Mであり，エッジデバイスでの実用化に適している。
逐次変動正則化を用いた不変表現誘導によるマルチモーダル感情復号 [cs.LG, cs.AI, cs.CV]目的：マルチモーダル感情分析における一貫性のある感情表現の獲得
- 感情分析は，人間とコンピュータの自然な対話を可能にする上で不可欠である。
- 異なるモダリティ間での感情表現の一貫性維持が課題となっている。
- 時間的な感情変動による不安定性を抑制し，予測性能の向上を目指す。
- 提案手法では，モダリティ不変融合機構により安定したクロスモーダル表現を獲得する。
- 逐次変動正則化項を導入し，逆伝播時の学習軌跡を制御することで時間的な安定性を高める。
- 3つの公開データセットでの実験により，提案手法の有効性が検証された。
FPBoost：生存時間分析のための完全パラメータ勾配ブースティング [cs.LG, cs.AI]目的：生存時間分析における新規モデリング手法
- 医療，信頼性工学，社会科学研究において，イベントの動態理解は重要である。
- 既存手法は比例ハザード仮定や時間離散化など，制約的な仮定に依存している。
- 柔軟なイベント時間モデリングと解釈可能性を両立する手法の確立を目指す。
- FPBoostは，完全パラメータハザード関数の加重和と勾配ブースティングを組み合わせる。
- FPBoostは，ハザード関数の汎用近似器であり，柔軟なモデリングを可能にする。
- ベンチマークデータセットにおける評価で，その堅牢性と多様性が示された。
不確実性下最適化のためのエンドツーエンド確信的較正 [cs.LG, math.OC]目的：不確実性下最適化における確信的較正の学習
- 機械学習は不確実性下での意思決定を改善するが，信頼性の高い不確実性推定が重要となる。
- ニューラルネットワークでは，適切に較正された不確実性推定を得ることが難しい場合がある。
- ダウンストリームの意思決定損失を考慮した不確実性集合を学習することで問題を解決する。
- 提案手法は，エネルギー貯蔵裁定取引とポートフォリオ最適化の具体的な応用例において，二段階の推定・最適化ベースラインよりも一貫して性能が向上した。
- 確信的予測を用いて，ロバスト性と較正の保証を提供するエンドツーエンドのフレームワークを開発した。
- 一般的な凸不確実性集合を部分入力凸ニューラルネットワークで表現し，フレームワークの一部として学習する。
LLMにおける潜在的な線形性を活用した，説明可能な分子表現学習の向上 [cs.LG, cs.AI]目的：LLM表現内における分子埋め込みの分解と，概念整合空間への変換
- 創薬や材料設計など，分子領域でのLLMの有用性が広がっており，その仕組みの解明が重要である。
- LLMの潜在表現の分析は重要だが，解釈可能性が低く，そのメカニズムの理解が困難である。
- LLM表現における潜在的な線形性を利用し，より説明可能な分子表現学習を実現することを目指す。
- 分子埋め込みは，化学的に整合性のある概念へと線形的にマッピングできることが示された。
- この線形性は確立された化学原理と一致しており，LLM表現内にメカニズム的に説明可能な潜在構造が存在することを示唆する。
- MoleXは，既存手法と比較して，精度，説明可能性，効率において優れていることが実験的に確認された。
鏡下降法による注意機構の最適化：一般化最大マージントークン選択 [cs.CL, cs.LG, cs.AI, cs.CL]目的：ソフトマックス注意機構に対する鏡下降法アルゴリズムの収束性と暗黙的なバイアス
- 注意機構は，自然言語処理や画像認識など，AIの様々な分野で重要な役割を果たしている。
- 勾配降下法（GD）の最適化ダイナミクスは研究されているが，鏡下降法（MD）のようなより一般的なアルゴリズムは未解明な点が多い。
- ソフトマックス注意モデルを用いた分類問題において，MDアルゴリズムの収束性を理論的に示す。
- 提案するMDアルゴリズムは，$\ell_p$ノルム目的を持つ一般化ハードマージンSVMへ収束することが示された。
- その収束率は，より単純なモデルにおけるGDと同等であり，非線形かつ非凸な問題においても有効である。
- キー・クエリ行列とデコーダの同時最適化における収束条件と，実データにおけるMDアルゴリズムの有効性が確認された。
SVIP：オープンソース大規模言語モデルの検証可能な推論に向けて [cs.LG, cs.AI, cs.CL, cs.CR]目的：オープンソース大規模言語モデルの推論検証プロトコル
- 近年，大規模言語モデルの利用が拡大し，個人での利用が困難になりつつある。
- 分散コンピューティングでは，計算資源を提供する事業者が，モデルを不正に置き換える可能性がある。
- 利用者が，提供されたモデルが期待通りの性能を持つか検証する手段を提供する。
- SVIPは，秘密鍵を用いた検証可能な推論プロトコルであり，計算効率に優れる。
- プロバイダは，生成されたテキストと隠れ表現を返却し，利用者はプロキシタスクを用いてモデルを識別する。
- 実験の結果，SVIPは高い精度と効率性を示し，誤検知率も低いことが確認された。
弱いニューラルネットワークによるニムと公平ゲームの習得：AlphaZeroに着想を得た多フレームアプローチ [cs.AI]目的：ニムなどの公平ゲームにおける学習可能性の限界とその克服
- 公平ゲームは，ゲーム理論や人工知能における基礎的な研究対象であり，戦略的思考の理解に不可欠である。
- 固定精度ニューラルネットワークでは，正確なパリティ計算やニム和の算出が困難であり，学習の障壁となっている。
- 過去2フレームの情報を加えることで，局所的に計算可能なニム値の差を明らかにし，学習を促進する。
- 固定精度ニューラルネットワークの回路複雑性モデルを導入し，その学習可能性の限界を説明した。
- 単一フレームのAlphaZero型エージェントではニムの習得が困難であることを証明した。
- 2フレームの履歴を用いることで，20ヒープニムにおいてほぼ完璧な復元精度を達成した。
協調的確率的多腕バンディットにおける個別後悔 [cs.LG, stat.ML]目的：協調的確率的多腕バンディットにおける個別後悔の解析
- 多腕バンディットは，意思決定問題の基本的な枠組みであり，様々な応用分野で重要である。
- エージェント間の協調は性能向上に繋がるが，通信コストや後悔の増加といった課題が存在する。
- グラフの直径に依存しない個別後悔の上界を導出し，通信効率の良い協調アルゴリズムを開発する。
- 提案手法の個別後悔の上界は，${O}(\mathcal{R} / m + A^2 + A \sqrt{\log T})$と示された。
- メッセージサイズを対数的に制限しても，同様の後悔上界が成立することが示された。
- 対数個数の通信ラウンドの場合，後悔の上界は${O}(\mathcal{R} / m+A \log T)$となることが示された。
拡散に基づく層ごとの意味的再構成による教師なし外れ値検出 [cs.CV, cs.LG, eess.IV]目的：教師なし外れ値検出における性能向上
- 機械学習システムの安全性確保のため，未知データ検出は不可欠である。
- 再構成誤差に基づく手法は有効だが，再構成能力とコンパクトな表現の両立が課題である。
- 拡散モデルを用いて，潜在空間での特徴再構成による識別能力向上を目指す。
- 拡散モデルの潜在空間での再構成能力を活用し，IDサンプルとOODサンプルを識別する。
- 多層的な意味特徴抽出戦略により，識別力の高い特徴表現を構築する。
- 複数のベンチマークで最先端の検出精度と速度を達成した。
嗜好条件付き勾配変分を用いた多目的品質多様性 [cs.AI]目的：多目的最適化問題における多様性と高性能な解集合の生成
- ロボティクスや金融など，様々な分野で多様な解を探索する重要性が高まっている。
- 既存手法は高次元空間での探索能力が限定的であり，トレードオフの最適化が困難である。
- 嗜好条件付き勾配変分とクラウディング機構により，探索効率を向上させ，多様なトレードオフを実現する。
- 提案手法は，6つのロボット移動タスクにおいて，既存の多目的品質多様性アルゴリズムを凌駕する性能を示した。
- 特に，新たに提案された三重目的タスクにおいても良好な結果が得られた。
- また，提案手法はスパースネスに基づく新しい指標を用いて評価した結果，より滑らかなトレードオフを実現した。
U-MATH：LLMにおける数学的能力を評価するための大学レベルのベンチマーク [cs.MA, cs.CL, cs.AI]目的：LLMにおける数学的能力の評価
- LLMの能力向上には，高度な数学的推論能力の評価が不可欠である。
- 既存のベンチマークは規模が小さく，問題の種類も多様性に欠ける場合が多い。
- 大学レベルの数学の問題を用いて，LLMの数学的思考力をより正確に評価する。
- U-MATHは，大学の教育資料から収集された1,100問の未公開問題を収録した新しいベンチマークである。
- マルチモーダル問題が20%含まれており，テキスト問題と比べて精度が大幅に低いことが明らかになった。
- 解答の判断も困難であり，高度なモデルでもF1スコアは90.1%が最高である。
MOMA：追加パラメータなしモデルマージのためのマスク付き直交行列アライメント [cs.LG]目的：モデルマージにおける性能低下の原因特定と改善
- モデルマージはマルチタスク学習の代替手段として重要である。
- 分類タスクにおいて，性能が十分でないという課題がある。
- エンコーダと分類器の幾何学的誤配置を修正し，性能向上を目指す。
- モデルマージにおける性能低下は，エンコーダと分類器の直交変換による誤配置が主原因であることが示された。
- MOMAは，グローバルなマスクとタスク固有の直交変換を最適化することで，この誤配置を修正する。
- 追加パラメータなしで，最先端のベースラインと同等の性能を達成する。
AverageTime：単純平均による長期時系列予測の強化 [cs.LG, stat.ML]目的：長期時系列予測の精度向上
- 時系列予測は，需要予測や資源管理など，幅広い分野で不可欠な技術である。
- 複雑なモデルは計算コストが高く，解釈性が低いという課題がある。
- 単純な手法で高性能な予測モデルを構築し，計算効率と予測精度を両立すること。
- 提案手法AverageTimeは，単純な平均化操作のみで最先端モデルを上回る予測性能を達成した。
- AverageTimeは，系列情報の抽出と融合により，時系列予測の新たな視点を提供する。
- チャンネルクラスタリングにより，学習と推論の効率が大幅に向上した。
RaZeR: 余分なゼロ再マッピングによるNVFP4量子化の限界への挑戦 [cs.LG, cs.CL]目的：LLM量子化における精度向上
- LLMの推論効率化が重要であり，量子化はその鍵となる技術の一つである。
- NVFP4は効率的だが，符号ビットの無駄やスケーリング因子の制約が存在する。
- NVFP4の冗長ビットを活用し，量子化精度を向上させることを目指す。
- RaZeRは，NVFP4の冗長なゼロを再マッピングすることで，量子化精度を向上させる。
- 重みのみの量子化と重み活性化量子化の両方において，RaZeRはNVFP4と比較して平均パープレキシティ損失をそれぞれ34.6%と31.2%削減した。
- RaZeR対応のGPUカーネルとハードウェア設計も提案され，実用性も示された。
大規模言語モデルにおける人間らしい応答の向上 [cs.CL, cs.AI]目的：大規模言語モデルの人間らしさの向上
- AI技術の発展は，人間とのより自然なコミュニケーションを可能にする上で重要である。
- 現在の言語モデルは，感情や文脈の理解が不十分で，人間らしい応答が難しい。
- 言語モデルに人間特有の思考パターンを組み込むことで，その応答の質を向上させる。
- 多様なデータセットを用いたファインチューニング，心理学原理の組み込み，人間らしい推論パターンの模倣などが有効であることが示された。
- これらの改善は，ユーザーとのインタラクションを向上させ，AI応用の新たな可能性を開く。
- 今後の課題として，これらの人間らしい属性がもたらす倫理的な問題と潜在的なバイアスへの対処が挙げられる。
共形写像に基づく物理情報ニューラルネットワークによる中性包埋の設計 [cs.LG, cs.AI, math.AP]目的：中性包埋の設計
- 構造設計において，材料特性を制御する包埋構造の最適化は重要である。
- 従来の物理情報ニューラルネットワークは，逆問題を解く際に精度や安定性に課題があった。
- 任意の形状の包埋に対する，より高精度かつ安定的な設計手法を確立すること。
- 共形写像座標物理情報ニューラルネットワーク（CoCo-PINNs）を新たに開発した。
- CoCo-PINNsは，幾何関数論と物理情報ニューラルネットワークを統合することで，逆問題を効率的に解決する。
- CoCo-PINNsは，PINNsの信頼性，一貫性，安定性を向上させ，中性包埋効果を高める。
オフライン強化学習におけるサポート制約を用いた射影型暗黙的Q学習 (PIQL) [cs.LG, cs.AI]目的：オフライン強化学習における外挿誤差の軽減
- 強化学習は，複雑な意思決定問題の自動解決に有用であり，様々な分野で応用が期待されている。
- オフライン強化学習では，分布外のアクションによる外挿誤差が課題となり，性能低下を招く。
- PIQLは，適応性と性能を向上させるため，射影ベースのパラメータとサポート制約を導入する。
- 提案手法PIQLは，固定された期待値回帰ハイパーパラメータと密度ベースのポリシー改善方法の限界を克服する。
- 理論的に，PIQLは期待値回帰とインサンプル学習の枠組みを維持し，単調なポリシー改善を保証する。
- D4RLおよびNeoRL2ベンチマークにおいて，様々なドメインで最先端の性能を達成した。
BMG-Q：局所二部マッチグラフ注意Q学習によるライドプーリング配車 [cs.MA, cs.AI, cs.ET, cs.LG]目的：ライドプーリング配車の最適化
- 都市交通の効率化が重要であり，ライドプーリングは交通渋滞の緩和とエネルギー消費の削減に貢献する。
- 従来の配車システムは，動的な車両間相互作用やリアルタイムな需要変動への対応が課題であった。
- 本研究は，車両間の関係性を考慮したグラフ注意ネットワークを用いて，配車精度の向上と効率化を目指す。
- 提案手法BMG-Qは，大規模な車両数においても高い学習安定性とスケーラビリティを示すことが実験で確認された。
- BMG-Qは，既存の強化学習フレームワークと比較して，累積報酬が約10%向上し，過大評価バイアスを50%以上削減した。
- タスクの変化や車両台数の変動に対しても頑健性を維持し，実用的なライドプーリング配車システムへの応用が期待される。
深層ニューラルネットワークにおける記憶からの汎化の解読 [cs.HC, cs.LG, cs.AI]目的：深層ニューラルネットワークの汎化能力のメカニズム解明
- 深層学習の目覚ましい成功の背景には，汎化性能の高い過パラメータ化されたネットワークが存在する。
- 訓練データのラベルをシャッフルした場合でも高い精度を達成するが，真のラベルへの汎化性能が低下する現象が課題。
- 真のラベルへの汎化性能低下の原因を特定し，潜在的な汎化能力を復元する方法を提示する。
- 訓練済みモデルは，真のラベルへの汎化能力に関する情報を内部表現に保持していることが示された。
- モデル内部の情報を解読することで，汎化性能を大幅に向上させることが可能である。
- 複数のモデルと標準データセットを用いて，提案手法の有効性を検証した。
CFT-RAG：ツuckooフィルターに基づくエンティティツリー型検索拡張生成アルゴリズム [cs.LG, cs.AI]目的：検索拡張生成における効率改善
- 大規模言語モデルの知識獲得と生成能力向上の鍵となる技術。
- Tree-RAGのような階層構造を持つ知識検索で計算効率が課題。
- ツuckooフィルターによるエンティティ特定を高速化し，Tree-RAGの性能向上を目指す。
- 提案手法CFT-RAGは，naiveなTree-RAGと比較して大幅な高速化を実現した。
- 特にツリー数が多い場合に，naive Tree-RAGの数百倍の速度向上を示した。
- 生成品質を維持しつつ，計算効率のボトルネックを克服する。
時系列推論の達成には，モデル設計，タスク設定，評価の再考が必要である [cs.CL, cs.LG, cs.AI]目的：時系列推論における課題と今後の方向性
- 実世界の問題解決において，時系列データの理解は不可欠である。近年，その重要性が増している。
- 既存手法は，時系列データの特性への配慮が不足しており，実用性に課題がある。
- モデル設計，タスク設定，評価の包括的な再考を通して，実用的な時系列推論を目指す。
- 近年，マルチモーダル大規模言語モデル（MLLM）を用いた研究が急増しているが，実用的な課題が残されている。
- 既存研究の分析から，時系列データ特有の考慮が不足している点や，評価方法が限定的であることが明らかになった。
- 堅牢性，解釈可能性，意思決定への関連性を重視した，統一的なフレームワークの開発が求められる。
LEAD：アルツハイマー病検出のための脳波基礎モデル [cs.LG, cs.AI, cs.CE, eess.SP]目的：アルツハイマー病検出のための脳波基礎モデルの構築
- アルツハイマー病は高齢化社会において深刻な問題であり，早期発見が重要である。
- 脳波データを用いたアルツハイマー病検出は，大規模データセットの不足や個人差が大きいという課題がある。
- 脳波データの多様性に対応し，個人差の影響を軽減することで，より高精度なアルツハイマー病検出を目指す。
- 本研究では，世界最大規模の脳波アルツハイマー病データセットを構築し，それを用いて基礎モデルLEADを開発した。
- LEADは，ゲート付き時空間Transformerを用いて，様々な脳波データの形式に対応し，個人レベルの特徴学習を強化する。
- 5つの下流データセットにおける20回の評価で，既存手法や最先端の基礎モデルと比較して，平均ランキングで優れた結果を示した。
マルチエージェント設計：より良いプロンプトとトポロジーによるエージェントの最適化 [cs.LG, cs.AI, cs.CL, cs.MA]目的：マルチエージェントシステムの設計最適化
- 複雑なタスク解決において，LLMを用いたマルチエージェントシステムの有効性が示されているため。
- マルチエージェントシステムのプロンプトとトポロジーの設計は複雑であり，自動化が求められているため。
- 効果的なマルチエージェントシステムを構築するための設計空間探索と最適化手法を開発すること。
- 提案手法MASSは，プロンプトとトポロジーの最適化を段階的に行うことで，複雑な設計空間を効率的に探索する。
- MASSによって最適化されたマルチエージェントシステムは，既存の手法と比較して大幅に高い性能を示す。
- MASSによって得られた結果に基づき，効果的なマルチエージェントシステム構築のための設計原則を提唱する。
CleanSurvival：強化学習を用いたイベント時間モデルのための自動データ前処理 [cs.LG]目的：イベント時間モデルにおける最適な前処理パイプラインの最適化
- 機械学習の性能向上にはデータ前処理が不可欠であり，その重要性は認識されつつある。
- 生存時間分析では，データ前処理の自動化されたソリューションが不足しているという課題がある。
- 生存時間分析に特化した前処理パイプラインの自動最適化を目指す。
- 本研究で開発されたCleanSurvivalは，Q学習を用いてデータ補完，外れ値検出，特徴量抽出を最適化する。
- 実際のデータセットを用いた実験により，標準的な手法と比較して予測性能が向上することが示された。
- シミュレーション研究では，欠損やノイズの異なる条件下での有効性が確認された。
短尺敵対的訓練はLLMが長尺脱獄攻撃を防ぐのに役立つ：理論的・実験的証拠 [cs.LG, cs.CR, stat.ML]目的：大規模言語モデルに対する脱獄攻撃への耐性を高めるための敵対的訓練の効率性に関する研究
- 大規模言語モデルの安全な運用は重要であり，悪意のあるプロンプトに対する堅牢性が不可欠である。
- 敵対的訓練には計算資源が必要であり，特に長尺の敵対的プロンプトを用いる場合，そのコストが課題となる。
- 短尺の敵対的訓練で長尺の脱獄攻撃を防ぐことが可能であるかを検証し，効率的な訓練方法を提案する。
- 理論的に，線形回帰タスクにおける線形Transformerの敵対的コンテキスト学習を解析し，訓練されたTransformerに対するロバストな汎化限界を導出した。
- 実験的に，一般的なオープンソースLLMに対して敵対的訓練を行い，様々な長さの脱獄攻撃に対する堅牢性を評価した結果，訓練時の敵対的サフィックス長の平方根と脱獄時の長さの比率に正の相関関係が確認された。
- 本研究は，効率的な短尺の敵対的訓練によって長尺の脱獄攻撃に対する防御が可能であることを示した。
多言語LMは複数の言語をどのように扱うか [cs.CL, cs.AI]目的：多言語LMにおける多言語理解，意味表現，クロスリンガル知識転移の能力評価
- 自然言語処理の進展により多言語LMが注目されている。言語間の障壁を克服する可能性を秘めている。
- 低リソース言語に対する言語知識の獲得が課題。高リソース言語との性能差が顕著である。
- 多言語LMの内部構造を分析し，高・低リソース言語間の性能格差の是正を目指す。
- 多言語単語埋め込みの一貫性をコサイン類似度で評価し，意味的類似性を検証した。
- BLOOM-1.7BとQwen2の性能を固有表現認識や文類似度タスクで比較分析し，言語構造を理解した。
- 感情分析とテキスト分類において，高リソース言語から低リソース言語への知識転移の有効性を評価した。
SCALM：LLMによるスマートコントラクトの悪習の検出 [cs.CL, cs.AI]目的：スマートコントラクトにおける悪習の検出
- イーサリアムの普及に伴い，スマートコントラクトの品質確保が重要となる。
- スマートコントラクトの悪習は，セキュリティリスクを高める可能性がある。
- LLMを活用し，スマートコントラクトの悪習を効果的に検出・改善すること。
- 提案手法SCALMは，Step-Back PromptingとRAGを組み合わせることで，様々な悪習を検出する。
- 複数のLLMとデータセットを用いた実験により，SCALMが既存ツールを上回る性能を示すことが確認された。
- 本研究は，35種類以上の悪習を体系的に分析し，その理解と回避に貢献する。
半二重ニューラル最適輸送における偽解の克服：最適輸送計画学習のための平滑化アプローチ [cs.LG]目的：最適輸送写像学習における偽解問題の解決
- 最適輸送は，分布間の距離を測る強力なツールであり，機械学習の様々な応用において重要である。
- ニューラルネットワークを用いた最適輸送写像学習は，偽解を生成しやすく，分布間の正確な変換が困難である。
- 本研究は，偽解問題を解消し，正確な最適輸送写像を学習することを目指している。
- 本研究で提案するOTPモデルは，既存手法が失敗するケースでも最適輸送写像を復元できることを示した。
- OTPモデルは，画像変換タスクにおいて，現在の最適輸送ベースモデルを上回る性能を発揮する。
- 決定論的な最適輸送写像が存在しない場合に，確率的輸送写像を学習できることを実証した。
低リソース言語のための大規模マルチモーダルモデル：サーベイ [cs.CL, cs.AI, cs.LG]目的：低リソース言語向け大規模マルチモーダルモデルへの適応技術
- グローバル化が進む中で，多様な言語への対応は不可欠であり，特にリソースの乏しい言語への技術適用が重要である。
- 低リソース言語では，データや計算資源の不足が，高性能な言語モデルの開発を阻害する大きな課題となっている。
- 本研究は，低リソース言語における大規模マルチモーダルモデルの活用を促進するための現状と課題を明らかにすることを目的とする。
- 117の研究を分析した結果，視覚情報を活用することで，低リソース言語におけるモデル性能向上が期待できることが示された。
- リソース重視のアプローチと手法重視のアプローチに分類し，それぞれの利点と限界について議論した。
- ハルシネーションの軽減や計算効率の改善といった課題が残されており，今後の研究の方向性を示唆した。