arXiv雑要約
AI - 2026/05/07 公開
線形結合記憶における鋭い容量閾値：勝者優先からリスト形式検索へ [stat.ML, cs.IT, cs.LG, math.IT]目的：線形結合記憶の記憶可能なキーと値のペアの数
- 記憶システムは情報処理の根幹であり，その性能向上は様々な応用分野で重要である。
- 線形結合記憶の容量は，記憶行列の自由度だけでなく，検索基準にも依存するという課題がある。
- 検索基準に応じた線形結合記憶の容量閾値を明らかにし，勝者優先とリスト形式検索の性能を比較する。
- 勝者優先検索では，記憶容量は$d^2\asymp n\log n$に従い，これは極値の価格として内在的な対数項である。
- リスト形式検索では，Tail-Average Margin (TAM) を導入し，記憶容量は$d^2\asymp n$の2次規模で拡張されることを示した。
- TAMに基づく理論的解析により，負荷因子と容量の関係，および真のスコアや競合スコアの限界分布を明らかにした。
Lp空間におけるほぼ直交性：Grokを用いた事例研究 [math.CA, cs.AI, math.CO, math.PR]目的：Lp空間における関数の和のノルムの上界評価
- 関数解析において，ノルムの評価は関数の性質を理解する上で重要である。
- 既存の三角不等式の鋭化形は，特定の条件下で成立が確認されていない。
- 三角不等式の成立条件を明らかにし，最適な指数を求める。
- p>2の時，Carberyが提案した不等式が成立しない反例が示された。
- 不等式が成立する場合の指数の制約が，c≦p'であると証明された。
- p≧2において，c=p'となる臨界指数での不等式が成立することが示された。また，3つの関数のノルムに関する鋭い上界が導出された。
5つの不等式における理解可能性 [math.PR, cs.AI, math.AP, math.CA, math.FA]目的：5つの数学的発見
- 数学の進歩には新たな不等式の発見が不可欠である。
- 既存の不等式の境界が緩く，改善の余地がある。
- Grokとの共同研究で得られた結果の検証と精度向上。
- 凸集合のガウス周長の最大値に関するより良い下界が得られた。
- ハミングキューブ上の$L_2$-$L_1$モーメント比較不等式がより鮮明になった。
- 自己畳み込み不等式が強化され，g-Sidon集合のサイズに関する漸近的な境界も改善された。
構造化線形合同法に基づく探索・最適化のための決定論的アルゴリズム [math.OC, cs.NE]目的：探索・最適化のための決定論的アルゴリズム
- 最適化問題は，科学技術の様々な分野において重要な役割を担っている。
- 従来の最適化アルゴリズムは，局所解に陥りやすく，大域的な最適解を見つけることが困難な場合がある。
- 本研究では，線形合同法の構造を利用し，効率的な探索と最適化を実現するアルゴリズムを提案する。
- 提案手法S-LCGは，26のベンチマーク関数において，大域的最適解の1%以内に83.3%のケースで到達した。
- 特に，次元数が30の場合でも81.2%の精度を達成し，既存の遺伝的アルゴリズムよりも優れていることが示された。
- また，制約付きエンジニアリング設計問題への適用により，実用性も確認された。
危害の定量化 [cs.AI]目的：危害の定量化
- 倫理的・社会的な意思決定において，危害の評価は不可欠である。
- 従来の危害の概念は二元的であり，実用的な選択肢の比較が困難である。
- 危害の程度を数値化し，より適切な意思決定を支援すること。
- 危害の定量的な定義を確立し，単一の個人に対する危害を測定する方法を提示した。
- 不確実性を考慮し，個人レベルの危害を集計して社会全体の危害を評価する際の課題を明らかにした。
- 期待される危害の単純な合計が必ずしも適切ではないことを示し，代替的なアプローチを検討した。
MalPurifier：回避攻撃に対する敵対的浄化によるAndroidマルウェア検出の強化 [cs.DM, cs.CC, cs.CR, cs.AI, cs.LG]目的：Androidマルウェア検出における，敵対的浄化による回避攻撃への防御
- Androidマルウェアは増加の一途をたどっており，機械学習を用いた検出が重要になっている。
- 機械学習を用いた検出システムは，敵対的攻撃に対して脆弱であることが課題となっている。
- 既存手法の有効性や汎化性能の課題を克服し，より堅牢なマルウェア検出を実現する。
- MalPurifierは，多様な敵対的摂動，保護的なノイズ注入，そして二重目的損失関数を持つ自己符号化器を統合している。
- 大規模データセットを用いた実験により，MalPurifierが最先端の防御手法を大きく上回ることが示された。
- 37種類の摂動に基づく回避攻撃に対して，90.91%以上の高い精度を維持し，堅牢な防御性能を発揮する。
積極的か，あるいは知覚できないか，またはその両方か：ネットワーク剪定を支援する連合学習におけるハイブリッド・ビザンチン [cs.SI, econ.TH, cs.LG, cs.CR, cs.DC]目的：連合学習におけるビザンチン攻撃に対する防御機構の有効性評価
- 連合学習は，分散データを用いてモデルを学習するため，プライバシー保護に優れるが，セキュリティ上の脆弱性を抱えている。
- 悪意のあるクライアント（ビザンチン）による攻撃は検知が難しく，モデルの精度を低下させるという問題がある。
- 本研究は，ニューラルネットワークの構造に着目し，より効果的な攻撃手法を提案することで，既存の防御機構の限界を克服する。
- 提案手法は，スパース攻撃と徐次的な攻撃という2つの要素を組み合わせることで，従来の防御機構を回避する強力かつ目立たない攻撃戦略を実現する。
- シミュレーション実験の結果，提案手法は８つの最先端防御機構に対して有効であることが示された。
- ニューラルネットワークの感度が高いパラメータを操作するスパース攻撃により，最小限の可視性で最大限の混乱を引き起こす。
コントラスト学習におけるデータ拡張は，ポジティブインセンティブノイズの推定である [cs.LG, cs.CV]目的：コントラスト学習とポジティブインセンティブノイズの関係性の科学的調査
- 深層学習において，大量のデータと効率的な学習方法が重要である。コントラスト学習はその有力な手法の一つ。
- 既存のデータ拡張は，経験則に基づいている場合が多く，理論的な根拠が不足している点が課題である。
- コントラスト学習におけるデータ拡張を，理論的に解釈し，より効果的な拡張手法を開発することを目指す。
- コントラスト損失をガウス分布に変換することで，コントラスト学習の難易度を定量的に測定するタスクエントロピーを定義した。
- 標準的なコントラスト学習におけるデータ拡張は，ポジティブインセンティブノイズの点推定とみなせることを証明した。
- ポジティブインセンティブノイズ生成器を用いたフレームワークを提案し，多様なデータに対して有効なデータ拡張を学習できることを示した。
量子に着想を得た強化学習による合成可能な薬物設計 [cs.LG, q-bio.BM]目的：合成可能な分子構造の設計
- 創薬において，目的とする特性を持つ分子構造を見つけることは重要である。
- 既存手法はランダム探索に依存しており，効率的な探索が課題である。
- 量子に着想を得た強化学習により，効率的な分子構造探索を目指す。
- 本研究では，量子に着想を得たシミュレーテッドアニーリングポリシーニューラルネットワークを用いた強化学習アプローチを提案した。
- PMOベンチマークフレームワークにおいて，最先端の遺伝的アルゴリズムと比較して競争力のある性能を示した。
- 決定論的REINFORCEアルゴリズムと遺伝的アルゴリズムによる局所探索を組み合わせることで，効率的な探索を実現した。
ライブビデオストリーミングにおける主観的・客観的品質評価に関する研究 [cs.MM, cs.AI, eess.IV]目的：ライブビデオストリーミングの品質評価
- 近年，ライブビデオストリーミングの利用が拡大しており，サービスの品質向上が重要課題となっている。
- 既存のオンデマンド動画向け品質評価指標は，ライブストリーミング特有の歪みに対応できていない。
- ライブストリーミングに特化した高精度な品質評価手法の開発を目指す。
- 大規模な主観評価データセットTaoLive QoEを新たに構築し，ライブストリーミング特有の歪みを考慮した評価を行った。
- 既存の品質評価モデルの性能を検証した結果，ライブコンテンツの品質評価において課題があることが示された。
- マルチスケールな意味的特徴と光流ベースの動き特徴を統合した新しい品質評価モデルTao-QoEを提案し，高い予測精度を達成した。
Transformerにおけるデータ駆動型チャンネルマスク [cs.CG, math.CO, cs.LG, cs.AI, stat.ML]目的：多変量時系列データに対するTransformerのチャンネル依存性モデリングの改善
- 近年の基盤モデルの発展は時系列データ解析にも応用され，大規模データセットが重要な役割を担う。
- 従来のチャンネル依存性モデリングはアーキテクチャの修正に偏りがちで，データセット固有の特徴の活用が不十分である。
- データセット固有の情報を用いたチャンネルマスクにより，Transformerのチャンネル依存性モデリングを強化し，精度向上を目指す。
- 本研究では，データセット固有の情報を活用する部分的なチャンネル依存性(PCD)の概念を導入した。
- Transformerの注意行列にチャンネルマスクを組み込むことで，チャンネル間の関係性を洗練させることができた。
- 多様なタスクとデータセットにおいて，提案手法の有効性が確認された。
自然画像を用いた最適制御：過剰完全疎コードによる効率的な強化学習 [cs.LG, cs.AI, cs.SY, eess.SY]目的：自然画像を用いた最適制御における効率的な強化学習手法
- 複雑なタスクにおいて最適制御や逐次決定は不可欠であり，視覚情報が制御に果たす役割の理解が重要である。
- 従来の最適制御は，状態空間の規模が大きい場合，計算コストが膨大になり，実用性に課題があった。
- 自然画像から効率的な表現を学習することで，大規模な最適制御問題を解決することを目的とする。
- 自然画像を「効率的な」画像表現に符号化することで，強化学習による最適方策の発見が計算効率良く行えることが示された。
- 過剰完全疎コードを用いることで，従来の完全コードでは解けなかった規模の最適制御タスクを効率的に解くことに成功した。
- 効率的な最適制御に深層学習は必須ではないことが理論的・実験的に示された。
物理ベース編集のための単一画像逆レンダリング：Materialist [cs.CV, cs.AI, cs.GR]目的：単一画像からの物理ベース編集手法
- 画像編集はコンピュータビジョンの重要な分野であり，現実世界の表現を扱う上で不可欠である。
- 既存手法は影や屈折の扱いに弱く，物理的に整合性のとれた編集が困難である。
- 単一画像から物理的に整合性の高い編集を実現し，実用的な応用範囲を広げる。
- Materialistは，ニューラルネットワークで初期の材質プロパティを予測し，それを厳密に最適化する物理ベースのレンダリングパイプラインである。
- 材質編集，オブジェクト挿入，ライティング変更など，様々な応用が可能であり，レイトレーシングによる屈折編集も実現した。
- 合成データセットと実世界のデータセットの両方で優れた性能を示し，難しい外域画像でも高い精度を保った。
変分量子固有値ソルバーにおけるベイズ的パラメータシフト則 [cs.LG, quant-ph]目的：変分量子固有値ソルバーの勾配推定におけるベイズ的パラメータシフト則の提案
- 量子化学計算の精度向上と計算コスト削減が求められており，変分量子固有値ソルバーはその有力な手法の一つである。
- 従来のパラメータシフト則は，勾配推定の効率化に限界があり，特に高次元問題では計算コストが増大する。
- ベイズ的パラメータシフト則を用いて，勾配推定の柔軟性と効率性を高め，最適化プロセスを加速させる。
- ベイズ的パラメータシフト則は，任意の場所での観測値を活用し，不確実性情報と共にご提供する。
- 確率的勾配降下法において，過去の観測値を再利用することで最適化プロセスが加速される。
- 勾配確信領域の概念を用いることで，各ステップでの観測コストを最小化することが可能となる。
Transformer 기반 시계열モデルにおける位置エンコーディング：サーベイ [cs.DC, cs.LG]目的：Transformer 기반 시계열モデルにおける位置エンコーディング技術の調査
- 時系列データ分析は，予測，異常検知，分類など多岐にわたる分野で重要性が増している
- Transformerの性能を最大限に引き出すには，時系列データの順序情報を効果的に捉える位置エンコーディングが課題である
- 様々な位置エンコーディング手法の有効性を比較し，最適な手法の選択を支援することを目的とする
- 固定，学習可能，相対，ハイブリッドなどの様々な位置エンコーディング手法を系統的に調査した
- データの特徴（系列長，信号の複雑さ，次元数）が手法の有効性に大きく影響することが示された
- 高度な位置エンコーディング手法は予測精度を向上させるが，計算コストが増加するというトレードオフがある
RouteFormer：自律走行車のためのTransformerベースルーティングフレームワーク [cs.RO, cs.AI, cs.LG]目的：自律走行車における経路探索の最適化
- IoTネットワークにおける自律監視ミッションの効率化が重要である。
- 従来のヒューリスティック手法は動的な環境下で十分な性能を発揮できない。
- 複雑な制約下での経路探索を，ラベル付きデータセットなしに実現する。
- RouteFormerは，Transformerと強化学習を組み合わせることで，複雑なタスク依存性やリソース制約に適応する経路探索を可能にした。
- 現実的な偵察ミッションを模したグラフ構造において，既存手法と比較して時間と距離の両面で優れた性能を示した。
- ConcordeやLKH-3といった既存ソルバーに対し，それぞれ距離を10%および7%削減することに成功した。
ビデオインタラクションにおけるプライバシー保護共感性検出 [cs.ET, cs.CV, cs.HC, cs.LG]目的：ビデオインタラクションからの共感性検出
- 人間とロボットの協調やメンタルヘルスケアなど，共感性の自動検出の応用範囲は広い。
- プライバシー保護の観点から，学習用の生のビデオデータを入手することが困難である。
- プライバシーを保護しつつ，高精度な共感性検出を実現する手法を開発する。
- 提案手法TFMPathyは，プライバシー保護されたデータを用いて，既存手法を大幅に上回る性能を達成した。
- 特に，Tabular Foundation Models (TFMs)のファインチューニングにより，汎化性能が大幅に向上した。
- 時間的な特徴量を集約することで，個人情報や属性情報の漏洩を抑制し，データ最小化の原則に沿ったシステム構築が可能となった。
LLM事前学習データにおける公開アクセスを超えて [cs.CL, cs.AI]目的：大規模言語モデルにおける著作権コンテンツの認識の有無
- LLMの性能向上には，大量の学習データが不可欠である。著作権で保護されたデータ利用は法的・倫理的な課題を孕む。
- LLMが著作権で保護されたデータを学習しているかどうかの検証方法が確立されていない。
- LLMが著作権コンテンツを認識している可能性を検証し，透明性の向上を促す。
- OpenAIのGPT-4oは，少数の著作権保護された書籍のデータセットを用いて行ったDE-COP攻撃において，書籍コンテンツ認識の一貫したパターンを示した (AUROC: 0.82)。
- GPT-4o Miniは，同様のデータセットに対してほとんど認識を示さなかった (AUROC: 0.56)。
- 本研究は，学習データソースの透明性向上と，AIコンテンツ学習のための正式なライセンスフレームワークの開発の重要性を示唆する。
TNStream：ストリーミングデータにおけるマイクロクラスターへの最も近い近傍の適用による多密度クラスタの定義 [cs.LG, cs.AI, cs.NE]目的：ストリーミングデータにおける多密度クラスタの定義
- データストリームの解析はリアルタイムな意思決定に不可欠であり，その重要性は増している。
- 既存のストリーミングクラスタリングアルゴリズムは，複雑なデータ分布や高次元データに対して十分な性能を発揮しない。
- 本研究は，変動するデータ密度に対応し，外れ値に強い，高品質なクラスタリング手法を確立する。
- 提案手法TNStreamは，Tightest Neighborsという新しい概念とSkeleton Setに基づく理論を導入することで，多密度データのクラスタリング性能を向上させた。
- TNStreamは，局所的な類似度に基づいてクラスタリング半径を適応的に決定し，マイクロクラスターを用いて多密度データの進化を要約する。
- 高次元データに対する効率化のためLocality-Sensitive Hashing (LSH)を採用し，実験結果はTNStreamの有効性を実証した。
LLMに基づく人間・エージェント協調・インタラクションシステム：サーベイ [cs.CL, cs.LG]目的：LLMに基づく人間・エージェント協調システムの包括的な調査
- LLMの進化により自律エージェントへの関心が高まっている。
- LLMエージェントは，幻覚や複雑なタスク処理の困難さ，安全性の問題がある。
- 人間とLLMエージェントの協調による性能，信頼性，安全性の向上を目指す。
- 本調査は，人間・エージェント協調システムの基本概念を明確化し，構成要素を体系的に整理している。
- 環境，プロファイリング，人間からのフィードバック，インタラクションタイプ，オーケストレーション，コミュニケーションなどが含まれる。
- 新たな応用分野を検討し，人間とAIの協調における課題と機会を議論する。
低レベルプロセスイベントストリームの効率的な分析のための抽象的議論と機械学習の組み合わせ [cs.AI, cs.LG]目的：プロセスイベントストリーム分析における解釈問題の解決
- 現代の企業や組織において，プロセス追跡の監視と分析は不可欠である。
- イベントとビジネス活動の対応が不明確な場合，イベント解釈の曖昧性が課題となる。
- 少ない学習データでも高精度なイベント解釈を可能にする手法を開発する。
- 抽象的議論枠組みとシーケンスラベリングモデルを組み合わせることで，イベント解釈の精度向上を実現した。
- 既存のプロセス知識を活用し，学習データの不足を補うデータ効率の良い神経記号的アプローチを提案した。
- 実験結果から，提案手法が解釈の曖昧さに対処し，計算コストを削減できることが示された。
部分観測下における証明可能な分布価値反復法 [cs.AI]目的：部分観測マルコフ決定過程における分布強化学習
- 現実世界の計画問題では，環境の状態不確実性や確率的変動への対応が重要である。
- 部分観測下では，状態の完全な把握が困難であり，計画の効率性が低下する。
- 分布価値反復法を部分観測下へ拡張し，収束性を保証することで計画問題を解決する。
- 本研究では，部分観測環境下における新しい分布ベルマン演算子を導入し，その収束性を証明した。
- 分布を表現するpsiベクトルを提案し，古典的なalphaベクトルを一般化した。
- 分布型点基盤価値反復法(DPBVI)を開発し，リスク中立な条件下で古典的なPBVIを再現することを示した。
グラフ条件付き拡散モデルによる関係データベースの共同生成 [cs.LG]目的：関係データベースの共同生成
- データのプライバシー保護やデータセットの拡充など，多くの応用分野において関係データベースの生成モデルが重要である。
- 従来の多くのアプローチは，単一テーブル生成に焦点を当てているか，自己回帰的な手法を用いて複数テーブルに対応しているため，並列性が制限される。
- テーブルの順序に依存せず，全てのテーブルを同時にモデル化することで，複数テーブル間の複雑な依存関係を捉え，生成精度を向上させる。
- 提案手法は，複数テーブル間の相関関係のモデリングにおいて，自己回帰的なベースラインを大幅に上回る性能を示す。
- 単一テーブルの忠実度指標においても，最先端の性能を達成した。
- 関係データベースを自然なグラフ表現で扱い，グラフニューラルネットワークを用いて行属性を共同でノイズ除去する。
大規模言語モデルにおける創発的な階層構造：多段階表現のための情報理論的枠組み [cs.CL, cs.AI]目的：言語モデルの階層構造の創発とそのアーキテクチャ依存性
- 言語モデルの性能向上は目覚ましいが，その内部メカニズムの理解は不十分である。
- 異なるアーキテクチャの言語モデルが，同じ摂動に対して異なる反応を示す理由が不明確である。
- アーキテクチャが情報圧縮の形に与える影響を明らかにし，階層構造の創発メカニズムを解明する。
- Transformerモデルは，Local，Intermediate，Globalの処理区分を持つ階層構造を自発的に形成する。
- 境界位置や各区分における脆さは，モデルサイズよりもアーキテクチャに強く依存する。
- LlamaとQwenのアーキテクチャの違いが，局所セグメントの脆さに3桁の差を生み出すことが確認された。
探索的ソフトウェアエンジニアリングとAI基盤モデル：現状と将来展望 [cs.CL, cs.SE, cs.AI]目的：探索的ソフトウェアエンジニアリングとAI基盤モデルの現状分析および将来の研究方向性
- ソフトウェア開発の効率化と品質向上が常に求められており，自動化技術への期待は大きい。
- 既存のソフトウェアエンジニアリング手法では，複雑化する課題への対応が限界に近づいている。
- AI基盤モデルとの連携による，探索的ソフトウェアエンジニアリングの新たな可能性を模索する。
- 本研究では，AI基盤モデルを活用した探索的ソフトウェアエンジニアリングの強化，およびAI基盤モデルの発展における探索的ソフトウェアエンジニアリングの応用について分析した。
- 探索的ソフトウェアエンジニアリングとAI基盤モデルの統合が，ソフトウェア開発の新たな局面を切り開く可能性を示唆した。
- 今後の研究課題として，新興分野における課題への対応や，両者の相乗効果を最大限に引き出すための手法開発を提示した。
適応的カリキュラムと反事実的グループアドバンテージによるMARLにおける環境メタ定常性の克服 [cs.AI, cs.RO]目的：マルチエージェント強化学習における環境メタ定常性の問題を解決するための手法
- 複数エージェント間の協調学習は重要であり，現実世界の複雑な問題を解決する可能性を秘めている。
- 従来のMARL手法は，固定された難易度で学習を行うため，汎化性能が制限され，局所最適解に陥りやすい。
- 本研究は，動的なカリキュラム学習により，学習難易度を適応的に調整することで，上記の問題を解決することを目指す。
- 提案手法CL-MARLは，StarCraft Multi-Agent Challenge (SMAC)において，既存手法を平均で2.94%上回るwin rateを達成した。
- 特に，超難易度のマップでは40%の平均win rateを記録し，学習速度も向上した（8m_vs_9mで1.28倍，3s5z_vs_3s6zで1.42倍）。
- CL-MARLは，柔軟な難易度調整と反事実的グループアドバンテージにより，動的な環境下での学習を促進する。
AnyPos：双腕操作のためのタスク非依存アクション [cs.CV, cs.LG, cs.RO]目的：汎用的な操作ポリシーの学習
- ロボットの知能化において，多様な作業をこなせる能力は不可欠である。
- ロボット操作のデータは不足しており，特定のロボットに依存し，タスク間の転移が困難である。
- タスクに依存しない学習により，データ不足を克服し，汎化性能を高めることを目指す。
- AnyPosは，大規模な自動探索と逆ダイナミクス学習を統合したパイプラインである。
- テスト精度がベースラインと比較して51%向上し，マイクロ波操作などの成功率が30-40%向上した。
- データ駆動型の身体モデル化が，視覚運動制御における汎化を可能にする実用的なアプローチであることを示唆する。
Tsetlinマシンを深くする：グラフを用いた論理的学習と推論 [cs.LG, cs.AI]目的：グラフ構造化された入力からの解釈可能な深層節の学習
- パターン認識の分野において，解釈可能性と効率性が求められている。
- 深層学習モデルは高い精度を持つ反面，解釈が困難であるという課題がある。
- グラフ表現学習と深層節を組み合わせることで，解釈性と効率性を両立することを目指す。
- GraphTMは，CIFAR-10の画像分類において，従来の畳み込みTMよりも3.86%高い精度を達成した。
- 行動コアファレンス追跡において，他の強化学習手法を最大20.6%ポイント上回る性能を示した。
- ウイルスゲノム配列データにおいて，BiLSTM-CNNやGCNと同等の精度でありながら，GCNよりも約2.5倍高速に学習できる。
TinyMLベースIoTシステムにおける分割学習の遅延最適化 [cs.CL, cs.NI, cs.AI, cs.DC]目的：分割学習における遅延の最適化
- IoTデバイスでの深層学習の利用が拡大する中で，低消費電力環境での効率的な推論が重要である。
- エッジデバイスの計算能力が限られているため，深層学習の推論を直接実行することに課題がある。
- 分割学習を用いて，エッジデバイスとクラウド間の処理分割を最適化し，低遅延を実現することを試みる。
- 分割学習をTinyMLベースのIoTシステムで実験的に評価し，UDP, TCP, ESP-NOW, BLEの通信プロトコルを比較した。
- ESP-NOWが最適な往復時間(3.6秒)を示し，分割点の選択が遅延に影響することを分析した。
- Beam Searchアルゴリズムが，他の探索手法と比較して，ほぼ最適な低遅延を実現することを確認した。
知能を凌駕するエンジニアリング：指示に基づくナビゲーションの再考 [cs.RO, cs.AI, cs.LG]目的：指示に基づくナビゲーションにおける言語と幾何学の貢献度評価
- ロボットナビゲーションは，人間の生活を豊かにする重要な技術であり，自律的な移動能力が不可欠である。
- 従来のナビゲーションシステムでは，複雑な環境における汎用的なナビゲーション能力が課題であった。
- 大規模言語モデルの貢献度を明確にし，より効率的なナビゲーション手法の開発を目指す。
- 幾何学的情報のみを利用するFPEが，API呼び出しなしで従来の指示追従型ナビゲーションと同等以上の性能を示すことが明らかになった。
- 軽量な意味的ヒューリスティックであるSHFは，小規模な言語事前知識を用いて同等の精度を達成することが確認された。
- これらの結果から，設計された幾何学的情報がナビゲーションの進歩に大きく貢献しており，言語は軽量なヒューリスティックとして最も効果的であることが示唆される。
アクター・クリティックにおける適応アンサンブル集約 [cs.DC, cs.LG, stat.ML]目的：アクター・クリティック学習におけるアンサンブル集約手法の適応性向上
- オフポリシー学習では，アンサンブルが一般的だが，その性能は集約方法に大きく依存する。
- 既存手法は静的なルールやタスク固有のハイパーパラメータに頼り，真に適応的なアプローチが課題である。
- 訓練ダイナミクスに基づき，アクターとクリティックの両方の更新のためのアンサンブル標的を動的に構築する。
- AEAは，アンサンブル集約パラメータが定義された安定領域内で値推定誤差を最小限に抑える一意の平衡点に収束する。
- アンサンブルサイズが増加するにつれて，推定バイアスが消失する縮小特性を理論的に確立した。
- 様々な連続制御タスクにおいて，最先端のベースラインと比較してAEAが優れた性能を示すことが示された。
Coward：衝突に基づくOODウォーターマーキングによる実用的なプロアクティブな連合学習バックドア検知 [cs.CR, cs.AI]目的：連合学習におけるバックドア攻撃に対するプロアクティブな検知手法
- 連合学習は，プライバシー保護と分散データ活用を両立する有望な技術である。
- 悪意のあるクライアントによるバックドア攻撃への脆弱性が課題となっている。
- OODデータに対するバイアスを軽減し，誤検知を抑制することを目指す。
- 提案手法Cowardは，複数のバックドアを衝突させる効果に着目し，OODデータを用いたウォーターマーク注入により検知精度を向上させる。
- 従来のプロアクティブ検知手法が抱えるOODバイアスの影響を軽減する，逆検出パラダイムを実現した。
- ベンチマークデータセットを用いた実験により，最先端の性能とOODバイアスの軽減効果が確認された。
ReasoningGuard：推論時の安全性への気づきを通じて大規模推論モデルを保護する [cs.CL, cs.AI]目的：大規模推論モデルの安全性向上
- 大規模推論モデルは高度な推論能力を持つが，有害な内容生成のリスクがあるため，安全性確保が重要である。
- 既存の防御手法は，コストのかかるファインチューニングや専門知識に依存し，拡張性に限界がある。
- 推論過程における安全性への気づきを導入することで，有害な内容生成を抑制し，安全性を向上させる。
- ReasoningGuardは，推論過程で適切なタイミングで安全性への気づきを注入することで，大規模推論モデルを有害な内容生成から保護する。
- 内部の注意メカニズムを活用し，推論経路の重要なポイントを特定し，安全性に関する考察を促す。
- ４種類の脱獄攻撃に対して有効であり，既存の防御策を上回り，安全性と実用性の両立を実現する。
パブロフ条件付けの観点を通じたTransformerの理解 [cs.LG, cs.AI, q-bio.NC]目的：Transformerの動作原理の解明
- AI技術の進歩においてTransformerが重要な役割を果たしているため，その仕組みの理解が不可欠である。
- Transformerの成功の裏にある計算原理が不明確であり，理論的な解釈が求められている。
- Transformerの注意機構をパブロフ条件付けとして解釈し，その動作原理を明らかにすること。
- Transformerの注意機構とパブロフ条件付けの間に数学的な類似性を見出した。
- 線形注意モデルを用いることで，注意機構における連想過程の分析を簡素化した。
- 注意ヘッドが$O(\sqrt{d_k})$個の連想を保存できる容量定理と，信頼性を維持するためのアーキテクチャのトレードオフを明らかにした。
大規模言語モデルの高度な推論能力：ブラックボックス環境との相互作用による検証 [cs.AI]目的：大規模言語モデルの推論能力の評価
- AIの進化において，人間のような発見学習には高度な推論能力が不可欠である。
- 既存の評価タスクでは，環境とのインタラクションを考慮した推論能力を十分に評価できていない。
- ブラックボックス環境との相互作用を通じて，統合的な推論プロセスを評価する新しい方法を提案する。
- 本研究では，隠された関数を推測するために，大規模言語モデルがブラックボックス環境と相互作用する新しい評価パラダイムを導入した。
- 構築した\textsc{Oracle}ベンチマークを用いて19種類の最新の大規模言語モデルを評価した結果，OpenAIのo3が多くのタスクで高い性能を示した。
- しかし，大規模言語モデルは効率的な探索戦略を立てる能力に課題があり，難易度の高いタスクでは性能が低下することが示された。
LLMによる文脈内証明学習を用いた定理の発見 [cs.LG, cs.AI, cs.LO]目的：新たな定理の発見と検証済み証明の生成
- 形式的な定理証明は数学の基礎であり，信頼性の高い自動化が求められている。
- 既存の手法では，複雑な定理の証明が困難であり，発見率が低いという課題がある。
- LLMの能力を活用し，発見率の向上と自己改善による証明戦略の最適化を目指す。
- 提案手法CPLは，以前に生成された定理と証明を文脈としてLLMに与えることで，パラメータ調整なしに証明戦略を改善する。
- CPLは，同時生成型フレームワークと比較して，証明困難な定理の発見率を向上させる。
- LLM自身の検証済み出力を文脈として再利用することで，その後の証明成功率が向上し，自己生成による文脈内学習の有効性が示された。
DyWPE：信号を考慮した動的ウェーブレット位置エンコーディング（時系列Transformer向け） [cs.LG]目的：時系列Transformerにおける位置エンコーディング手法の改良
- 時系列データ分析は，様々な分野で重要性を増しており，高精度な予測が求められる。
- 既存の位置エンコーディングは信号特性を無視しており，複雑な時系列データの扱いに課題がある。
- 信号特性を考慮した新しい位置エンコーディング手法を開発し，時系列分析の精度向上を目指す。
- DyWPEは，離散ウェーブレット変換を用いて入力時系列から直接位置埋め込みを生成する新しいフレームワークである。
- 10種類の多様な時系列データセットにおける実験で，DyWPEは最先端の位置エンコーディング手法を凌駕することが示された。
- 特に長い系列や複雑な生体信号において，その効果が顕著に認められる。
経験的NTKによる特徴の特定 [cs.DC, cs.LG, cs.AI]目的：訓練済みニューラルネットワークにおける特徴方向の表面化
- ニューラルネットワークの内部動作解明は，AIの信頼性と制御可能性向上に不可欠である。
- 既存手法では，ネットワークが学習した特徴を特定することが困難であった。
- 経験的NTKの固有値解析を用いて，モデルが学習した特徴を特定し，解釈可能性を高める。
- 経験的NTKの主要な固有空間が，正解または解釈可能な特徴と一致することを示した。
- モジュラ算術の例では，NTKの固有空間が，MLPやTransformerが使用するフーリエ特徴と一致した。
- Gemma-3-270Mでは，NTKの固有方向と文法特徴の整合性が，モデル活性化のPCAよりも優れていた。
スコア正則化連続時間一貫性による大規模拡散蒸留 [cs.CV, cs.LG]目的：大規模拡散モデルの蒸留手法の開発
- 拡散モデルは画像生成において高い性能を示すが，計算コストが高いという課題がある。
- 連続時間一貫性モデルは高速化に有効だが，大規模タスクへの適用は計算負荷や評価指標の限界により困難であった。
- 本研究では，連続時間一貫性モデルを大規模拡散モデルに適用し，蒸留を効率化・高品質化することを目指す。
- FlashAttention-2 JVPカーネルを開発し，100億パラメータ以上のモデルや高次元動画タスクでのsCM訓練を可能にした。
- sCMの細部生成における品質限界を明らかにし，誤差の蓄積と「モード被覆」特性が原因であることを指摘した。
- スコア蒸留を組み込んだrCMを提案し，多様性を維持しつつ高品質な画像生成を実現した。DMD2と同等の性能を示し，モード崩壊を抑制した。
拡散に触発されたマスク付きファインチューニング：自己回帰LLMへの知識注入 [cs.CL, cs.AI]目的：自己回帰LLMにおける知識注入の効率向上
- LLMは多様な環境で活用され，その性能は社会に大きな影響を与えるため，継続的な知識更新が不可欠である。
- LLMの知識更新は，計算コストが高い言い換えによるデータ拡張に依存しやすく，知識の逆転現象が課題となっていた。
- 拡散LLMの利点を活用し，自己回帰LLMの知識注入における課題を解決し，性能向上を目指す。
- 拡散LLMは言い換えデータ拡張を必要とせず高いQA精度を示すことが実験的に確認された。
- 自己回帰LLMへのマスク付きファインチューニングにより，言い換えが不要となり，知識の逆転現象への耐性が向上した。
- 大規模知識集約型データセットにおいて，マスク付きSFTが他のファインチューニング手法を上回る下流タスク精度を達成した。
疎な敵対的破損下で復元可能な情報：線形測定に対する仮定不要な理論 [cs.RO, cs.IT, cs.LG, eess.SP, math.IT]目的：疎な敵対的破損下における線形測定からの信号復元に関するロバスト性の理論的解明
- 信号処理や機械学習において，データ破損に対するロバスト性は重要な課題である。
- 既存の研究では，完全復元を保証する条件が厳しく，現実的な状況で適用が難しい。
- 任意の行列Aに対し，疎な破損があってもロバストに保持される情報を特定すること。
- ロバストに保持される情報は，$x^\star + \ker(U)$ であり，ここでUはAの部分行列の行空間の交差への直交射影である。
- 行の構造が，正確な復元，部分的な復元，または自明な復元を決定することを明らかにした。
- i.i.d. ガウス分布に従うAに対し，パラメータに応じて完全復元が可能か不可能かの相転移を示す。
インテル Loihi 2 上での共設計スパイキングニューラルネットワークによるオンライン継続学習 [cs.CL, cs.LG, cs.AI, cs.DC, cs.NE]目的：エッジデバイスにおけるオンライン継続学習の実現
- エッジAIでは，消費電力の制約下で継続的に学習し，未知のデータに適応する能力が重要である。
- 従来のAIシステムでは，新しいタスクを学習する際に過去の知識を忘却する「破滅的忘却」の問題が存在する。
- 本研究は，破滅的忘却を回避しつつ，低消費電力で効率的なオンライン継続学習を実現することを目指す。
- 提案手法 CLP-SNN は，リプレイ法と同等の精度を，リプレイなしで達成した。
- Loihi 2 上で，CLP-SNN は最先端のGPUベースラインと比較して，113倍低いレイテンシと6,600倍低い消費電力を実現した。
- アルゴリズムの効率性と，イベント駆動学習を活用したニューロモーフィックハードウェアの共設計が，この性能向上に貢献している。
ContextPilot: コンテキスト再利用による高速長文コンテキスト推論 [cs.LG]目的：長文コンテキスト推論の高速化
- AI応用において，長文コンテキストを用いた推論の重要性が増している。
- コンテキスト長が長くなるほど，推論の開始遅延が大きな課題となる。
- 既存手法は，推論精度とKVキャッシュ再利用率のトレードオフに陥る問題を解決する。
- ContextPilotは，コンテキストの重複を検出し，KVキャッシュの再利用を最大化することで，推論開始遅延を最大3倍削減する。
- コンテキストの注釈を付加することで，再利用による推論精度の低下を防ぐ。
- 長文コンテキストにおいては，推論精度を向上させる可能性も示唆されている。
MULTIBENCH++：専門領域における統一的かつ包括的なマルチモーダル融合ベンチマーク [cs.CL, cs.RO, cs.LG]目的：マルチモーダル融合評価のための大規模ベンチマーク
- マルチモーダルAIは多様な応用分野で重要性を増しており，性能向上が期待されている。
- 既存のベンチマークはデータセット数が少なく，現実世界の複雑さを捉えきれていない。
- 汎化性能の高い融合モデル開発を促進するため，公平な評価基盤を提供する。
- 30を超えるデータセット，15種類のモダリティ，20の予測タスクを網羅する大規模ベンチマークを構築した。
- 最先端モデルの実装と多様な融合手法を含む，統一的かつ自動化された評価パイプラインを開発した。
- 実験を通じて新たな性能基準を確立し，マルチモーダルモデルの厳密な評価を可能にした。
低リソース言語のための効率的な機械翻訳における言語情報に基づく負例学習 (NSL-MT) [cs.LG]目的：低リソース言語における効率的な機械翻訳のための負例学習手法
- 機械翻訳はグローバルコミュニケーションにおいて不可欠であり，多言語対応は社会の発展に寄与する。
- 低リソース言語では，並行コーパスの不足が機械翻訳の性能向上を阻害する課題がある。
- ターゲット言語文法の違反を生成し，その確率を低くすることで，データ効率の良い学習を目指す。
- NSL-MTは，既存のベースラインモデルと比較して，BLEUスコアで3-12%の改善を示した。
- 初期性能の低いモデルでは，NSL-MTは56-89%のBLEUスコア向上を実現した。
- NSL-MTは，5倍のデータ効率の向上を示し，1,000例での学習が5,000例での学習と同等またはそれ以上の性能となった。
VVS：視覚的自己回帰生成における推測デコーディングの加速：部分検証スキップによる [cs.CV, cs.AI]目的：視覚的自己回帰モデルの推論速度向上
- 画像生成において，視覚的自己回帰モデルは有望な手法であり，応用範囲が広い。
- 自己回帰モデルの逐次的なトークン予測は，推論遅延を引き起こすという課題がある。
- 推測デコーディングの効率性を高め，モデルの実行回数を減らすことで，推論速度を改善する。
- 本研究では，部分検証スキップを導入するVVSフレームワークを提案し，目標モデルの順伝播回数を2.8倍削減した。
- 生成品質を維持しつつ，従来の推測デコーディングフレームワークと比較して優れた速度と品質のトレードオフを実現した。
- 視覚的トークンの特性に基づき，検証の冗長性と特徴量の再利用可能性を考慮した動的なスキップ戦略を開発した。
行確率行列は，分散学習において二重確率行列を凌駕しうる [cs.LG]目的：分散学習における収束性向上
- 分散学習は，データのプライバシー保護や計算資源の有効活用に不可欠な技術である。
- 既存手法では，ノードの重みをどのように組み込むかが課題であり，収束速度に影響を与える。
- 行確率行列と二重確率行列の収束性理論を比較し，行確率行列の優位性を示す。
- 加重ヒルベルト空間の枠組みにより，行確率行列が二重確率行列よりも厳密に優れた収束性を持つことが示された。
- 行確率行列は自己共役性を持つ一方，二重確率行列は持たないため，コンセンサス誤差が増幅され，収束が遅延する。
- スペクトルギャップだけでなく，ペナルティ項の存在が収束性の違いを生み出すことが明らかになった。
LLMポストトレーニングのための分布価値モデリングに基づく方策最適化 (DVPO) [cs.LG, cs.AI]目的：LLMのポストトレーニングにおける方策最適化
- 大規模言語モデル(LLM)の性能向上は，様々な応用において重要であり，継続的な研究課題である。
- 現実世界のデータにはノイズや不完全な指示が含まれる場合が多く，学習の不安定化や汎化性能の低下を引き起こす。
- ノイズに強く，多様な状況下で高い性能を発揮するLLMのポストトレーニング手法を開発すること。
- DVPOは，条件付きリスク理論と分布価値モデリングを組み合わせることで，ロバスト性と汎化性能のバランスを実現した。
- トークンレベルの価値分布を学習し，非対称なリスク正則化を適用することで，ノイズの影響を抑制しつつ探索性を維持する。
- 対話，数学的推論，科学的QAにおいて，既存手法(PPO, GRPOなど)を上回り，ノイズ条件下での有効性が示された。
自然言語によるエージェントのオーケストレーション学習：Conductor [cs.LG]目的：LLM間の効果的な協調戦略の自動発見
- 多様な専門性を持つLLMを最大限に活用するため，それらを効果的に連携させる必要性が高まっている。
- LLM間の最適な連携方法が確立されておらず，個々のLLMの能力を十分に引き出せていない。
- LLM間の協調戦略を自動的に学習し，それらの能力を最大限に活用することを目指す。
- Conductorモデルは，LLM間の効果的なコミュニケーション構造と指示の設計を学習することで，個々のLLMを上回る性能を達成した。
- ランダムなエージェントプールでの学習により，Conductorは様々なLLMに対応し，ユーザーの要件を満たすことが可能となった。
- Conductorが自身をワーカーとして選択することで，動的なテスト時スケーリングが可能となり，更なる性能向上が実現した。
分散が重要である：層化サンプリングによるドメイン適応の改善 [cs.LG]目的：ドメイン適応における分散削減
- 機械学習モデルの実世界への応用において，ドメインシフトは重要な課題である。
- 既存のドメイン適応手法では，確率的環境下での不確実性による分散が大きく，性能向上を阻害する。
- 層化サンプリングを用いた分散削減により，ドメイン適応の精度と安定性を高めることを目指す。
- 本研究では，相関アライメントと最大平均不一致（MMD）という2つの不一致尺度に対して層化の目的関数を導出した。
- MMDに対する提案手法は，特定の条件下で分散を最小化する理論的な最適性を持つことが証明された。
- 実験結果から，提案手法が不一致推定の精度とターゲットドメインの性能を向上させることが示された。