arXiv雑要約
AI - 2026/03/17 公開
大規模深層学習のためのスケーラブルで高性能なコレクティブ通信 [eess.SY, cs.RO, cs.SY, cs.IR, cs.CL, cs.DC, cs.AI, cs.LG]目的：深層学習におけるコレクティブ通信の性能向上
- データセンターやスーパーコンピュータでの分散AI処理の増加に伴い，高速なコレクティブ通信が不可欠となっている。
- 既存のライブラリは，最新のGPUスーパーコンピュータにおいて性能やスケーラビリティに限界がある。
- 大規模GPU環境での深層学習ワークロードにおけるコレクティブ通信の効率化を目指す。
- PCCLは，all-gather, reduce-scatter, all-reduce等の主要なコレクティブ通信において，高度に最適化された実装を提供する。
- Frontierの2048 GCDsにおいて，RCCLに対してreduce-scatterで最大168倍，all-gatherで33倍，all-reduceで10倍の性能向上を達成した。
- DeepSpeed ZeRO-3およびDDPトレーニングにおいて，それぞれ最大4.9倍，2.4倍の高速化を実現し，実用的な深層学習ワークロードの性能向上に貢献する。
プライバシーの誤った感覚：表面的なプライバシー漏洩を超えたテキストデータサニタイズの評価 [eess.SY, cs.SY, cs.CR, cs.CL, cs.LG]目的：テキストデータ公開に伴う個人情報のリスク評価
- 個人情報保護は，データ活用における倫理的・法的課題であり，社会的に重要なテーマである。
- 既存のサニタイズ手法は，明示的な識別子の漏洩のみに焦点を当て，より巧妙な再識別リスクを見過ごしている。
- サニタイズされたデータから個人を特定できるリスクを定量的に評価し，プライバシー保護の改善を目指す。
- 既存のサニタイズ手法が，表面的なプライバシー保護に留まり，実際には個人情報が漏洩している実態を明らかにした。
- 特に，AzureのPII除去ツールは，MedQAデータセットにおいて74％の情報を保護できていないことが示された。
- 差分プライバシーはリスクを軽減するが，サニタイズされたテキストの有用性を低下させるというトレードオフが存在する。
臨床における対話処理のための合成データセットの類型論 [cs.CL, cs.AI]目的：臨床対話処理における合成データセットの類型化
- 医療分野のデータ利用は，患者のプライバシー保護の観点から重要性が高い。
- 臨床対話データは収集が困難であり，十分な学習データが得られにくいという課題がある。
- 合成データセットの適切な利用法を明確にし，汎用性を高めることを目指す。
- 合成データセットの作成，評価，利用方法の現状を整理した。
- データ合成のタイプと度合いを分類するための新しい類型論を提案した。
- この類型論が，合成データセットの比較と評価を促進すると考えられる。
ゲームへの期待を利用した改善の促進：公正な戦略的分類におけるエージェントの誘導 [cs.NI, cs.LG]目的：アルゴリズムに対する人間の戦略的行動
- 機械学習が意思決定に影響を与える場面が増加しており，人間の戦略的行動の理解が重要である。
- アルゴリズムによる特徴操作（欺瞞）と資格の改善の選択のバランスが課題である。
- アルゴリズム設計者が戦略的反応を誘導し，公正性を確保する方法を探求する。
- Stackelbergゲームとしてモデル化し，最適な分類器を特定した。
- 公正な戦略的ポリシーが，欺瞞を防止し，改善を促す条件を明らかにした。
- 機械学習駆動の意思決定システムにおける，企業の戦略的行動の予測と倫理的影響の関連性を示唆する。
貢献を促しパラメータも学習：戦略的なデータ所有者による連合学習 [cs.RO, cs.GT, cs.LG, cs.MA]目的：連合学習における貢献インセンティブ設計とパラメータ学習
- データ活用が進む現代において，プライバシーを保護しつつ分散データを有効活用する技術が重要である。
- 従来の連合学習では，データ所有者の参加意欲が考慮されておらず，コスト負担が大きいため貢献が鈍化する可能性がある。
- データ所有者への合理的なインセンティブを提供し，貢献を促すメカニズムを構築することで，連合学習の性能向上を目指す。
- 提案するメカニズムは，各クライアントの貢献がナッシュ均衡となるように設計されており，同時にモデルパラメータを学習する。
- 最適なパラメータ学習と完全なデータ貢献を可能にするメカニズムも提案し，実データを用いた実験でその有効性を示した。
- 実験結果は，提案手法が高速に収束し，高い福利厚生と優れたモデル性能を達成することを示唆している。
正解後短縮：推論型RLにおける遅延長ペナルティ [cs.AI, cs.CL]目的：推論型RLにおける応答長の短縮
- 大規模言語モデルの推論能力向上は，複雑な問題解決に不可欠である。
- 推論パスが長くなると，計算コストが増大し，実用性が低下する。
- 追加学習なく，推論パスの長さを効率的に短縮することを目指す。
- 提案手法は，応答長を大幅に短縮しつつ，性能を維持または向上させる。
- 論理推論タスクにおいて，応答長の平均ステップ数を40%削減し，性能を14%向上。
- 数学問題においても，応答長の平均ステップ数を33%削減し，性能を維持。
MSDformer：時系列生成のためのマルチスケール離散Transformer [cs.RO, cs.LG]目的：時系列データのマルチスケールパターン抽出と生成
- 時系列データ解析は，金融，気象，医療など幅広い分野で不可欠であり，その精度向上は重要である。
- 従来の時系列モデルは，複雑なデータのマルチスケールな特徴を捉えきれていない場合がある。
- マルチスケールな離散表現を用いることで，より高精度な時系列データの生成を目指す。
- 提案手法MSDformerは，複数のスケールで時系列データをトークン化し，複雑な特徴を捉える。
- 理論的な検証により，MSDformerの有効性と合理性がレート歪み定理を通じて示された。
- 実験結果は，MSDformerが最先端の手法を大幅に上回る性能を示すことを実証している。
二者択一の推論を超えて：変換と帰納としての協調的問題解決パラダイム [cs.PL, cs.AI, cs.LG]目的：変換と帰納の協調的な問題解決
- プログラム合成は，限られた例からプログラムを生成する重要な技術であり，AI分野の発展に不可欠である。
- 既存の手法では，変換と帰納を相互に排他的に扱うか，一方のパラダイムが他方を支配する構造になっているため，潜在能力が制限されている。
- 変換と帰納を対等に組み合わせ，互いの自律性と推論能力を最大限に引き出すことで，より効果的な問題解決を目指す。
- 提案手法TIIPSは，3つのプログラム合成ドメインにおいて，最先端のベースラインを安定して上回り，良好な結果を得た。
- TIIPSが生成するプログラムは，構文と意味の両方において正解の軌跡により近いことが示され，意図されたプログラム行動との適合性が高い。
- 本研究は，記号的推論とニューラル推論を組み合わせた協調的な推論が，強力な問題解決の方向性を示すことを明らかにした。
オンデバイスLLMの系統的評価：量子化，性能，およびリソース [cs.LG]目的：オンデバイスLLMの性能，効率，およびリソース制約のバランスに関する評価手法
- プライバシー保護の観点から，LLMをエッジデバイスに展開する重要性が高まっている。
- エッジデバイスの限られたリソースが，LLMの性能向上を妨げる課題となっている。
- リソース制約下でのLLM最適化に関する指針を提供することを目指す。
- 重度に量子化された大規模モデルは，より小さな高精度モデルよりも一貫して優れた性能を発揮する。
- リソース使用量はBPWに比例して増加するが，電力およびメモリフットプリントは量子化アルゴリズムによって異なる。
- モデルサイズが縮小すると，スループットの主な制約は通信オーバーヘッドから計算遅延に変化する。
準可逆待ち行列システムの加入制御：最適化と強化学習 [cs.LG, math.OC, math.PR]目的：準可逆待ち行列システムの到着率最適化
- 待ち行列理論は，通信，交通，生産システムなど，様々な分野における混雑や待ち時間分析に不可欠である。
- 従来の待ち行列モデルでは，複雑なシステムの挙動を正確に捉えきれない場合がある。
- 準可逆性を利用することで，複雑なシステムの解析を可能にし，効率的な加入制御を実現する。
- 本研究では，準可逆待ち行列システムにおける新たな準可逆性の定義を提案し，顧客クラスの重要性を強調した。
- 平衡到着制御ポリシーを導入し，Whittleネットワークの概念を準可逆待ち行列システムのより広い範囲に一般化した。
- 平衡到着制御ポリシーを追加することで準可逆性が保持されることを証明し，定常測度の形式を特定した。
評価から防御へ：ビデオ大規模言語モデルの安全性の向上 [cs.CV, cs.AI]目的：ビデオ大規模言語モデルの安全性評価と改善
- 画像生成AIの安全性は重要視されているが，ビデオAIの安全性評価は遅れている。
- ビデオAIは，画像AIと比較して安全性に関する体系的な研究が不足している。
- マルチモーダル攻撃の脆弱性を解消し，ビデオAIの安全性を高めることを目指す。
- ビデオ大規模言語モデルにおいて，ビデオを取り込むことで安全性能が平均34.2%低下することが明らかになった。
- VideoSafety-R1という二段階フレームワークを提案し，安全性に関する大幅な改善を実現した。
- 提案手法は，VSE-HHにおいて71.1%の性能向上を示し，既存の画像安全性データセットでも優れた結果を得た。
TI-DeepONet：安定した長期外挿のための学習可能な時間積分 [cs.LG]目的：安定した長期外挿を実現するための学習可能な時間積分フレームワークの開発
- 力学系のモデリングにおいて，将来予測は不可欠であり，特に訓練期間を超える予測が重要である。
- 既存手法は，因果関係の無視や誤差の累積といった課題があり，長期予測の精度が制限されていた。
- 本研究は，時間積分とニューラル演算子を統合し，長期予測における誤差を軽減することを目指す。
- TI-DeepONetは，状態予測ではなく時間微分場の近似に焦点を当て，標準的な数値解法を用いて連続時間予測を可能にする。
- TI(L)-DeepONetは，多段階積分における学習可能な係数を導入することで，解のダイナミクスに適応し，精度を向上させる。
- 実験結果から，TI(L)-DeepONetは，従来の自己回帰法や固定ホライズン法と比較して，外挿誤差を大幅に削減できることが示された。
大規模言語モデルにおける盆地状損失地形の解明 [cs.LG]目的：大規模言語モデルの損失地形における盆地の出現
- 大規模言語モデルは目覚ましい発展を遂げているが，その内部構造は未だ解明されていない点が多い。
- モデルの頑健性や性能劣化のメカニズムは十分には理解されておらず，安定的な学習法の確立が課題である。
- モデルの性能を維持・向上させるための，安全かつ効率的なファインチューニング手法の確立を目指す。
- モデル規模の拡大に伴い，パラメータ空間における摂動に対する耐性が向上し，広範な安定領域が形成されることが確認された。
- 事前学習により基本的な能力の盆地が形成され，その後のアライメントファインチューニングによって特定の能力（安全性，数学，コーディングなど）の盆地が形成される。
- 盆地のサイズがファインチューニングによる性能劣化を抑制し，入力摂動に対する頑健性を保証することが理論的に示された。
ブラックボックスファウンデーションモデルを用いた直交変換による汎化・個別化連合学習 [cs.RO, cs.LG]目的：非IID環境下における連合学習の頑健な汎化と効果的な個別化
- データプライバシー保護が重要視される中，分散環境でのモデル学習のニーズが高まっている。
- 異種データ（非IID）環境下では，汎化性能と個別化性能を両立することが困難である。
- ファウンデーションモデルの知的財産保護とデータプライバシーの両立を実現する。
- 提案手法FedOTは，ブラックボックスなファウンデーションモデルに対し，共有のタスク依存分類器とクライアント固有の直交変換を適用することで，汎化性能と個別化性能のバランスを取る。
- 直交性制約により，多様なクライアント間の勾配の衝突を抑制し，ファウンデーションモデルの表現の整合性を維持する。
- 実験結果から，FedOTは様々なベンチマークにおいて，既存の連合学習手法を大幅に上回る性能を示すことが確認された。
弱い教師あり学習による強力な推論の促進 [cs.CL, cs.AI]目的：大規模言語モデルにおける推論能力の促進
- 大規模言語モデルの推論能力は重要であり，様々な応用への展開が期待されている。
- 推論能力の向上には高コストな強化学習や高品質なデータが必要となる点が課題である。
- より安価な方法で，大規模言語モデルの推論能力を向上させることを目指す。
- 弱い推論能力を持つモデルからの教師データで，より強力なモデルの推論性能を大幅に改善できる。
- その性能向上は，高コストな強化学習による効果の約94%に匹敵する。
- この弱いモデルから強いモデルへの学習パラダイムは，推論能力を促進するための有望な代替手段となりうる。
推論時の連続空間におけるアラインメント [cs.CL, cs.AI]目的：推論時アラインメント手法
- 大規模言語モデルの性能向上には，人間のフィードバックを活用することが重要である。
- 既存手法は離散的な応答空間での探索に依存し，ベースポリシーが弱い場合に有効な候補を見つけにくい。
- 連続潜在空間における勾配ベースサンプリングにより，効率的なアラインメントを実現する。
- 提案手法Simple Energy Adaptation (SEA) は，AdvBenchで最大77.51%の相対的な性能向上を示した。
- MATHにおいても，SEAは16.36%の相対的な性能向上を達成した。
- SEAは，離散空間での高コストな探索を回避し，ベースポリシーの応答を直接最適化する。
ERC-SVD：大規模言語モデル圧縮のための誤差制御特異値分解 [cs.CL, cs.AI]目的：大規模言語モデルの圧縮戦略
- 自然言語処理の発展に伴い，大規模言語モデルの利用が拡大している。
- 大規模言語モデルはメモリ消費量が大きく，実用的な導入の妨げとなっている。
- 特異値分解の切り捨て誤差を制御し，エラー伝播を抑制する。
- 提案手法ERC-SVDは，既存手法と比較して，一貫して高い性能を示す。
- 残差行列を活用することで，切り捨て損失を低減することに成功した。
- モデルの後層を選択的に圧縮することで，エラー伝播を抑制し，圧縮モデルの性能を向上させた。
暗黙の正則化による変分深層学習 [cs.LG, cs.AI, stat.ML]目的：深層学習における変分推論の正則化手法
- 深層学習は高い汎化性能を持つが，そのメカニズムは未だ解明されていない。
- 深層学習モデルは外挿性能や分布外データの扱いに課題が残る。
- 勾配降下法の暗黙的なバイアスを利用し，効率的な正則化を試みる。
- 過パラメータ化された線形モデルにおいて，変分推論との関連性を示す理論的根拠を提示した。
- パラメータ化の選択が帰納的バイアスに与える影響の重要性を明らかにした。
- 追加のハイパーパラメータ調整なしに，分布内および分布外での高い性能を実験的に示した。
巨大言語モデルにおける加重活性化誘導のための軽量コントローラー [cs.CL, cs.LG]目的：大規模言語モデルの安全性および制御に関する研究
- 大規模言語モデルの普及に伴い，有害なコンテンツ生成の抑制が重要課題となっている。
- ファインチューニングはコストがかかるため，推論時の制御メカニズムが求められている。
- 推論時に活性化を制御することで，モデルのパラメータを変更せずに安全性を向上させる。
- 提案手法は，特定の活性化を観察し，グローバルスケーリング因子と層ごとの重みを予測する軽量なコントローラーを用いる。
- コントローラーは，有害な入力に対してのみ活性化誘導を適用し，差別的な介入を実現する。
- ToxicChat等の安全性評価において，ベースモデルと比較して拒否率を大幅に向上させる結果が得られた。
統一されたテキスト・画像からビデオ生成：柔軟な視覚的条件付けのためのトレーニングフリーアプローチ [cs.CY, cs.HC, cs.CV, cs.LG]目的：テキストと画像に基づいたビデオ生成の実現
- ビデオ生成において，意味と視覚の両方の条件を制御可能にすることが重要である。
- 既存手法は，テキストからビデオモデルをファインチューニングする必要があり，リソースコストが高く，条件設定も限定的である。
- 任意の画像数と位置で視覚的条件付けが可能な，柔軟なビデオ生成手法を提案する。
- 提案手法FlexTI2Vは，トレーニングフリーでありながら，既存のトレーニングフリー画像条件付け手法を大幅に上回る性能を示す。
- UNetベースとTransformerベースの両方のアーキテクチャに適用可能である。
- 動的な制御機構により，各ビデオフレームにおける視覚的条件付けの強度を調整し，創造性と忠実度のバランスを取っている。
温室効果ガスプルームの運用自動検出と境界特定に向けた試み [cs.LG]目的：温室効果ガスプルームの運用自動検出と境界特定
- 温室効果ガス排出量のモニタリングは，地球温暖化対策において不可欠である。
- 高解像度イメージング分光計を用いた自動検出システムの実用化は，データ品質や空間的偏り等の課題があった。
- データ品質の管理，偏りの抑制，適切なモデリング目標設定により実用化を目指す。
- 深層学習を用いた畳み込みニューラルネットワーク（CNN）が，これらの課題を克服することで，運用レベルの検出性能を達成できることを実証した。
- インスタンス検出とピクセル単位のセグメンテーションを同時に学習するマルチタスクモデルが，実用化への道を拓く可能性を示した。
- 様々な排出源や地域においてプルーム検出能力を評価し，運用展開の閾値を特定した。
重要度重み付けと最適な提案設計による離散拡散モデルの推論時スケーリング [cs.LG]目的：離散拡散モデルの推論時制御
- 拡散モデルは多様な分野で高い性能を示す。実用化には制約下での生成能力が重要。
- 拡散モデルの推論速度や制御が難しい。生成過程の調整が課題。
- 重要度重み付けと最適な提案設計により，拡散モデルの推論時制御を可能にする。
- 提案手法は中間目標に対する扱いやすい重要度重みを導出し，最適な提案を特徴づける。
- 合成タスク，言語モデリング，生物学的設計，テキストから画像生成において，制御性とサンプル品質が向上した。
- 推論時の離散拡散モデルのスケーリングにおいて，SMCの有用性が示された。
ロボット経路計画における安全性と最適性の両立：アルゴリズムと指標 [cs.RO, cs.AI]目的：ロボット経路計画における安全性と最適性のバランス
- 自動運転ロボットの普及には，安全かつ効率的な経路計画が不可欠である。
- 従来の経路計画アルゴリズムは，安全性または効率性のいずれかに偏りがちである。
- 安全性と最適性のバランスを同時に実現する手法の確立。
- 本研究で提案するUPPは，動的なヒューリスティック重み付けにより，安全性と最適性を両立する。
- UPPは，実環境での探索状況に応じてパラメータを自動調整し，高い安全性を保ちつつ，ほぼ最適な経路を見出す。
- OptiSafe指標を用いた評価により，UPPが既存手法よりも優れた性能を示すことが確認された。
パスロスモデル発見のための自動モデリング手法 [cs.LG]目的：パスロスモデルの発見
- 次世代無線システム設計・最適化の基盤技術であり，5G以降の発展に不可欠である。
- 従来の統計的手法では，環境の変化への対応やモデルの解釈が困難である。
- AI技術を用いて，高精度かつ解釈可能なパスロスモデルの自動発見を目指す。
- 提案手法は，モデルの定式化，評価，改良を自動化し，パスロスモデルの発見を加速する。
- Kolmogorov-Arnoldネットワークは，決定係数R^2を1に近く，最小限の予測誤差を達成した。
- Deep Symbolic Regressionは，中程度の精度でコンパクトなモデルを生成し，自動手法は従来の技術と比較して予測誤差を最大75%削減した。
適応型締切とバッチ層状同期フェデレーテッド学習 [cs.LG]目的：分散型エッジデバイス間での協調的モデル学習
- データプライバシー保護が重要視される現代において，分散環境での機械学習手法として注目されている。
- デバイスの性能差により，遅延が発生し，学習効率が低下する課題がある。
- 時間制約下における学習効率を向上させるため，締切とバッチサイズを最適化する。
- 提案手法ADEL-FLは，ラウンドごとの締切とユーザー固有のバッチサイズを同時に最適化する。
- 理論的な収束性解析により，ADEL-FLがバイアスを持たない更新と有界な分散をもたらすことを証明した。
- 異種環境下での実験により，ADEL-FLが既存手法よりも収束速度と最終的な精度で優れていることが示された。
DiG-Net：遠隔支援ロボットにおける超長距離動的ジェスチャ認識による人間ロボット相互作用の向上 [cs.RO, cs.AI, cs.CV]目的：遠隔支援ロボットにおける，最大30メートルまでの超長距離動的ジェスチャ認識フレームワーク
- 身体制約のある人や遠隔操作を行う人々にとって，直感的で非言語的なコミュニケーションは不可欠である。
- 既存のジェスチャ認識方法は近距離での利用に限定され，遠隔からのロバストな支援コミュニケーションが課題である。
- 本研究は，遠隔支援ロボットの利用可能性を高め，生活の質を向上させることを目指す。
- 提案手法DiG-Netは，深度条件変形アライメント（DADA）ブロックと空間的・時間的グラフモジュールを組み合わせることで，困難な条件下でのジェスチャ認識を実現した。
- 新たに導入した放射計学的空間的・時間的深度減衰損失（RSTDAL）により，学習効果とモデルのロバスト性が向上した。
- 多様なデータセットにおいて，最先端のジェスチャ認識フレームワークと比較して，97.3%の認識精度を達成した。
LLM駆動によるインスタンス固有のヒューリスティック生成と選択 [cs.NE]目的：インスタンス固有のヒューリスティック生成と選択に関するフレームワーク
- 組合せ最適化問題は現実世界の様々な場面で出現し，効率的な解法が求められている。
- 既存手法は問題全体に単一のアルゴリズムを適用するため，インスタンス間の異質性を考慮できていない。
- インスタンスの特徴に基づき問題をサブクラスに分割し，各サブクラスに特化したヒューリスティックを設計する。
- InstSpecHHは，オンラインビンパッキング問題(OBPP)において，平均最適解ギャップを6.06%削減した。
- InstSpecHHは，Capacitated Vehicle Routing Problem(CVRP)において，平均最適解ギャップを0.66%削減した。
- サブクラス内およびサブクラス間での汎化能力が高いことが実験的に示された。
動的ネットワークにおける多解像度解析と統計的閾値処理 [cs.LG]目的：動的ネットワークデータの構造変化検出
- ネットワーク分析は，社会システムやインフラの理解に不可欠であり，変化の検知は重要である。
- 従来の解析では，時間分解能と統計的安定性のトレードオフが存在し，適切な時間分解能の選択が困難である。
- 異なる時間スケールでの構造変化を自動的に検出し，固定分解能法における課題を克服すること。
- 提案手法ANIEは，ネットワーク構造の進化する時間スケールを自動的に特定する多解像度フレームワークである。
- ANIEは，ノード行動の低次元部分空間の推定と，潜在的因子間の相互作用強度の変化を定量化する新しいアフィニティ係数の導出を行う。
- シミュレーション実験と実データ分析により，ANIEが適切な時間分解能に適合し，構造変化を捉える上で有効であることが示された。
意思決定変数相関を用いたタスク関連表現類似性の定量化 [cs.CV, cs.LG, q-bio.NC, q-bio.QM]目的：意思決定戦略の類似性評価
- 脳と深層ニューラルネットワークの表現比較は，脳機能理解の基礎となる。
- 脳とモデルの表現類似性に関して，相反する結果が報告されている。
- タスクに関連する表現類似性の定量化手法を確立する。
- モデル間および脳間類似性は比較可能だが，モデルと脳の類似性は低い。
- ネットワークのImageNet-1k性能向上に伴い，意思決定変数相関は低下する。
- 敵対的学習や大規模データセットでの事前学習は，モデルと脳のタスク関連表現類似性を改善しない。
不確実性量化と選択的探索によるマルチエージェント強化学習のサンプル効率の向上 [eess.SY, cs.LG, cs.SY]目的：マルチエージェント強化学習におけるサンプル効率の向上
- 複数のエージェントが協調・競争する環境下での意思決定を自動化する技術として重要性が高まっている。
- 状態空間や行動空間が大きいため，探索が困難であり，学習に多くの試行錯誤が必要となる。
- 不確実性の推定と選択的な探索により，効率的な学習を実現し，サンプル数を削減することを目指す。
- 提案手法は，分散型アンサンブル学習と分解された集中型批評家を組み合わせることで，不確実性を考慮した探索を実現した。
- アンサンブルの尖度を利用して探索を導くことで，高不確実な状態や行動への学習を促進し，サンプル効率を改善した。
- 標準的なMARLベンチマークにおいて，最先端のベースライン手法を上回る性能を示し，有効性を確認した。
NetArena：ネットワーク自動化におけるAIエージェントの動的ベンチマーク [cs.NI, cs.AI, cs.LG]目的：ネットワーク自動化におけるAIエージェントの評価のための動的ベンチマークフレームワーク
- ネットワークシステム運用は重要性が増しており，AIエージェントの信頼性評価が不可欠である。
- 既存のベンチマークは静的設計で汚染リスクがあり，データセットサイズが小さく変動が大きく，実環境の複雑さを反映できない。
- NetArenaは，これらの問題を解決し，多様なタスクに対応する動的ベンチマークを可能にする。
- NetArenaは，AIエージェント間の統計的信頼性を大幅に向上させ，信頼区間の重複を85%から0%に減少させた。
- 大規模かつ現実的なクエリに対するAIエージェントの平均性能は，13〜38%（最小3%）にとどまった。
- 静的ベンチマークでは見過ごされる詳細な挙動を明らかにすることができた。
AssetOpsBench：産業資産の運用・保守におけるタスク自動化のためのAIエージェントのベンチマーク [cs.AI, cs.MA]目的：産業資産の運用・保守におけるAIエージェントのベンチマークフレームワーク
- 産業設備の効率的な運用・保守は，生産性の向上とコスト削減に不可欠である。
- 従来のAI/MLでは個別タスクに限定され，エンドツーエンドの自動化が困難であった。
- LLMエージェントを活用し，産業資産の運用・保守における自動化の可能性を探求する。
- AssetOpsBenchは，産業用AIエージェントのオーケストレーションと評価を行う統一的なフレームワークである。
- ツール・アズ・エージェントとプラン・エクゼキューターのアーキテクチャにおけるトレードオフを分析するための自動評価フレームワークを導入した。
- 250人以上のユーザーと500を超えるエージェントが提出され，実世界の産業オペレーションのための再現可能でスケーラブルな研究を支援している。
リスク感受性エージェント構成 [cs.LG]目的：エージェント構成のリスク最小化
- 複雑なタスクを複数のエージェントに分割する手法は，現代のAIシステムにおいて不可欠である。
- エージェント構成の安全性，公平性，プライバシー要件を満たすことが課題である。
- エージェント構成における損失分布のバリューアットリスクおよび条件付きバリューアットリスクを最小化する。
- 提案手法は，エージェントグラフを効率的に探索し，最適なエージェント構成を近似的に特定する。
- 動的計画法とユニオンバウンドを利用することで，バリューアットリスクを効率的に近似する。
- ビデオゲームライクな制御ベンチマークを用いて，提案手法の有効性を実証した。
フロー事前分布を用いた潜在空間のアライメント [cs.LG, cs.CV]目的：潜在空間と任意の目標分布とのアライメント
- 機械学習モデルの性能は，学習された潜在空間の質に大きく依存する。
- 潜在空間の分布を目標分布に合わせることは困難であり，計算コストが高い。
- フロー事前分布を用いて，効率的かつ正確な潜在空間のアライメントを実現する。
- 提案手法は，フローベース生成モデルを事前分布として利用することで，潜在空間を目標分布にアライメントする。
- アライメント損失を最小化することで，潜在空間の最適化を効率的に行うことができる。
- ImageNetを用いた大規模な画像生成実験で，様々な目標分布に対して有効性が確認された。
AMPED：探索とスキル多様化のバランスを取るための適応的マルチ目的射影 [cs.LG, cs.AI]目的：探索とスキル多様性の両立
- 強化学習において，疎な報酬環境下での迅速な適応が求められる
- 既存手法では，探索とスキル多様性の相反する目的を同時に最適化することが困難である
- 探索と多様性の調和を明示的に行うことで，ロバストで汎用性の高いスキル学習を目指す
- 提案手法AMPEDは，事前学習時に勾配手術による射影で探索と多様性のバランスを取り，ファインチューニング時にスキルセレクターで多様性を活用する
- 様々なベンチマークにおいて，既存のSBRL手法を上回る性能を達成した
- スキル多様性を高めることで，ファインチューニングに必要なサンプル数を削減できることを理論的・実験的に示した
DesignBench：MLLMベースのフロントエンドコード生成に関する包括的ベンチマーク [cs.SE, cs.AI]目的：MLLMベースのフロントエンドコード生成能力の評価
- フロントエンド開発は，現代のWeb開発において不可欠であり，その自動化は生産性向上に繋がる。
- 既存のベンチマークは，主要なフレームワークや実際の開発ワークフローを十分に考慮していない。
- フレームワーク，タスク，条件の多様性を考慮した詳細な性能分析を可能にすること。
- DesignBenchは，React，Vue，Angularを含む複数のフレームワークと，生成，編集，修正の3つの主要なタスクに対応。
- 900のウェブページサンプルを用いて，タスク難易度や入力の多様性といった様々な側面からMLLMの性能を評価。
- フレームワークごとの制限，タスクのボトルネック，条件による性能変動など，重要な知見が得られた。
易から難へのタスク順序によるカリキュラム強化学習がLLMの推論能力を向上させる [cs.LG, cs.AI, cs.CL]目的：言語モデルの推論能力向上
- 大規模言語モデルの発展に伴い，複雑な推論能力の獲得が重要視されている。
- 強化学習単独では，本質的に難しいタスクに対する推論能力の向上が限定的である。
- 易しいタスクから難しいタスクへと順序付けたカリキュラム学習によって，効率的な推論能力獲得を目指す。
- 提案手法E2H Reasonerは，小規模LLM（1.5B～3B）の推論能力を大幅に向上させることを実証した。
- 初期段階では易しいタスクが重要だが，適切なスケジュールで段階的に難易度を上げていくことで過学習を抑制できる。
- 近似方策反復フレームワーク内で，E2H Reasonerの収束性保証を理論的に確立し，サンプル複雑性の上限を導出した。
BIS Reasoning 1.0：信念矛盾推論のための大規模日本語ベンチマーク [cs.CY, cs.CL, cs.AI]目的：信念矛盾推論の評価を目的とした大規模日本語データセット
- 大規模言語モデルの推論能力評価は，実用化において重要である。
- 既存の論理的推論データセットは，信念に沿った推論に偏っている場合がある。
- 大規模言語モデルにおける信念バイアスの影響を明らかにすること。
- BIS Reasoning 1.0において，推論に特化したモデルは高い精度を示した。
- GPT-4oは80%程度の精度であったが，日本語LLMの性能は改善傾向にある。
- 論理的妥当性と信念の矛盾が，モデルの性能に影響を与えることが示された。
テレビシリーズにおけるビデオ誘導型後期ASR修正による音声認識 [cs.SD, cs.AI, eess.AS]目的：テレビシリーズの音声認識精度向上
- 音声認識技術は，対話型AIやメディア文字起こしなど，幅広い分野で活用が拡大している。
- テレビシリーズのような複雑な環境では，複数話者や専門用語により，音声認識の精度が低下しやすい。
- ビデオ情報と大規模マルチモーダルモデルを活用し，音声認識の誤りを修正することで精度向上を目指す。
- 提案手法は，テレビシリーズのベンチマークテストにおいて，音声認識精度の一貫した向上を実証した。
- ビデオ情報による文脈活用により，複雑なマルチメディア環境下での音声認識性能を改善できる。
AVA-Bench：ビジョン基盤モデルのための原子的な視覚能力ベンチマーク [cs.CV, cs.AI, cs.LG]目的：ビジョン基盤モデルの原子的な視覚能力の評価
- 近年，ビジョン基盤モデルの性能向上は目覚ましいが，その評価方法が課題となっている。
- 既存のVQAベンチマークは複雑で，どの視覚能力に問題があるか特定しにくい。
- AVA-Benchは，14個の原子的な視覚能力を分離し，モデルの弱点を明確に示すことを目指す。
- AVA-Benchは，トレーニングデータとテストデータの分布を一致させることで，より正確な評価を可能にする。
- 主要なビジョン基盤モデルの能力フィンガープリントを明らかにし，モデル選択の指針を提供する。
- より小さなLLM（0.5B）でも，大きなLLM（7B）と同等のランキングが得られ，評価コストを削減できることが示された。
新たな特徴選択手法を用いた早期APT検知のための軽量IDS [cs.CR, cs.AI]目的：早期APT検知のための軽量侵入検知システムの開発
- サイバー攻撃の高度化に伴い，APTのような巧妙な攻撃への対策が喫緊の課題となっている。
- APTは潜伏期間が長く検知が困難であり，被害拡大を防ぐためには早期発見が重要である。
- APTの初期侵入段階における特徴を的確に捉え，効率的な検知を可能にすることを目指す。
- 提案手法は，SCVIC-APT-2021データセットにおいて，特徴量を77から4に削減することに成功した。
- 削減後も，適合率97%，再現率100%，F1スコア98%と高い評価指標を維持した。
- 本手法はAPT被害の防止に貢献するとともに，初期段階におけるAPTの挙動理解を深める。
資源合理主義的契約主義がAIアライメントを導く [cs.SI, cs.AI]目的：AIの意思決定における規範的枠組み
- AIが社会に浸透するにつれ，人間との協調や倫理的判断が不可欠となる。
- 多様な利害関係者の合意形成は，コストと時間がかかるという課題がある。
- 合理的な合意形成を効率的に近似する手法を提示し，AIの適応性を高める。
- 資源合理主義的契約主義（RRC）は，規範に基づいたヒューリスティクスを用いることで，合意形成のコストを削減する。
- RRCは，AIエージェントが効率的に動作するだけでなく，変化する社会状況に適応する能力を付与する。
- 本研究は，AIアライメントにおける新たなアプローチとして，RRCの有効性を示唆している。
環境設計のための遷移を考慮した後悔近似と共同学習可能性 [cs.LG, cs.AI]目的：深層強化学習エージェントの未踏環境への汎化性能向上
- 強化学習は多様な課題に応用可能だが，環境への適応が課題。
- 教師なし環境設計では，学習ポテンシャルの評価が重要だが，既存手法は不十分。
- 遷移予測誤差と共同学習可能性を組み込み，より効率的なカリキュラム設計を目指す。
- 提案手法TRACEDは，既存手法と比較してゼロショット汎化性能を向上させるカリキュラムを生成する。
- 遷移予測誤差がカリキュラムの複雑度を迅速に上昇させ，共同学習可能性が更なる性能向上に貢献することが確認された。
- 精緻な後悔近似とタスク間の関係性の明示的モデリングが，サンプル効率の良いカリキュラム設計に有効である。
多様なドメインにおける外れ値検出のための汎用モデル UniOD [cs.HC, cs.CY, cs.RO, cs.CC, quant-ph, cs.LG]目的：多様なドメインと特徴量空間を持つデータセットにおける外れ値検出
- 科学技術において，データ中の異常値を特定することは極めて重要である。
- 既存の外れ値検出手法は，ハイパーパラメータ調整やモデル学習に手間がかかる場合が多い。
- UniODは，様々なデータセットに対して追加の調整なしに外れ値検出を可能にすることを目指す。
- UniODは，ラベル付きデータセットを用いて，異なる特徴量次元と異質な特徴量空間を持つデータセットの外れ値を検出できる単一のモデルを学習する。
- マルチスケール点ごとの類似度行列を構築・因数分解することで，データセット間で一貫性のある特徴量を抽出する。
- グラフニューラルネットワークを用いて，データセット内外の関係性を捉え，外れ値検出をノード分類問題として定式化する。
マルチモーダルChain-of-Thoughtのための根拠強化デコーディング [cs.CV, cs.AI, cs.LG]目的：マルチモーダルChain-of-Thoughtにおける推論の改善
- 視覚と言語を統合した大規模モデルは高度な能力を示す。多角的な問題解決への応用が期待される。
- 既存モデルはChain-of-Thoughtで生成された根拠を十分に活用できていないという課題がある。
- 生成された根拠を考慮した推論を通じて，マルチモーダルシステムの信頼性と精度を高める。
- 本研究では，根拠条件付き対数尤度を最大化するKL制約報酬という新たなアプローチを提案した。
- 提案手法である根拠強化デコーディング（RED）は，画像と根拠情報を調和的に統合する。
- REDは，複数のベンチマークと大規模モデルで，標準的なChain-of-Thoughtや他のデコーディング手法を上回る性能を示した。
Lumos-1：統一モデルの視点からの離散拡散を用いた自己回帰型動画生成について [cs.CV, cs.AI, cs.MM]目的：自己回帰型動画生成のための統一モデル
- 動画生成は，コンテンツ制作や表現の可能性を広げる重要な研究分野である。
- 既存の動画生成モデルは，大規模言語モデルのアーキテクチャとの乖離や，計算コストが高いといった課題がある。
- 効率的な離散拡散とMM-RoPEによって，動画生成における課題を解決し，高品質な動画生成を可能にすること。
- Lumos-1は，大規模言語モデルをベースとした自己回帰型動画生成モデルであり，効率的な離散拡散を用いることで，従来のモデルの課題を克服している。
- MM-RoPEは，動画の視覚空間temporal相関モデリングを改善し，よりバランスの取れた周波数スペクトルを実現する。
- GenEval，VBench-I2V，VBench-T2Vといったベンチマークにおいて，既存モデル（Show-o2，OpenSoraPlan等）を上回る性能を達成している。
CSD-VAR：視覚自己回帰モデルにおけるコンテンツとスタイルの分解 [cs.CV, cs.AI]目的：視覚的コンテンツとスタイルの分解
- 画像生成技術の発展は，創造的な表現の可能性を広げている。
- 既存手法では，コンテンツとスタイルの分離が不十分な場合がある。
- 自己回帰モデルを用いて，より高度なコンテンツとスタイルの分解を目指す。
- CSD-VARは，スケールを意識した最適化，SVDによる修正，拡張されたK-Vメモリを導入した。
- 新たなデータセットCSD-100を導入し，ベンチマークを行った。
- 実験の結果，CSD-VARは既存手法を上回り，コンテンツの保持とスタイルの忠実度において優れていることが示された。
進化型プログラム合成のための自己改善言語モデル：ARC-AGI を用いた事例研究 [cs.LG, cs.AI, cs.NE]目的：進化型プログラム合成における言語モデルの自己改善手法
- 複雑なプログラム合成は，AIの重要な課題であり，自動化された問題解決能力の向上に不可欠である。
- 最先端の言語モデル単体では解決が困難なプログラム合成タスクが多く，性能向上に限界がある。
- 言語モデルを反復的に改善することで，より効果的なプログラム合成を可能にすることを目指す。
- 提案手法SOARは，言語モデルを組み込んだ自己改善型の進化ループにより，プログラム合成性能を向上させる。
- ARC-AGIベンチマークにおいて，モデル規模や反復回数に関わらず，有意な性能向上を達成した。
- サンプリングと改良のファインチューニング間の正の転移を利用し，テスト時の適応性も向上させた（52%の正答率）。
比較学習による効率的なストーリーポイント推定 [cs.AI, cs.SE]目的：ストーリーポイント予測モデルの校正のための比較学習フレームワークの評価
- アジャイル開発において，ストーリーポイントはスプリント計画の重要な要素である。
- 既存の機械学習モデルは，同一プロジェクトのデータで学習しないと精度が低下する。
- 比較学習により，少ない労力でプロジェクト固有のストーリーポイント推定を改善することを目指す。
- 比較学習で訓練したモデルは，実際のストーリーポイントとの相関が0.34となり，既存の回帰モデルと同等かそれ以上の性能を示した。
- 人間による実験の結果，比較判断は直接評価よりも自信度が高く，注釈時間も短く，合意も同程度であった。
- 提案する比較学習アプローチは，性能，注釈時間，データ信頼性の面で，回帰ベースのアプローチよりも効率的である。
Chart-R1：高度なチャート推論のための思考連鎖による教師あり学習と強化学習 [cs.RO, cs.DL, physics.soc-ph, cs.AI, cs.CV]目的：高度なチャート推論のための視覚言語モデル
- チャート推論は，数値理解，多段階の視覚的理解，データ要素間の論理的推論を必要とする複雑なタスクである。
- 既存の視覚言語モデルは，特に複数チャートや数値の扱いに苦戦する。
- 多様なチャートに対応可能な，高精度な段階的推論データの生成とモデルの性能向上を目指す。
- 本研究では，思考連鎖を用いた教師あり学習と，数値に敏感な報酬を用いた強化学習により，Chart-R1を開発した。
- Chart-R1は，既存のチャート領域モデルを大幅に上回り，大規模モデルに匹敵する性能を示すことが確認された。
- プログラム的なデータ合成アプローチにより，検証可能な回答形式を持つ高品質な推論データを生成することに成功した。