arXiv雑要約
AI - 2026/05/15 公開
ポジティブ・アライメント：人間の繁栄のための人工知能 [cs.AI, cs.CY, cs.HC, q-bio.NC]目的：人間の繁栄と生態系の健全性を積極的に支援するAIシステムの開発
- AIの発展は社会に大きな影響を与え，人間の幸福に貢献できる可能性を秘めている。
- 既存のアライメント研究は安全性の確保に偏っており，人間の繁栄を積極的に追求する視点が不足している。
- AIが人間の幸福を最大化し，多様な価値観を尊重する包括的なアライメントの実現を目指す。
- 既存のアライメント研究の失敗例は，ポジティブ・アライメントの視点を取り入れることでより適切に対処できる可能性がある。
- データフィルタリング，学習段階での調整，評価，価値観の収集など，LLMやエージェントのライフサイクルにおける技術的課題と方向性が示されている。
- 文脈に基づいた意見の相違を促進し，分散型のガバナンスを構築するための設計原則が提案されている。
重い裾を持つ高変動時系列における不確実性の学習：DeepL\'evy [cs.LG]目的：高変動時系列における不確実性のモデリング
- 金融，気象など，極端な事象が重要な分野で，正確な不確実性モデリングが不可欠である。
- 深層確率予測モデルは，重い裾を持つ時系列の急激な変動や極端な事象の捕捉が困難である。
- レヴィ安定分布の活用を可能にし，極端なボラティリティ下でのテールリスク予測性能を向上させる。
- DeepL\'evyは，経験的特性関数とパラメータ特性関数との不一致を最小化することで，レヴィ安定分布の混合を学習する。
- このモデルは，文脈に依存した重みとパラメータを適応的に学習する混合メカニズムを組み込むことで，柔軟な多地平線不確実性モデリングを可能にする。
- 実データと合成データセットの両方で，DeepL\'evyはテールリスク指標において最先端の深層確率予測アプローチを上回る性能を示した。
プロンプト活性化の二重性：注意レベル介入による活性化制御の改善 [cs.DC, cs.CL, cs.CL, cs.AI]目的：活性化制御の改善
- 言語モデルの挙動制御は，多様なタスクへの適応に不可欠であり，その重要性は増している。
- 従来の活性化制御手法では，状態を保持する対話において，一貫性が損なわれる問題があった。
- KVキャッシュ汚染による一貫性低下を解決し，より信頼性の高い活性化制御を実現すること。
- 提案手法GCADは，システムプロンプトから注意機構を介して活性化信号を抽出し，トークンレベルで制御することで，長期間にわたる一貫性を改善する。
- GCADは，パーソナリティ制御を維持しつつ，平均的な一貫性低下を-18.6から-1.9に改善し，10ターン目の特徴表現を78.0から93.1に向上させた。
- これらの結果は，活性化制御がモデルが既に利用するプロンプト媒介経路に従うことで，より信頼性が高まることを示唆している。
LoKA：大規模推薦モデルにおける低精度カーネル応用 [cs.LG, cs.AI]目的：大規模推薦モデルにおける低精度演算の適用可能性の向上
- 推薦システムは，現代のインターネットサービスにおいて不可欠であり，その性能向上が求められている。
- 大規模推薦モデルは数値的に不安定であり，低精度演算の直接適用は精度劣化や学習時間増加を引き起こす。
- モデルとハードウェアの共同設計により，低精度演算を安全かつ効率的に大規模推薦モデルに統合することを目指す。
- LoKAは，低精度演算が安全な箇所をプロファイリングし，モデルコンポーネントをハードウェアに合わせて設計し，カーネルライブラリをオーケストレーションする。
- LoKA Probeは，活性化および重みの統計量を学習し，FP8適用の安全かつ高速な箇所を特定するオンラインベンチマーク手法である。
- LoKA Modsは，FP8を用いた数値的安定性と実行効率を向上させる再利用可能なモデル変更を提供する。
バリエーション深層埋め込みによる解釈可能な脳波マイクロステート発見：多象限評価を用いた系統的なアーキテクチャ探索 [cs.AR, cs.LG, q-bio.NC]目的：脳波マイクロステートの解釈可能性向上
- 脳活動の理解において，一時的かつ安定した脳の状態変化を捉えるマイクロステート解析は重要である。
- 従来の解析手法は，潜在表現の学習や生成的な復号化が困難であり，モデルの透明性と解釈可能性に限界がある。
- 深層学習を用いた潜在空間での確率的ソフトクラスタリングにより，解釈可能なマイクロステート表現を学習することを試みる。
- 提案手法Conv-VaDEは，脳波トポグラフィの再構成と確率的ソフトクラスタリングを同時に学習する。
- アーキテクチャ探索の結果，ネットワークの深さL=4が最適な性能を示す構成で一貫して現れた。
- 最良の構成では，K=4でGEV 0.730，シルエット係数0.229を達成し，モデル規模よりもアーキテクチャ探索が重要であることが示された。
EEG基礎モデルは人間の脳信号から何を捉えているか [cs.AI]目的：EEG基礎モデルにおける表現学習の内容と，臨床タスクにおける特徴量の重要性の解明
- 臨床脳波解析は医療診断において不可欠であり，その精度向上は重要な課題である。
- 従来の臨床脳波解析は手動による特徴量設計に依存しており，自動化や汎化性能の限界があった。
- 本研究は，自己教師あり学習によるEEG基礎モデルの学習内容を分析し，既存の特徴量との整合性を評価する。
- EEG基礎モデルは，脳波信号からタスクやモデルの種類に関わらず，周波数領域の特徴量を主要に学習していることが示された。
- 既存の特徴量を用いることで，基礎モデルの性能の平均79.3%を説明可能であり，タスクの難易度によって回復率は異なった。
- 難易度の高いタスクには未だ解明されていない概念が存在することを示唆しており，今後の研究の方向性を示唆する。
マルチエージェント推論の予測マップ：LLMコミュニケーション・トポロジーのための後継表現スペクトル [cs.MA, cs.AI, cs.LG, cs.SI, math.SP]目的：マルチエージェントLLMシステムのコミュニケーション・トポロジーにおけるドリフト増幅，合意形成，摂動に対する堅牢性を予測する構造的診断
- LLMを活用したマルチエージェントシステムは多様な応用が期待されるため，その性能を最大化する構成が重要視される。
- 最適なコミュニケーション・トポロジーの選択は経験則に頼る部分が多く，事前診断の手段が不足している。
- コミュニケーション・トポロジーの構造的特徴とシステム挙動の関係を明らかにすることで，より堅牢なシステム設計を支援する。
- 後継表現のスペクトル量（スペクトル半径，スペクトルギャップ，条件数）と，ドリフト，合意形成，堅牢性の各故障モードとの関連性が示された。
- チェイン，スター，メッシュトポロジーにおいて，条件数は摂動に対する堅牢性の順位を完全に予測し，スペクトルギャップは合意ダイナミクスを部分的に予測した。
- スペクトル半径は累積誤差と逆相関があり，線形スペクトルが非縮約バイアスドリフトを見逃す傾向を Affine-Noise 拡張で改善した。
ダイナミクス盲目性の克服：VLAモデルのためのトレーニング不要なペースと経路補正 [cs.RO, cs.AI, cs.CV, cs.LG]目的：VLAモデルにおけるダイナミクスへの対応
- 視覚，言語，行動を統合したVLAモデルは，従来の制御パラダイムを超える柔軟性と汎用性を持つため重要である。
- 既存のVLAモデルは単一フレームの観察に基づき，時間的なダイナミクスを捉えきれていないという課題がある。
- 本研究は，VLAモデルの時間的ダイナミクスへの盲目性を，トレーニングなしで補正することを目指す。
- 提案手法であるペースと経路補正は，既存のVLAモデルをラップし，推論時にダイナミクスを吸収する。
- MoveBenchを用いた評価により，提案手法が最先端のトレーニング不要な手法や動的適応手法を上回ることが示された。
- ダイナミクスのみの環境，および静的・ダイナミクスの混合環境において，成功率が最大28.8%と25.9%向上した。
CuSearch：検索深さを活用したカリキュラム展開サンプリングによるエージェント型RAG [cs.AI]目的：エージェント型RAGシステムにおけるカリキュラム展開サンプリング手法
- 大規模言語モデルと外部知識の融合が重要視され，RAGによる知識獲得と推論能力向上が求められている。
- 既存手法では，全ての軌跡を等しく扱い，検索深さのばらつきを考慮していない点が課題である。
- 検索深さに基づき，より有益な軌跡に学習資源を集中させ，効率的な学習を実現することを目的とする。
- CuSearchは，検索深さを活用したカリキュラム展開により，標準的なGRPOと比較して最大11.8ポイントのExact Matchスコア向上を達成した。
- 検索深さは，RLVRベースのエージェント型RAG学習における検索監督密度の信頼できる無注釈プロキシとして機能することが示された。
- SDGA-AutoとSDGA-Phaseの2つの戦略により，学習の進捗に合わせてカリキュラムを調整し，性能向上を実現している。
強化学習ファインチューニングにおけるエントロピー極性：方向性，非対称性，制御 [cs.LG, cs.CL]目的：大規模言語モデル強化学習におけるエントロピーのメカニズム解明
- 強化学習は，報酬が検証可能な環境下で，言語モデルの性能向上に不可欠である。
- 既存手法では，トークンレベルでのエントロピー変化のメカニズムが未解明である。
- エントロピー極性を活用し，探索と活用のバランスを最適化する手法を開発する。
- エントロピー極性は，サンプリングされた更新がエントロピーを拡大または縮小する度合いを予測する。
- 高確率トークンの強化はエントロピーの縮小傾向を招き，拡大には低確率サンプリングが必要となる非対称性が確認された。
- 提案手法PAPOは，エントロピー極性を維持し，報酬向上と学習効率の改善を実現した。
GEAR：自己蒸留によるLLMエージェントの粒度適応型利点再重み付け [cs.LG, cs.AI, cs.CL]目的：LLMエージェントにおける粒度適応型利点再重み付け手法
- LLMエージェントの性能向上は，その応用範囲拡大に不可欠である。
- 長期的軌跡における適切な報酬の割り当てが困難である。
- 自己蒸留を用いた粒度適応型利点再重み付けによる課題解決を目指す。
- GEARは，標準的なGRPO，自己蒸留ベースライン，およびトークンレベルまたはターンレベルの信用割り当て手法を常に上回る性能を示した。
- 特に，GRPOベースラインの精度が低いベンチマークにおいて，最大約20％の改善が見られ，GEARの適応的再重み付けスキームがより困難な長期的設定で有用であることが示された。
- 自己蒸留から得られるトークンレベルおよびセグメントレベルの信号を用いて，軌跡レベルのGRPO利点を再調整する。
手続き的スキルSFTのキャパシティ段階別効果：Qwen3.5モデル(0.8B-4B)におけるW字型事前SFT軌跡と非対称なメカニズム [cs.LG]目的：手続き的スキルのSFT貢献度
- 大規模言語モデルの性能向上には，特定のタスクにおける手順に基づいたスキルの学習が重要である。
- 言語モデルの規模によって，手続き的スキルの学習効果にばらつきがある可能性が指摘されている。
- モデル規模と事前学習の状況に応じたSFTの効果を明らかにすること。
- マッチングパスLLMのみによる評価では，SFTによる手続き的スキルの向上はモデルサイズ間でほぼ一定であった（0.8Bで+0.070，2Bで+0.040，4Bで+0.075）。
- SFT後の変化はW字型の事前SFTベース軌跡によって特徴づけられ，0.8Bと4Bでは手順が逆効果，2Bでは有効であった。
- SFTは，ベースモデルが手順に苦戦する状況で最も効果を発揮する，すなわちモデルの能力に依存した非対称なパターンが確認された。
オムニモーダル言語モデルの強化：視覚的バイアス除去評価による段階的ポストトレーニング [cs.MM, cs.AI, cs.CV]目的：オムニモーダル言語モデルの性能向上
- 音声，視覚，言語を統合的に理解するモデルは，人間らしいAI実現に不可欠である。
- 既存の評価指標は，視覚情報のみで回答可能な問題を含むため，真の統合理解を測れない。
- 視覚的バイアスを除去した評価により，モデルの能力を正確に評価し，改善を目指す。
- 視覚情報のみで解ける問題を排除した評価データセット「OmniClean」を構築した。
- Qwen2.5-Omni-3Bを基盤とした段階的ポストトレーニング手法「OmniBoost」が有効であることを示した。
- OmniBoostにより，3BモデルはQwen3-Omni-30B-A3B-Instructに匹敵する性能を達成した。
TokenRatio: 割合一致による原理的なトークンレベルの選好最適化 [cs.CL, cs.CL, cs.AI]目的：言語モデルのペアワイズ比較による選好からのアラインメント
- 言語モデルの性能向上には，人間の選好を反映したアラインメントが不可欠である。
- 既存手法では，シーケンス全体を対象とするため，トークンレベルでの最適性が十分に考慮されていない。
- トークンレベルでの選好最適化を，シーケンスレベルの比較のみを用いて実現することを目指す。
- 提案手法TBPOは，既存のシーケンスレベルおよびトークンレベルのベースラインと比較して，アラインメント品質と学習の安定性を向上させた。
- TBPOは，出力の多様性も増加させることに成功した。
- TBPO-QとTBPO-Aという2つの実装が提案され，それぞれ異なるアプローチでベースラインを効率的に学習する。
AI説明可能性のための特徴アソシエーションマップによる新技術 [cs.LG, cs.AI]目的：AI説明可能性の向上
- AIの社会実装が進む中で，その判断根拠の説明は信頼性確保に不可欠である。
- 既存のXAI手法では，特徴量の重要度を正確に捉えきれない場合がある。
- 特徴量間の関連性を考慮したFAMeXアルゴリズムにより，説明精度を高める。
- 提案手法FAMeXは，既存のXAIアルゴリズム(PFI, SHAP)と比較して優れた性能を示した。
- 8つのベンチマークアルゴリズムを用いた実験で，分類における特徴量の重要度評価においてFAMeXがより高い精度を示した。
- FAMeXは，AIシステムの予測を説明する有望なアルゴリズムであると言える。
長期的グロッキングにおけるニューラルネットワークの過学習検出：確率行列理論の利用 [cs.LG, cs.AI]目的：ニューラルネットワークの過学習開始の検出手法
- 深層学習の性能向上は重要だが，過学習の抑制と検出は依然として課題である。
- 過学習の検出は，学習データやテストデータへのアクセスを必要とし，困難である。
- 学習・テストデータを用いずに，過学習の兆候を捉える方法を確立すること。
- 確率行列理論に基づき，層ごとに重み行列をランダム化し，固有値分布の異常（Correlation Traps）を検出する。
- 長期的グロッキングにおける「アンチグロッキング」期に，Correlation Trapsが増加し，テスト精度が低下することを確認した。
- Correlation Trapsの有害性を識別する手法を提案し，大規模言語モデルにおいても同様の現象が確認された。
高次サンプルの圧縮 [cs.LG]目的：高次サンプル圧縮スキームの存在とPAC学習可能性の関係
- 機械学習理論の発展は，複雑なデータやモデルの学習を可能にする基盤である。
- 従来の学習理論では扱いきれない，高次なデータ構造への対応が課題となっていた。
- 高次学習理論の基礎を築き，学習可能性の条件を明確にすること。
- 本研究で高次サンプル圧縮スキームの存在が，高次PAC学習可能性を意味することが示された。
- 高次学習理論における重要な関係性を示唆し，理論的基盤の構築に貢献する。
GRPOとオンポリシー蒸留を超えて：言語モデルのポストトレーニングのための経験的なスパース・トゥ・デンス報酬原理 [cs.LG, cs.AI]目的：言語モデルのポストトレーニングにおける報酬原理の探求
- ラベル付き検証データが不足する状況下では，効率的な学習が重要である。
- スパースな報酬のみを用いた強化学習は，十分な性能を持つモデルでなければ効果を発揮しにくい。
- 教師モデルの性能向上と，その知識を学生モデルへ効率的に転移することを目指す。
- 教師モデルを強化学習で改善し，その知識を蒸留することで，直接学生モデルに強化学習を適用するよりも良い結果が得られた。
- 教師モデルへの強化学習前の蒸留は，効果が低いことが示された。
- 教師のロールアウトによる前方KLウォームアップと学生のロールアウトによるオンポリシー蒸留が，学生側のスパースな強化学習をより効果的にする。
学習の速さと遅さ：継続的に適応するLLMに向けて [cs.LG, cs.AI]目的：LLMの継続的な適応
- LLMは多様なタスクに応用可能だが，性能向上のためには継続的な学習が重要である。
- パラメータ更新による学習は，忘却や柔軟性の低下を引き起こす可能性がある。
- パラメータと文脈を組み合わせた学習により，効率性と汎用性を両立することを目指す。
- 本研究では，LLMのパラメータを「遅い重み」，最適化された文脈を「速い重み」とする学習フレームワークを提案した。
- その結果，FSTは従来の強化学習よりもサンプル効率が最大3倍高く，より高い性能に到達することが示された。
- FSTで学習したモデルは，基盤LLMからのずれが少なく，忘却が軽減され，その後のタスクへの適応能力も向上した。
BioSEN：動物の鳴き声のためのバイオ音響信号強調ネットワーク [cs.SD, cs.LG, q-bio.NC]目的：動物の鳴き声の音響信号強調
- 生物多様性のモニタリングや保全において，音響データの利用は不可欠である。
- 従来の音響強調技術は人間の音声に偏っており，動物の鳴き声への適用が困難であった。
- 動物の鳴き声に特化した信号強調技術を開発し，音響データの解析精度向上を目指す。
- BioSENは，既存の音声強調モデルと同等以上の性能を示すことが確認された。
- 特に計算コストが低く，実用的なバイオ音響信号強調システムとして期待される。
- 本研究は，生物多様性のモニタリングと保全への貢献が期待される。
知覚に基づく自律システムの実行時監視：埋め込み時間論理によるアプローチ [cs.LG]目的：知覚に基づく自律システムの実行時監視手法
- 自律システムの安全性確保は重要であり，リアルタイムでの状態監視が不可欠である。
- 従来の監視手法は，高次元な知覚情報を低次元の論理命題に抽象化する必要がある。
- 埋め込み空間での直接監視により，高水準な知覚概念の監視を可能にすること。
- 埋め込み時間論理(ETL)は，学習された埋め込み空間で直接監視を行う新しい時間論理である。
- ETLは，観測された埋め込みと参照埋め込み間の距離を通して述語を定義し，高水準な知覚概念を捉える。
- 実験により，ETLは真のセマンティクスとの高い一致度を示し，時間的に構成された行動の正確な監視を実現した。
WriteSAE：再帰的状態のためのスパースオートエンコーダ [cs.LG, cs.AI, cs.CL]目的：状態空間およびハイブリッド再帰型言語モデルにおける行列キャッシュ書き込みの分解と編集
- 言語モデルの性能向上には，効率的な状態管理が不可欠であり，キャッシュの最適化が重要な課題である。
- 既存のスパースオートエンコーダは，キャッシュの読み出しに重点を置いており，書き込み処理を直接制御できないという問題がある。
- WriteSAEは，行列キャッシュへの書き込みを直接制御し，状態表現を効率的に編集することで，言語モデルの性能を向上させることを目指す。
- WriteSAEは，従来のSAEではアクセスできないキャッシュ書き込みを分解・編集する初のスパースオートエンコーダである。
- Qwen3.5-0.8B L9 H4を用いた実験で，アトム置換が一致ノームアブレーションを92.4％のケースで上回る結果が得られた。
- WriteSAEは，Mamba-2-370Mにおいても88.1％の置換率を達成し，言語モデルの継続学習における性能向上を示した。
ToolMol：多目的薬物探索のための進化エージェントフレームワーク [cs.LG, cs.NE, q-bio.QM]目的：多目的薬物設計のための進化エージェントフレームワーク
- 創薬は，人々の健康と生活の質を向上させる上で不可欠な分野である。
- 既存のLLMベースの分子生成手法では，無効または低品質な化合物候補が多数生成される。
- 高品質な化合物候補を効率的に生成し，薬物探索の性能を向上させる。
- ToolMolは，既存の手法と比較して，10%以上強力な結合親和性を持つ薬物様化合物を発見した。
- 絶対結合自由エネルギーのゴールドスタンダード評価においても，既存手法を35%以上上回る結果を達成した。
- ツール呼び出しにより，モデルが計画した修飾を忠実に実行し，LLMの強い化学的先験知識を効率的に活用できることが示された。
退屈さを排除した神経データ：データ再利用のための自律型AIのベンチマーク [cs.LG]目的：神経科学データの再利用と統合に関する課題解決
- 神経科学研究の進展には，データの共有と再利用が不可欠である。研究の再現性向上にも繋がる。
- 研究室ごとに異なるデータ形式や実験設定が，データの再利用を困難にしている。標準化も課題が残る。
- 自律型AIを活用し，データ形式の多様性に対応した効率的なデータ再利用を可能にすること。
- 汎用的なコーディングAIは部分的なタスクでは良好な性能を示したが，エラーのないエンドツーエンドの解決策は稀であった。
- AIが犯す誤りの種類と，誤発の原因となるデータセットの特性を分析し，データ共有のベストプラクティスを提案した。
- AIによるエラー検出は信頼性が低く，人間による確認が依然として必要であることが示された。
多段階対話を通じた隠れた意図の解明：Moltbookのモデレーション [cs.AI, cs.SI]目的：多エージェントシステムのモデレーションにおける意図の識別
- 多エージェントシステムは急速に普及しており，安全な運用が不可欠である。
- 従来のコンテンツフィルタリングでは，悪意のあるエージェントの巧妙な行動を見抜けない場合がある。
- エージェントの対話パターンから意図を特定し，悪意のある行動を検知することを目的とする。
- BOT-MODは，ギブスサンプリングを用いてエージェントの意図を多段階対話で探り，識別精度が高いことが示された。
- 実際のコミュニティ構造に基づいたデータセットを用いて評価を行った結果，様々な攻撃設定下で信頼性の高い意図識別が可能であることが確認された。
- 本研究は，オープンな多エージェント環境におけるスケーラブルな意図に基づいたモデレーションの基盤を確立する。
連続分布シフトを伴うタスクフリー継続グラフ学習のベンチマーク：DRIFT [cs.CL, cs.LG]目的：タスクフリー継続グラフ学習におけるベンチマークの構築と評価
- グラフ構造データは現実世界の様々な現象を表現可能であり，その学習は重要である。
- 既存の継続グラフ学習はタスク境界を前提としており，現実の連続的な変化に対応できない。
- 現実的な非定常環境下での継続グラフ学習の課題を明らかにし，新たな研究を促進する。
- 本研究では，現実的な分布シフトを考慮した新しいベンチマーク「DRIFT」を提案した。
- 既存の継続学習手法を評価した結果，タスク境界情報に依存する傾向が明らかになった。
- タスクフリー環境下では性能が大幅に低下することから，継続グラフ学習の新たな研究方向性を示唆した。
グラフ外分布検出における情報分解：トリコンポーネントアプローチ [cs.LG]目的：グラフ外分布検出のための情報分解フレームワーク
- グラフニューラルネットワークはノード分類で広く使われるが，外分布シフトに脆弱である。
- 既存手法は特徴量や構造から不要な信号を学習し，分布変化に弱い。
- ラベル関連情報のみを保持し，不要な情報を除去することで検出性能向上を目指す。
- 提案手法TIDEは，特徴，構造，結合の3つの情報成分を明示的に分解する。
- 理論的・実験的分析により，情報ボトルネック目的関数が標準的な教師あり学習より有効であることが示された。
- 7つのデータセットでの実験により，TIDEがFPR95を最大34％改善し，ID精度を維持することが確認された。
積極的情報探索による文脈学習 [cs.CL, cs.AI]目的：大規模言語モデルの文脈最適化によるタスク適応
- 大規模言語モデルの利用拡大に伴い，実用的なタスクへの適応が重要課題となっている。
- モデルの再学習はコストが高く，新たな情報や専門知識の組み込みが困難である。
- 外部情報源を活用し，効率的な文脈最適化によりタスク適応能力の向上を目指す。
- Wikipedia検索やブラウザツールを単純に追加すると性能が低下する可能性がある。
- 複数の候補文脈を維持・削減する検索ベースの学習手法により，性能が大幅に向上した。
- 翻訳，医療，推論などの多様なタスクで，データ効率性と汎化性能が確認された。
少ないサンプルでの音声単語分類のスケーラビリティ：生成メタ継続学習によるアプローチ [cs.CY, cs.CL, cs.AI]目的：少ないサンプルでの音声単語分類性能の向上
- 音声認識技術は，ヒューマンコンピュータインタラクションや音声アシスタントにおいて不可欠であり，その精度向上が求められる。
- 従来の少ないサンプル学習は，少数のクラス数に限定されており，大規模なクラス分類への拡張が課題となっていた。
- 本研究は，1000クラスという大規模な環境下で，少ないサンプル学習による分類性能の限界を探求し，解決を目指す。
- 生成メタ継続学習(GeMCL)アルゴリズムを用いることで，音声単語分類のスケーラビリティが確認された。
- GeMCLは，安定した性能を示し，HuBERTモデルと並ぶ性能を，より高速かつ効率的に達成した。
- GeMCLは，HuBERTモデルの完全再学習に比べて，2000倍高速に学習を完了し，データ使用量も大幅に削減できた。
言語は音声単語分類に影響するか？ 多言語生成メタ学習アプローチ [cs.CL, cs.AI]目的：音声単語分類におけるメタ学習の有効性検証
- 音声認識技術は，人間と機械の自然な対話を可能にするため，重要な研究分野である。
- 少量のデータで学習するfew-shot学習において，多言語環境下でのメタ学習は未だ十分に検討されていない。
- 多言語音声データに対する汎化性能向上を目指し，生成メタ学習アルゴリズムの適用を試みる。
- 英語，ドイツ語，フランス語，カタロニア語の単言語モデル，およびそれらの組み合わせで学習した結果，多言語モデルが最も良い性能を示した。
- しかし，モデル間の性能差は予想以上に小さく，学習データの総量の方が言語数の多さよりも性能に大きく影響することが示唆された。
- 生成メタ継続学習アルゴリズムは，実用的な応用可能性を持つことが確認された。
ウォーターマーキングは監視の基本要素と捉えられるべきである [cs.CR, cs.AI, cs.CY, cs.LG]目的：生成モデルにおけるウォーターマーキングの監視としての役割
- 生成AIの利用拡大に伴い，生成されたコンテンツの出所追跡が重要になっている。
- 既存研究では，個々のサンプルに対する攻撃に焦点を当て，集約的な監視能力の評価が不足している。
- ウォーターマーキングの監視能力を評価し，集約攻撃に対する脆弱性を明らかにすること。
- ウォーターマーキングは，たとえ情報量の少ないものであっても，複数キー設定下で出所特定を可能にする。
- ウォーターマーキング設計によっては，時間の経過とともに統計的な構造が露呈し，外部からの監視を可能にする可能性がある。
- 出所特定と監視の間に両用性の緊張が存在し，集約的な監視能力を考慮した評価が不可欠である。
多ラベルグラフ情報ボトルネック：表現力とロバスト性を備えたメッセージパッシング [cs.LG, cs.AI]目的：多ラベルグラフにおける表現力とロバスト性を向上させるための情報ボトルネック手法
- グラフニューラルネットワークは，様々なタスクで高い性能を示すが，深層化に伴う情報圧縮の問題がある。
- 多ラベルグラフでは，近傍ノードが共通のラベルを限定的にしか共有せず，ノイズとなるラベル情報が多い。
- ノイズとなるラベル情報を抑制しつつ，予測に必要なラベル信号を保持することで，性能向上を目指す。
- 提案手法MLGIBは，多ラベルメッセージパッシングを，無関係なラベルノイズ下での制約付き情報伝達として定式化する。
- MLGIBは，予測ラベル信号の保持と無関係なノイズの抑制のバランスを取ることで，表現力とロバスト性を両立させる。
- 複数のベンチマークテストにおいて，既存手法と比較して一貫した性能向上を示し，提案フレームワークの有効性と一般性を検証した。
LeanSearch v2：Lean 4 定理証明のためのグローバル前提検索 [cs.IR, cs.AI]目的：Lean 4定理証明におけるグローバル前提検索の性能向上
- 形式的証明支援は数学の自動化に不可欠であり，定理証明器の効率向上が求められている。
- 既存の検索システムは個々の定理やステップに焦点を当て，定理全体を証明するのに必要な前提の集合を特定できない。
- 定理証明に必要な前提の集合を効率的に検索し，証明の成功率向上を目指す。
- LeanSearch v2は，埋め込みと再ランキングを用いた検索パイプラインにより，既存のシステムを上回る性能を達成した。
- 推論モードでは，反復的な検索・反映サイクルにより，真の前提グループの46.1%を10個の候補内に含めることに成功した。
- 固定された証明ループを用いた評価では，LeanSearch v2は他の検索システムよりも高い証明成功率を示し，検索品質が証明生成に影響することを実証した。
EMO：拡張可能なMoEの容易な漸進的学習 [cs.LG]目的：大規模MoEモデルの効率的な学習法
- モデルのスケーラビリティ向上には，計算コストを抑えつつモデルサイズを拡大する必要がある。
- MoEモデルでは，専門家数増加に伴いメモリ・通信コストが増大し，学習効率が低下する。
- 初期段階から過剰な専門家数を割り当てるのではなく，学習の進行に合わせてMoEの容量を拡張する。
- EMOは，固定の専門家数設定と同等の性能を達成しつつ，ウォールクロック効率を向上させる。
- MoEの容量を拡張可能なメモリとして扱い，学習段階を通して専門家プールを段階的に拡大する。
- スケーリング則におけるスパース性を明示的にモデル化し，段階的な計算量最適化されたトークン予算を導出する。
D-VLA：ビジョン-言語-行動モデルのための高並行分散非同期強化学習フレームワーク [cs.AI, cs.RO]目的：大規模なビジョン-言語-行動モデルに対する高並行分散非同期強化学習フレームワーク
- 具現化されたAIの進化により，複雑なタスク実行が可能となり，その重要性が増している。
- 大規模分散環境下では，シミュレーションと深層学習の資源競合がボトルネックとなり，学習効率が低下する。
- シミュレーションと最適化の干渉を解消し，学習効率を向上させるフレームワークを提案する。
- D-VLAは「プレーンデカップリング」により，シミュレーションと最適化を物理的に分離し，干渉を解消する。
- 四スレッド非同期「スイムレーン」パイプラインにより，サンプリング，推論，勾配計算，パラメータ分布を完全に並列化する。
- LIBEROベンチマークにおいて，D-VLAは既存のフレームワークよりも高いスループットとサンプリング効率を示す。
過剰思考の誘発：大規模言語推論モデルに対する階層的遺伝的アルゴリズムに基づくDoS攻撃 [cs.DC, cs.CR, cs.AI]目的：大規模言語推論モデルにおける過剰思考を誘発し，サービス拒否攻撃の可能性を検証すること。
- 大規模言語推論モデルは多段階推論に利用されるが，その計算資源への依存性から新たな脆弱性が生じている。
- 不完全または矛盾した入力に対し，モデルが過剰な推論プロセスを実行し，遅延やエネルギー消費が増大する問題がある。
- 入力問題の論理構造を系統的に変更することで，モデルの過剰思考を誘発し，DoS攻撃の脆弱性を明らかにすること。
- 提案手法は，入力応答の長さを大幅に増幅させ，MATHベンチマークにおいて最大26.1倍の増加を達成した。
- 本手法は，単純な基盤や手動で作成された欠損前提条件と比較して，一貫して優れた性能を示した。
- 小規模なプロキシモデルで生成された敵対的入力は，大規模な商用言語モデルに対しても高い効果を維持することが示された。
インタラクティブ物理シミュレーションのための階層型Transformer事前条件付け [cs.GR, cs.DC, cs.LG, cs.NA, math.NA]目的：リアルタイム物理シミュレーションのためのニューラル事前条件付け手法
- 物理シミュレーションは，工学，科学，エンターテイメントなど広範な分野で不可欠な技術である。
- 従来の事前条件付け手法は，長距離の相互作用を効率的に捉えることが困難である。
- Transformerを用いて，効率的かつ高精度な事前条件付けを実現し，シミュレーション速度を向上させる。
- 提案手法は，弱許容性H行列分割に基づき，O(N)のスケーリングで近似逆計算を実現する。
- コサイン・ハッチンソンプローブ目的関数により，収束に重要なスペクトル部分空間における作用を学習し，条件数を改善する。
- 密度比100:1，N=1,024-16,384の剛性のある多相ポアソンシステムにおいて，GPU JacobiやIC/DILUと比較して大幅な高速化を達成した。
投機的インタラクションエージェント：非同期I/Oと投機的ツール呼び出しによるリアルタイムエージェントの構築 [cs.LG]目的：リアルタイム性を有するエージェントの構築
- 顧客サービスやパーソナルアシスタントなど，エージェントAI技術の需要が高まっている。
- ツール呼び出しを伴う複雑なワークフローは，リアルタイム応答に必要な低遅延性を損なう可能性がある。
- 非同期I/Oと投機的ツール呼び出しにより，リアルタイム性を維持しつつ複雑なタスクを遂行することを目指す。
- 提案手法は，既存のリアルタイムクラウドAPIに対して，わずかな精度低下で1.3～1.7倍の高速化を実現した。
- 小規模なエッジモデル向けに，ストリーミング入力と非同期応答に適応するためのクロックベースの学習手法を開発した。
- Qwen2.5-3B-InstructおよびLlama-3.2-3B-Instructモデルにおいて，複数のツール呼び出しベンチマークで1.6～2.2倍の高速化を達成した。
距離空間における憲法による統治 [cs.MA, cs.AI, cs.DC, cs.GT, econ.TH]目的：デジタルコミュニティおよび組織の憲法による統治の包括的解決策
- 社会選択理論は民主的な意思決定の基礎であり，公平な集約方法が重要視されている。
- 既存の研究では，集約，熟議，修正，合意形成が個別に扱われ，包括的な統治プロセスが欠けていた。
- 距離空間における憲法による統治を通じて，これらの段階を統合し，効率的な意思決定プロセスを確立すること。
- 本研究では，距離空間における憲法による統治という新しい枠組みを提案し，その有効性を示した。
- 一般化された中央値の有用性を示し，多数決における戦略的な虚偽申告の優位性がないことを証明した。
- 選挙，料金設定，予算配分など，7つの典型的な設定における適用可能性を実証した。
クエリ条件付きテスト時自己教師あり学習による大規模言語モデルの性能向上 [cs.CL, cs.AI, cs.LG]目的：大規模言語モデルのテスト時適応
- 大規模言語モデルの活用が広がる中で，推論時の計算資源の効率的な利用が重要である。
- 既存のテスト時最適化手法は，外部データへの依存やクエリ特化性に欠けるという課題がある。
- 入力クエリ自体に含まれる情報を用いて，クエリ固有の適応を可能にすることを目指す。
- QueSTは，入力クエリから構造的に関連する問題・解答ペアを生成し，テスト時にパラメータ効率の良いファインチューニングに利用する。
- 外部データを必要とせず，クエリに特化した適応を可能とする。
- 数学的推論や科学的推論のベンチマークにおいて，既存のテスト時最適化手法を上回る性能を実証した。
幾何学的定義可能性による戦略的PAC学習可能性 [cs.LG, math.AG]目的：特徴量の戦略的変更による分類学習におけるサンプル複雑性の解析
- 個人の特徴量操作が分類に影響を与える設定は，現実の問題に広く関連し，学習理論における重要な課題である。
- 特徴量操作を許容する状況下では，学習可能性が著しく低下する可能性があり，既存研究ではその制御が困難であった。
- 幾何学的定義可能性という構造を導入することで，戦略的行動が学習可能性に与える悪影響を克服し，効率的な学習を可能とすることを目的とする。
- VC次元が1の単純な仮説クラスでも，戦略的行動により学習不可能な状態になる場合があることを示した。
- 仮説クラスとコスト構造が実数の指数形式で一階述語論理によって定義可能な場合，学習可能性が維持されることを証明した。
- 定義する述語の複雑さによってサンプル複雑度が制御され，$\ell_p$距離やWasserstein距離など，広範なクラスとコスト関数を扱える。
MMSkills：汎用ビジュアルエージェントのためのマルチモーダルスキルへ [cs.AI]目的：マルチモーダルスキルによる汎用ビジュアルエージェント能力の向上
- エージェントの能力向上には再利用可能なスキルが重要であり，複雑なタスクを効率的に処理できる。
- 既存のスキルはテキストやコードが中心で，視覚的情報や状況認識といったマルチモーダルな知識が不足している。
- マルチモーダルな手続き的知識を形式化し，視覚エージェントの状況判断と行動選択を支援する。
- MMSkillsフレームワークは，テキスト手順，状態カード，マルチビューキーフレームを組み合わせたコンパクトなスキルパッケージを提案する。
- エージェントの行動軌跡から再利用可能なマルチモーダルスキルを生成するGeneratorを開発し，ワークフローグルーピングなどを活用する。
- 提案手法はGUIやゲームベースのベンチマークで，既存エージェントの性能を向上させ，外部知識の有効性を示す。
大規模言語モデルは高レベルメッセージシーケンスチャートをどのように理解しているか [cs.SE, cs.AI, cs.LO]目的：高レベルメッセージシーケンスチャートのセマンティクス理解度
- ソフトウェア開発ライフサイクル自動化において，LLMの活用が進んでいる。
- LLMが扱うアーティファクトのセマンティクスと整合性が取れているか不明である。
- 高レベルメッセージシーケンスチャートに対するLLMの理解度を評価し，課題を特定する。
- LLMはHMSCのセマンティクスを限定的にしか理解していないことが示された（全体精度約52%）。
- 基本的なセマンティクス概念（イベントと順序）は高い精度（約88%）を示す一方，抽象化と合成，トレースおよびLTSの処理では精度が低い（それぞれ約36%，42%）。
- 特に，LLMは共領域や明示的な因果関係の概念に苦戦し，セマンティクスを保持した変換に活用できなかった。
タンパク質構造アンサンブルのアルファベット：ENSEMBITS [cs.LG, cs.AI, q-bio.BM]目的：タンパク質構造アンサンブルのトークン化
- タンパク質構造は，機能予測や進化解析において重要であり，その表現法が鍵となる。
- 従来のトークン化手法は静的な構造のみを捉え，タンパク質の動的な挙動を反映できていない。
- タンパク質アンサンブルをトークン化し，動的な挙動をモデル化するための新しい手法を開発する。
- ENSEMBITSは，分子動力学シミュレーションデータを用いて学習された新しいトークン化手法である。
- RMSF予測において既存手法を上回り，残基ごとの動きの振幅予測においても高い性能を示した。
- 静的なトークン化手法と同等以上の性能を，酵素クラス分類，遺伝子オントロジー予測，結合部位予測などのタスクで示した。
R-DMesh：動画誘導による3Dアニメーション - 修正された動的メッシュフロー [cs.CV, cs.GR, cs.LG]目的：動画誘導による高精度な4Dメッシュ生成
- コンテンツ作成において，直感的かつ精密な動的アセット制御の重要性が高まっている
- 初期ポーズの不一致が，幾何学的歪みやアニメーション失敗の大きな原因となっている
- 入力メッシュのポーズを動画の初期状態に自動的に変換し，アライメント問題を解決すること
- R-DMeshは，入力メッシュを動画のコンテキストに合わせて「修正」する統一的なフレームワークである
- VAEを用いて，ベースメッシュ，相対的な運動軌跡，そして初期状態へのオフセットを分離して学習する
- 大規模データセットVideo-RDMeshを構築し，ポーズの不一致をシミュレートすることで，ロバストな性能を実証した
Legendre変換による測度の変化 [stat.ML, cs.IT, cs.LG, math.IT, math.PR, math.ST, stat.TH]目的：PAC-Bayes汎化限界の導出
- 機械学習の理論的基盤を強化し，過学習を防ぐために，汎化性能の厳密な評価が不可欠である。
- 従来のPAC-Bayes boundは，経験リスクに関する強い仮定を必要とし，適用範囲が限定されるという課題があった。
- f-divergenceに基づく測度の変化を利用し，より緩やかな仮定の下でのPAC-Bayes boundを確立することを目指す。
- Legendre変換とFenchel-Youngの不等式を組み合わせることで，f-divergenceに基づく測度の変化に関する不等式を導出した。
- この不等式を用いることで，経験リスクに関する仮定を緩和したPAC-Bayes汎化限界が得られることが示された。
- 本研究は，PAC-Bayesian保証が適用できる条件の範囲を拡大し，理論的な機械学習の進展に貢献する。
直交制約下における非滑らかな複合最適化のためのブロック座標降下法 [math.OC, cs.LG, cs.NA, math.NA]目的：直交制約下非滑らかな複合最適化問題へのアプローチ
- 統計的学習やデータサイエンスにおいて，その応用範囲が広い重要な分野である。
- 非滑らかな目的関数と計算コストの高い非凸制約により，最適化が困難である。
- ブロック座標降下法を用いて，計算効率良く問題を解決することを目的とする。
- 提案手法OBCDは実行可能であり，計算負荷が小さいことが示された。
- 行ごとの直交更新が，任意の実行可能初期値から実行可能解に到達可能であることが証明された。
- OBCDによって生成される極限点は，標準的な停留点よりも強い最適性を持つ。
分布主成分自動符号化器 [math.LO, cs.CC, stat.ML, cs.LG, stat.ME]目的：データの分布を維持した次元削減手法
- 高次元データの解析には，効率的な次元削減が不可欠である。計算コスト削減や可視化に貢献する。
- 従来の次元削減手法では，再構成されたデータが元のデータと同一の分布を持たない場合が多い。
- 本研究は，再構成データと元のデータの分布を一致させる次元削減手法を提案する。
- 提案手法である分布主成分自動符号化器(DPA)は，低次元潜在変数から元のデータ分布を再構築する。
- 気候データ，シングルセルデータ，画像データを用いた実験で，DPAが元の分布を保持できることを示した。
- DPA埋め込みは，降水量の季節サイクルや遺伝子発現の細胞型など，データの意味のある構造を保持することが示された。
有限次元拡散写像の振る舞いの良さ [stat.ML, cs.LG, math.ST, stat.TH]目的：有限次元拡散写像の幾何学的性質
- 多様体解析において，高次元データの低次元表現は重要な課題である。
- 拡散写像は強力な手法だが，理論的な保証が不十分な点が課題である。
- 有限次元拡散写像の近似誤差と幾何学的精度を理論的に評価すること。
- 拡散写像における密度の一様性，多項式近似，リーチなどの幾何学的性質が保持されることが示された。
- 埋め込み誤差の上界が$O\left((\frac{\log n}{n})^{\frac{1}{8d+16}}\right)$ であることが厳密に証明された。
- 推定された接空間と真の接空間の誤差が定量的に評価され，幾何学的精度の特徴付けが提供された。
非凸かつ確率的滑らかな最適化のための射影勾配法：新たな複雑性と自動調整ステップサイズ [math.OC, cs.LG, stat.ML]目的：非凸関数に対する近似停留点探索
- 機械学習等の分野で，非凸最適化問題の効率的な解法が求められている。
- 従来の射影勾配法では，ステップサイズの調整やLipschitz定数の設定が難しい場合がある。
- 過去の反復情報からLipschitz定数を推定し，自動的にステップサイズを調整することで，問題を解決する。
- 本研究では，従来の射影勾配法の反復計算量を改善し，近似停留点を効率的に探索できることを示した。
- 自動調整ステップサイズを用いることで，勾配のLipschitz定数を事前に指定する必要がないことを示した。
- 確率的設定においても，新たな複雑性評価を確立し，効率的な解法を提案した。