arXiv雑要約
AI - 2026/05/08 公開
最適化手法選択のための貪欲アラインメント原理 [cs.LG, stat.ML]目的：最適化手法選択とハイパーパラメータ調整
- 機械学習モデルの学習効率向上は重要であり，最適化手法はその鍵となる。
- 最適な最適化手法やハイパーパラメータの探索は計算コストが高く，困難である。
- 勾配と更新の整合性を利用し，効率的な最適化手法選択を目指す。
- 勾配の自己相関と最適化手法のフィルタ間の内積を最大化する貪欲アラインメント原理を提案した。
- この原理に基づき，SGD+MomentumとAdam/AdamWに対する動的モーメンタム選択ルールを導出した。
- 画像分類，言語モデル，Vision Transformerのファインチューニングで，提案手法が固定ハイパーパラメータに匹敵またはそれを上回る性能を示した。
ProAgent：オンデマンド感覚的コンテキストを活用したプロアクティブLLMエージェントシステム [cs.AI, cs.CL, cs.HC]目的：日常生活におけるプロアクティブなLLMエージェントシステムの実現
- LLMエージェントは，ユーザー支援の可能性を秘めている。より自然で効果的な支援のためには，コンテキストの活用が不可欠である。
- 既存研究は，短期的なタスクや画面上のコンテキストに限定され，継続的な環境認識と支援が課題となっていた。
- ProAgentは，オンデマンド感覚的コンテキストを利用することで，継続的な環境認識とプロアクティブな支援を両立することを目指す。
- ProAgentは，オンデマンド階層型知覚により，低コストなコンテキストと高精度な知覚を統合し，継続的な環境認識を実現した。
- 実験結果から，ProAgentは最先端のベースラインと比較して，プロアクティブな予測精度が最大27.7%向上し，誤検出が20.5%低減することが示された。
- ユーザー調査では，参加者の85%がProAgentに満足し，日常生活での利用を希望する意向を示した。
RobustSora：堅牢なAI生成動画検出のためのウォーターマーク除去ベンチマーク [cs.DC, cs.HC, cs.CV, cs.AI]目的：AI生成動画の堅牢な検出のための評価基準
- AI生成動画の普及は，情報保全とデジタル信頼性に新たな課題をもたらしている。
- 既存の評価基準は，ウォーターマークの影響を考慮しておらず，検出器が生成アーチファクトではなくウォーターマークパターンを学習している可能性が残る。
- ウォーターマークの影響を分離し，検出器の真の性能を評価すること。
- AI生成動画からウォーターマークを除去した場合，検出精度が-9.4%から+1.6%変動する（平均6.6%）。
- 偽のウォーターマークを付加した認証動画に対する誤検知率を評価した結果，検出器はウォーターマークに依存していることが示唆された。
- Sora 2は，PikaやOpen-Sora 2と比較して検出精度の低下が大きく，ウォーターマークの顕著さが依存度の主な要因であることが示された。
SoccerMaster：サッカー理解のためのビジョン基盤モデル [cs.CV, cs.AI]目的：サッカーの視覚的理解に関する多様なタスクの統合
- スポーツ分析の高度化に貢献するため，サッカー特有の複雑な視覚情報処理が重要である。
- 従来のタスク固有のモデルは，汎用性に欠け，データ効率が低いという課題があった。
- 単一のモデルで多様なタスクを効率的に処理し，サッカー理解の精度向上を目指す。
- SoccerMasterは，サッカーに特化した最初のビジョン基盤モデルであり，複数のタスクを統合的に処理する。
- SoccerFactoryというデータキュレーションパイプラインを開発し，大規模な学習データセットを構築した。
- 多様な下流タスクにおいて，タスク固有のモデルを上回る性能を実証した。
SuperWing：データ駆動型空力設計のための包括的な遷音速翼データセット [cs.LG, physics.flu-dyn]目的：データ駆動型空力設計のための遷音速翼形状と流れ場のデータセット
- 空力設計の効率化が求められる。計算コストが高い従来の設計手法の代替手段となる。
- 三次元翼形状に対する汎用的な予測モデルの構築が，データセットの不足により進んでいない。
- 多様な翼形状と流れ場データを提供することで，汎用的な予測モデル開発を支援する。
- SuperWingデータセットは，4,239種類の翼形状と28,856個の数値流体計算解を含む。
- Transformerモデルによる検証で，表面流れを高精度に予測し，2.5ドラッグカウントの誤差を実現。
- SuperWingで事前学習したモデルは，DLR-F6やNASA CRM等の複雑な翼形状に対しても高い汎化性能を示した。
離散型設備配置最適化の加速：ハイブリッドCDCLおよびCP-SATアーキテクチャ [cs.AI]目的：離散型設備配置問題における最適解探索
- 製造業等におけるコスト削減や効率化の要であり，その最適化は経済的利益に直結する。
- 制約密度が増加すると，MILPやCPなどの既存手法では計算規模が指数関数的に増加する。
- CDCLの高速な充足性判定能力を活用し，最適化探索を効率化する新たな手法を提案する。
- CDCLは最適化には不向きだが，高い制約密度下での充足性判定において，他の手法を大幅に上回る性能を示す。
- CDCLによる迅速な実行可能性ヒントをCP-SATに注入するハイブリッドアーキテクチャが，最適化を加速させることを確認した。
- SAT駆動の剪定により，高速な充足可能性判定と証明された最適性のギャップを埋めることが可能となった。
概念志向型強化学習：数学的推論における定義と応用の乖離を埋める [cs.AI, cs.LG]目的：数学的推論における定義と応用の乖離
- 大規模言語モデルの数学的推論能力向上は，教育分野や科学研究の発展に不可欠である。
- 既存の強化学習手法は，最終的な正解率向上に偏りがちで，概念理解に基づく推論能力の向上に繋がりにくい。
- 概念を明示的に制御可能な信号として活用し，概念理解に基づく推論能力を向上させる。
- COREは，概念と問題が結びついたクイズを生成し，推論過程に概念情報を注入することで，モデルの概念理解を促進する。
- 軌道置換，順KL制約，GRPOなどの手法を用いて，概念に沿った推論を強化し，高い汎化性能を実現する。
- COREは，定義の再述能力と概念に基づいた問題解決能力の間の乖離を埋め，真の概念理解に繋がる。
MediEval：LLMにおける患者コンテキストと知識に基づいた推論のための統一医療ベンチマーク [eess.SY, cs.SY, cs.CL, cs.AI]目的：大規模言語モデルの医療分野における信頼性と安全性の評価
- 医療分野へのLLM応用が期待されるが，信頼性と安全性が課題となっている。
- 既存の評価では，知識の正確性検証と患者コンテキストの整合性が不十分である。
- LLMの知識に基づいた推論と患者コンテキストの整合性を体系的に評価する。
- MediEvalは，MIMIC-IV電子カルテとUMLSなどの知識ベースを連携させたベンチマークである。
- 既存のLLMに，幻覚や真実の転倒といった致命的な問題が頻繁に存在することが判明した。
- CoRFuという新しいファインチューニング手法により，F1スコアが大幅に向上し，安全性も高まった。
学習可能な基底関数を用いた深層ベイズ強化学習における一般化線形モデル [cs.CL, cs.IR, cs.LG, cs.AI, cs.RO]目的：深層ベイズ強化学習におけるタスクパラメータとモデルノイズの推論
- 強化学習は，環境との相互作用を通して最適な行動戦略を獲得する手法であり，ロボティクスや自動運転などに応用が期待されている。
- 従来のベイズ強化学習は，遷移モデルや報酬モデルの形式が既知であることを前提としており，複雑な環境への適応が困難である。
- 学習可能な基底関数を用いた一般化線形モデルを導入することで，タスク表現の曖昧さを解消し，汎化性能を向上させる。
- 提案手法GLiBRLは，タスクパラメータとモデルノイズに関する厳密なベイズ推論と周辺尤度評価を可能にする。
- GLiBRLは，MuJoCoおよびMetaWorldベンチマークにおいて，最先端のMeta-RL手法と比較して，最大1.8倍の性能向上を達成した。
- タスク表現間の$\mathcal{L}_2$距離とタスクサンプルのカーネルベースの対応との間の閉じた形式の関係が示された。
SANet：6Gにおけるクロスレイヤー最適化のための意味認識型エージェントAIネットワークフレームワーク [cs.AI, cs.NI]目的：無線ネットワークにおける意味認識型エージェントAIネットワーク（SANet）アーキテクチャの提案
- 次世代6Gネットワークでは，複雑な環境下でのリアルタイムなネットワーク管理と最適化が不可欠である。
- 分散型フレームワークであるエージェントAIネットワークでは，エージェント間の目的の衝突が課題となる。
- エージェント間の目的の衝突を考慮した，パレート最適解の探索を目指す。
- SANetは，ユーザーの意図を推論し，ネットワークの各層に適切なエージェントを自動的に割り当てる。
- モデル分割と共有（MoPS）フレームワークにより，大規模モデルを効率的に構築・展開できる。
- 提案手法は，既存手法と比較して最大14.61%の性能向上を達成し，FLOPs要件は44.37%に抑制された。
融合か混乱か？マルチモーダル複雑性は必ずしも必要ではない [cs.LG]目的：マルチモーダル学習における複雑性の影響
- 多様なデータ活用が重要視され，異なるモダリティの情報を組み合わせることで性能向上が期待されている。
- マルチモーダル特有の方法が必ずしも性能向上に繋がるとは限らず，過度な複雑化が問題となっている。
- 標準化された評価を通じて，マルチモーダル学習における手法の信頼性と再現性を高める。
- 大規模な実験の結果，マルチモーダル複雑性の増加は，データの有効な融合よりも混乱を招くことが多いことが示された。
- 複雑なアーキテクチャは，単一モダリティのベースラインやSimBaMMよりも信頼性が低いことが判明した。
- トップティア論文でも方法論的な欠陥が確認され，標準化された評価の必要性が強調された。
多エージェントAIシステムへの人間における共謀防止メカニズムのマッピング [cs.IR, cs.MA, cs.AI, cs.CY]目的：多エージェントAIシステムにおける共謀戦略
- AIの自律性が高まるにつれ，人間社会で長年観察されてきた共謀戦略がAIにも現れることが示唆されている。
- 人間社会で培われた共謀防止メカニズムをAI環境に適応させる方法が不明確である。
- 人間における共謀防止メカニズムをAIシステムに適用するための方法を明らかにすること。
- 本研究では，制裁，寛大措置，監視，市場設計，ガバナンスなど，人間における共謀防止メカニズムの分類を開発した。
- 各メカニズムに対し，多エージェントAIシステムへの介入アプローチを提案した。
- エージェントへの帰属問題，アイデンティティの流動性，協力と共謀の区別，敵対的適応といった課題を指摘した。
解釈可能性を重視した二目的最適化：精度と説明可能性の整合 [cs.LG, cs.AI]目的：精度と説明可能性を両立させるための解釈可能性重視二目的最適化フレームワーク
- 機械学習モデルの応用拡大には，高い精度に加え，モデルの判断根拠の説明可能性が不可欠である。
- 既存手法では，精度と説明可能性を同時に最適化することが困難であり，トレードオフが生じやすい。
- 精度を維持しつつ，モデルの解釈性を高めるための新しい最適化手法を開発すること。
- 本研究では，特徴量の重要度階層をDAGとして表現し，TIGを用いて特徴量の重要度を評価するIGBOフレームワークを提案。
- タスク勾配と解釈可能性勾配を組み合わせる幾何学的射影Pを提案し，パレート停留点への収束を証明。
- TIG計算における分布外問題に対処するため，Optimal Path Oracleアーキテクチャの設計を概説。
事前条件付き勾配降下法の豊富な学習領域における収束挙動について [cs.CL, cs.SI, math.CO, cs.LG]目的：ニューラルネットワークの学習における，事前条件付き勾配降下法（PGD）のスペクトルバイアスとグロッキング現象への影響の解明
- ニューラルネットワークは強力だが，学習のメカニズムは未だ完全には解明されていないため，更なる理解が求められる。
- スペクトルバイアスは学習の初期段階で低周波成分を優先し，微細な構造の学習を遅らせる可能性がある。
- PGDを用いてスペクトルバイアスを軽減し，グロッキング現象に伴う学習の遅延を抑制することを目指す。
- 理論的および実験的結果から，PGDがスペクトルバイアスに関連する問題を軽減できることが示された。
- PGDは，NTK（Neural Tangent Kernel）領域におけるパラメータ空間の均一な探索を可能にすると考えられる。
- グロッキングは，NTK領域から豊富な学習領域への遷移時の過渡的な現象であることが示唆された。
CSMCIR：構成画像検索のためのCoT強化対称的アライメントとメモリバンク [cs.CV, cs.AI]目的：構成画像検索における性能向上
- 画像検索は，大量の画像データから目的の画像を効率的に見つけ出すため，重要な技術である。
- 既存手法では，異なるモダリティ間の表現空間の断片化により，検索精度が制限されている。
- モダリティ間の表現空間を統一し，より効率的な画像検索を実現することを目指す。
- 提案手法CSMCIRは，Multi-level Chain-of-Thoughtプロンプティングと対称的二重塔アーキテクチャを組み合わせ，表現空間のアライメントを改善する。
- メモリバンク戦略により，高品質な負例サンプルを提供し，モデルの学習状態との整合性を維持する。
- 4つのベンチマークデータセットで最先端の性能を達成し，トレーニング効率も向上している。
ニューラルネットワークにおける整合的な説明 [cs.LG, cs.CV, stat.ML]目的：ニューラルネットワークの説明の整合性
- AIの意思決定の重要性が増す中で，その根拠の説明は信頼を得る上で不可欠である。
- 既存の説明手法は，モデルの真の推論を反映している保証がない。
- モデルの予測を直接構築する説明手法を確立し，信頼性向上を目指す。
- 提案手法PiNetsは，画像分類・セグメンテーションにおいて，説明の忠実性(MARS)を示すことができた。
- PiNetsは，深い学習の予測力と線形モデルの解釈可能性を両立させることで，信頼できるAIの基礎を提供する。
- データ駆動型科学的発見への応用の道を開く。
Sensoformer：物理構造化ランダム化による可変ジオメトリセンサーセットにおけるロバストなシミュレーションから現実への推論 [cs.LG, physics.geo-ph]目的：疎な，アドホックなセンサーアレイからの高次元物理状態の推論
- 科学AIや産業用IoTにおいて，物理現象の理解と制御は不可欠である。そのため，センサーデータの活用が重要となる。
- センサーの配置が不規則，可変であり，現実世界とシミュレーションの間に大きな乖離が存在する点が課題である。
- 物理構造化ランダム化により，現実世界でもロバストに機能する物理演算子の学習を目指す。
- Sensoformerは，複雑な現実世界のデータセットにおいて，最先端の精度を達成した。
- Message Passing Neural Networks (MPNNs)やNeural Operatorsといった既存手法と比較して，空間的な疎性と混合モダリティ入力への対応で優位性を示した。
- アテンションメカニズムにより，最適な実験設計の原理が自律的に発見され，情報ボトルネックを克服するためのセンサーの優先順位付けが行われた。
Owen-Shapley Policy Optimization：生成型検索LLMのための原理的な強化学習アルゴリズム [cs.HC, cs.AI]目的：生成型検索LLMにおける強化学習のためのOwen-Shapley Policy Optimizationフレームワーク
- LLMを強化学習で利用することで，パーソナライズされた推薦が可能となり，その需要は高まっている。
- 従来の強化学習手法では，報酬が疎であり，どのトークンが貢献しているかを特定することが困難である。
- トークンの貢献度を評価し，報酬を再分配することで，より効果的な学習を目指す。
- Owen-Shapley Policy Optimizationは，Shapley-Owen帰属を用いてトークンごとの貢献度を評価し，報酬を再分配する。
- これにより，セグメントレベルでの評価が可能となり，最適なポリシーを維持しながら学習を進めることができる。
- Amazon ESCIとH&M Fashionデータセットでの実験により，ベースラインと比較して一貫した性能向上と，分布外の検索器に対する頑健性が示された。
エッジ推論におけるチャネル誘起劣化のPAC-ベイズ分析 [cs.IT, cs.LG, math.IT]目的：エッジ推論におけるチャネル誘起劣化の評価と限界
- エッジ学習は，分散型デバイスで推論を行う新たなパラダイムであり，低遅延やプライバシー保護に貢献する。
- 無線チャネル経由での推論では，訓練時に未知のチャネル状態が性能劣化を引き起こす。
- 訓練時の情報不足による性能劣化を理論的に評価し，改善策を提案することを目指す。
- 本研究では，無線チャネルの確率的性質を考慮した無線汎化誤差を定義し，PAC-ベイズフレームワークを用いてその上限を導出した。
- 導出された上限に基づき，チャネル情報を活用した訓練アルゴリズムを提案し，その有効性をシミュレーションによって確認した。
- 提案手法は，様々なチャネル環境下でエッジ推論の性能とモデルのロバスト性を向上させる。
SGDの疑わしいアラインメント：詳細なステップサイズ条件分析 [cs.LG]目的：病的な条件の最適化下におけるSGDのアラインメント現象の分析
- 機械学習における最適化は重要であり，特に大規模データセットでは効率的な手法が求められる。
- SGDは広く用いられるが，ヘッセ行列のスペクトルが不均衡な場合，最適化が不安定になる問題がある。
- ステップサイズ選択が，アラインメント現象にどのように影響するかを明らかにすることを試みる。
- 本研究では，低アラインメント領域において，適応的な臨界ステップサイズがアラインメント減少と増加を区別することを示す。
- 十分な病的な条件の下では，バルク空間への投影が損失を減少させ，主要空間への投影が損失を増加させるステップサイズが存在する。
- 定数ステップサイズと大きな初期値の場合，SGDは明確な二相挙動，すなわち初期のアラインメント減少段階と高アラインメントでの安定化を示すことが証明された。
効率的なCASHのための大規模言語モデルとベイズ最適化の木構造相乗効果 [cs.LG]目的：機械学習におけるアルゴリズム選択とハイパーパラメータチューニングの自動化
- 機械学習の専門知識を必要とせず，自動化が進むことで，より多くの人が活用できるようになる。
- ベイズ最適化は初期段階で性能が不安定になりやすい。大規模言語モデルも高次元な構造化CASH空間では汎化性能が低い。
- モンテカルロ木探索を用いて，アルゴリズム選択，ハイパーパラメータ調整，ベイズ最適化と大規模言語モデルの相乗効果を実現し，性能向上を目指す。
- 提案手法LB-MCTSは，104のAMLBデータセットにおいて，ベイズ最適化，大規模言語モデル，ハイブリッド手法を上回る性能を示した。
- モンテカルロ木探索を共有状態として利用し，ベイズ最適化と大規模言語モデルの能力を統合することで，探索効率を高めている。
- 信頼度を考慮した提案ポリシーにより，探索の過程で大規模言語モデルからベイズ最適化へ動的に切り替えることが可能となった。
HERMES：効率的なストリーミング動画理解のためのKVキャッシュを階層型メモリとして [cs.CV, cs.AI, cs.CL]目的：ストリーミング動画の効率的な理解
- 動画理解技術は，多様な応用分野において重要性が増しており，その発展が求められている。
- 既存のモデルは，リアルタイム性，精度，メモリ消費量のバランスを取ることが困難である。
- HERMESは，限られた計算資源下で，ストリーミング動画のリアルタイムかつ高精度な理解を実現する。
- HERMESは，KVキャッシュを階層型メモリとして捉えることで，効率的なストリーミング動画理解を可能にする。
- 追加計算なしでリアルタイム応答を保証し，既存の最先端技術と比較してTTFTを10倍高速化する。
- 動画トークン数を最大68%削減しても，全てのベンチマークにおいて同等以上の精度を達成し，ストリーミングデータセットでは最大11.4%の改善を示す。
固定された心理的ペルソナを超えて：状態が特性を上回り，言語モデルは状態を認識しない [cs.CL, cs.AI, cs.HC]目的：言語モデルにおけるユーザーの心理的プロファイルの状態と特性の分解
- 対話システムにおいて，ユーザーの個性や感情を理解することは，より自然で効果的なコミュニケーションを実現する上で重要である。
- 既存のペルソナデータセットは，ユーザーの固定的な特性のみを捉えており，状況に応じた変化を無視している。
- 本研究は，状況に応じたユーザーの心理的プロファイルを捉え，言語モデルの応答改善を目指す。
- Redditユーザーのデータを分析した結果，ユーザーの心理的差異の74%は状況によるものであり，特性によるものは26%に過ぎないことが明らかになった。
- 大規模言語モデルは，ユーザーの状況を考慮せず，特性のみに基づいて応答を生成する傾向があることが示された。
- 報酬モデルはユーザーの状態に反応するものの，モデルによって評価が不一致であり，一貫性に欠けることが確認された。
因果探索のための動的専門家誘導モデル平均化 [cs.LG, cs.AI]目的：因果探索におけるモデル平均化手法
- 因果推論は，科学，医療，政策決定など，様々な分野で重要な役割を果たす。
- 最適な因果探索アルゴリズムの選択は困難であり，手法の組み合わせが有効である。
- 専門家の知識を活用し，不確実性の高い状況下での因果探索の精度向上を目指す。
- 提案手法は，多様な因果探索アルゴリズムを組み合わせることで，従来の基盤手法よりも優れた性能を示す。
- エッジの存在と方向を区別することで，データ駆動型探索と専門家の知識を効果的に統合する。
- 限られた専門家の知識を活用し，アルゴリズム間の意見の不一致が大きい場合に選択的に専門家に質問する。
視覚的地点目標ナビゲーションのための効率的な昆虫に着想を得た手法 [cs.AI, cs.RO]目的：視覚的地点目標ナビゲーションのための昆虫に着想を得たモデル
- ロボットの自律的な移動を実現するためには，環境認識と経路計画が不可欠である。
- 既存のナビゲーション手法は，計算コストが高く，現実的な環境でのロバスト性に課題がある。
- 昆虫の脳構造に着想を得たモデルで，計算効率とロバスト性を両立したナビゲーション手法を開発する。
- 提案手法は，従来の最先端モデルと同等の性能を，大幅に少ない計算コストで実現した。
- シミュレーション環境でのテストにより，現実的な環境下でも高いロバスト性を持つことが示された。
- 本研究は，昆虫の脳構造の知見をロボット工学に応用する新たな方向性を示唆する。
SwitchCodec：高忠実度ニューラル音声符号化のための適応残差エキスパート疎量化 [cs.HC, cs.CL, cs.IR, cs.NI, cs.SD, cs.AI]目的：高忠実度ニューラル音声符号化のための適応残差エキスパート疎量化手法
- 音声圧縮技術は，効率的なデータ伝送と保存に不可欠であり，その重要性は増している。
- 従来の残差ベクトル量子化は，固定されたコードブック数を用いるため，多様な音声コンテンツに対応しきれない。
- 音声コンテンツの変動に応じて最適な量子化器を選択し，ビットレートとコードブック容量を分離することを目指す。
- SwitchCodecは，動的にルーティングされるエキスパート量子化器を用いることで，共有量子化器と組み合わせ，圧縮効率を向上させている。
- 推論時にアクティブなエキスパート量子化器数を調整する可変ビットレート機構により，再学習なしでマルチビットレート運用を実現している。
- 客観評価と主観評価の両方において，既存のベースラインを上回る性能を示している。
LLM-AutoDP：モデルファインチューニングのためのLLMエージェントによる自動データ処理 [cs.LG, cs.AI, cs.CL]目的：モデルファインチューニング用データセットの自動処理戦略の生成と最適化
- LLMを特定分野で活用するには，専門領域データのファインチューニングが不可欠である。
- データには低品質なサンプルが多く含まれ，効果的なデータ処理が課題となる。
- 人間の介入や生データへのアクセスなしに，データ処理を自動化することを目指す。
- 提案手法LLM-AutoDPは，LLMをエージェントとして活用し，データ処理戦略を自動生成・最適化する。
- 生データで学習したモデルと比較し，80%以上の勝率を達成した。
- 既存のAutoMLベースラインと比較して約65%の勝率を達成し，処理時間も最大10倍短縮された。
ロバストで非滑らかな分散学習のための高速かつ効率的なゴシップアルゴリズム [cs.LG, cs.AI, stat.ML]目的：リソース制約のあるエッジデバイスにおけるロバストかつ非滑らかな分散学習
- エッジデバイスの普及に伴い，分散学習の重要性が増している。
- 既存の分散学習手法では，データ破損に対するロバスト性が課題である。
- 非滑らかな目的関数に対する効率的な分散最適化手法の開発。
- 提案手法AsylADMMは，既存の手法よりも複雑な非滑らか問題に対して高速に収束する。
- AsylADMMは，ノード次数に比例するメモリを必要とせず，メモリ制約のある環境でも実用化可能である。
- 本研究で提案するゴシップフレームワークは，ロバストで非滑らかな分散学習への新たな道を開く。
文脈における因果的摂動マップの学習：MapPFN [cs.LG]目的：生物学的文脈への適応を可能にする摂動効果推定法のメタ学習
- 生物システムにおける効果的な介入計画には，特定のメカニズムを特定する治療効果モデルが不可欠である。
- 単一細胞摂動データセットは限られた文脈に限られ，既存手法では推論時に新たな介入証拠を活用できない。
- MapPFNは，事前データで学習し，実験系列から摂動後の分布を予測することで，未知データへの適応を目指す。
- MapPFNは，事前学習されたモデルとして，新たなデータセットや遺伝子セットに推論時に適応する。
- ゼロショット学習において，MapPFNは実データで学習したモデルと同等の性能で，発現変動遺伝子を特定する。
- ファインチューニングにより，様々な生物学的文脈での予測精度がさらに向上する。
FRISM：部分空間レベルのモデル統合による視覚言語モデルへの微細な推論能力の注入 [cs.CV, cs.LG]目的：視覚言語モデルへの推論能力注入手法
- 視覚言語モデルの性能向上は，画像とテキストの理解を深める上で不可欠である。
- 既存手法では，推論能力と視覚能力のバランスを取ることが難しい場合がある。
- 部分空間レベルでのモデル統合により，推論能力を向上させつつ視覚能力を維持すること。
- FRISMは，大規模推論モデルのタスクベクトルを特異値分解(SVD)し，各部分空間のスケーリング係数を学習することで，微細な推論能力注入を実現する。
- ラベルを用いない自己蒸留学習戦略を採用し，視覚言語モデルの知覚データセットを用いて双方向の最適化を行う。
- 多様な視覚言語推論ベンチマークにおいて，FRISMは推論能力を効果的に向上させ，視覚能力を維持することを示した。
分割型LLMサービングにおける理論的に最適なAttention/FFN比率 [cs.LG, cs.AI]目的：分割型LLMサービングにおけるAttention/FFN比率の最適化
- LLMの利用拡大に伴い，計算資源の効率的な利用が重要になっている。
- AttentionとFFNの資源配分が不適切だと，処理のボトルネックが生じやすい。
- 確率的ワークロード下における最適なAttention/FFN比率の導出を目指す。
- Attention/FFNの分離構成(AFD)における最適な資源配分比率を解析的に導出した。
- ワークロード統計量θに基づいて，Attention，通信，FFNのボトルネックごとに比率が変化する規則性を明らかにした。
- シミュレーション結果との比較で，提案手法の精度が10%以内であることを確認した。
検証不可能な学習のための対話：メタ評価を通じた自己進化型LLM [cs.CL, cs.AI]目的：LLMの自己進化
- LLMは創造性，対話，倫理的推論など，正解データがないタスクでの学習が課題である。
- LLMを評価者として用いる方法は，評価者の質に限界があり，評価バイアスが残存する。
- 評価者自身の質を評価・改善するメタ評価により，LLMの生成能力と判断能力を同時に向上させる。
- CoNLは，生成，評価，メタ評価を統合したマルチエージェント自己対話フレームワークである。
- 批判が他者の解法改善に役立つかどうかで批判の質を測定し，メタ評価のための明示的な教師信号を生成する。
- 様々なベンチマークにおいて，CoNLは自己報酬ベースラインよりも一貫して性能が向上し，安定した学習を維持する。
大規模言語モデルの先読み混合精度推論：LAMP [cs.LG, cs.NA, math.NA]目的：大規模言語モデルにおける効率的な推論手法
- AI技術の発展において，計算効率が重要であり，特に大規模言語モデルのローカル環境での利用が求められている。
- 従来の推論手法では，精度の低下を招く可能性があり，計算精度と効率のトレードオフが存在する。
- Transformer推論における計算精度を維持しつつ，計算コストを削減する手法を提案し，実用的な性能向上を目指す。
- 提案手法LAMPは，Transformerの計算グラフにおいて，重要な部分のみを高精度で計算することで，計算効率を向上させる。
- GPT-2モデルを用いた実験により，LAMPはわずかな再計算率で，推論精度を最大で2桁向上させることが示された。
- LAMPは，混合精度計算と適応的な精度選択を組み合わせることで，Transformer推論の精度と効率の両立を可能にする。
LLMにおける堅牢な継続的アンラーニング：忘却するための適合 [cs.CL, cs.AI, cs.CR, cs.LG]目的：大規模言語モデルからの機密，著作権，または有害なコンテンツの記憶の削除
- LLMの能力向上に伴い，プライバシー保護や法的要件を満たすデータ削除の重要性が高まっている。
- 既存のアンラーニング手法は単発の削除に焦点を当てており，継続的な削除要求への対応が課題である。
- 継続的な削除要求に対応し，性能劣化や記憶の回復を防ぐための堅牢なフレームワークの構築を目指す。
- 提案手法\fitは，冗長性フィルタリング，適応的なアルゴリズム選択，ターゲット層の特定を通じて，継続的な更新を安定化させる。
- 新たに開発したベンチマークPCHは，個人情報，著作権，有害コンテンツの削除評価を統一的に行うことを可能にする。
- 実験により，\fitは最先端のアンラーニング性能とユーティリティの維持において優れた結果を示し，ダウンストリームタスク性能も維持されることが確認された。
E-mem：LLMエージェントメモリのためのエピソード的コンテキスト再構成に基づくマルチエージェントアプローチ [cs.AI]目的：LLMエージェントのメモリにおける，エピソード的コンテキスト再構成
- LLMエージェントの高度な推論能力の実現には，長期間にわたる厳密な論理的整合性の維持が不可欠である。
- 既存のメモリ前処理法は，文脈を破壊的に失い，深い推論に必要な整合性を損なう。
- エピソード的コンテキスト再構成により，LLMエージェントの論理的整合性と推論能力を向上させる。
- E-memは，複数の補助エージェントが非圧縮メモリコンテキストを維持し，中央エージェントが全体的な計画を調整する異種階層構造を採用する。
- LoCoMoベンチマークにおいて，E-memはF1スコアで54\%を超え，最先端のGAMを7.75\%上回り，トークンコストを70\%以上削減した。
- 従来の受動的な検索とは異なり，E-memは補助エージェントにコンテキストを意識した証拠を抽出させ，集約前にローカルな推論を可能にする。
BioAgent Bench：バイオインフォマティクスのAIエージェント評価スイート [cs.AI]目的：バイオインフォマティクスのAIエージェントの性能と堅牢性の評価
- バイオインフォマティクスは，生命科学研究において不可欠であり，データ解析の効率化が求められている。
- AIエージェントの性能評価は困難であり，客観的な指標と評価環境の確立が課題となっていた。
- AIエージェントのバイオインフォマティクスにおける実用性と限界を明らかにし，改善の方向性を示す。
- BioAgent Benchは，RNA-seq，変異検出，メタゲノミクスなどのタスクを含む評価データセットとスイートである。
- 最先端のエージェントは，複雑なバイオインフォマティクスパイプラインを構築し，最終成果物を安定的に生成できることが示された。
- ただし，入力の摂動に対する頑健性が課題であり，パイプライン構築の正確性とステップレベルの推論能力は必ずしも一致しないことが明らかになった。
- 機密性の高いデータを扱う場合，オープンウェイトモデルがクローズドソースモデルよりも適している可能性がある。
Leviathan：言語モデルにおける入力と出力表現の分離 [cs.RO, cs.CL, cs.AI, cs.LG]目的：言語モデルにおける入力埋め込みと出力射影の分離
- 言語モデルは自然言語処理の基盤であり，その性能向上は様々な応用への影響が大きい。
- 従来の言語モデルでは，入力埋め込みと出力射影が結合されており，それぞれの最適化が妨げられる場合がある。
- トークン表現と語彙識別を分離し，より効率的な学習と性能向上を目指す。
- Leviathanは，入力埋め込み行列を学習された埋め込みベクトル化(LEV)に置き換えることで，パラメータ増加を抑制しつつ性能を向上させた。
- 実験の結果，LeviathanはThe Pileデータセット上で，従来のモデルよりも低い検証パープレキシティを示し，学習に必要なトークン数も減少した。
- 特に，稀なトークンにおいて大幅な改善が見られ，連続的なパラメータ化の有効性が示された。
生物学的設計のための純粋なエージェント駆動型ブラックボックス最適化 [cs.LG]目的：生物学的設計におけるブラックボックス最適化手法
- 創薬やタンパク質工学など，生物学分野の課題解決に不可欠な最適化技術である。
- 既存手法は構造データに偏り，科学文献の活用が不十分である。
- 言語モデルを活用し，知識と制約を組み込んだ最適化を目指す。
- PABLOは，GuacaMolや抗菌ペプチド最適化タスクにおいて，最先端の性能を達成した。
- 既存手法と比較して，サンプル効率と目的関数値が大幅に向上した。
- 最適化ループ全体でLLMを活用するにも関わらず，トークン使用量は競合的であった。実験では，PABLO最適化ペプチドが薬剤耐性病原菌に対して強い活性を示した。
継続的なタスク変動下におけるライフロングラーニング配送計画 [cs.LG, cs.AI]目的：継続的なタスク変動下におけるニューラルネットワークを用いた配送計画問題の解決
- 配送計画問題は物流効率化に不可欠であり，経済活動を支える重要な課題である。
- 既存手法では，タスクの変動を考慮した継続学習が十分ではなく，性能劣化が懸念される。
- タスク変動下でも効率的に学習し，過去の知識を保持することで，配送計画の最適化を目指す。
- 提案手法DREEは，限られた学習資源下で新たなタスクを効果的に学習し，既存の知識を保持する。
- 実世界の物流データと合成データを用いた実験により，DREEが汎化性能の向上に貢献することが示された。
- DREEは様々なニューラルネットワークベースの配送計画ソルバーに適用可能である。
方言LLM：標準アメリカ英語を超えた方言認識型対話生成フレームワーク [cs.CL, cs.AI]目的：多様な英語方言に対応した高品質な対話データ生成
- 英語話者の80%以上が標準アメリカ英語を使用せず，方言の多様性が存在する。
- LLMは非標準方言を正確に認識できず，ステレオタイプな応答を生成する傾向がある。
- LLMが多様な方言を理解し，適切な応答を生成するための基盤を提供する。
- DialectLLMは，語彙，正書法，形態統語論の3つの要素を含む，9つの英語方言に対応する対話データセットを構築した。
- 標準アメリカ英語から方言への変換ルールを言語学者と協力して設計し，信頼性を検証した。
- 既存のLLMは方言識別や応答生成において低い精度しか示さず，特にカナダ英語などの主要な方言で課題があることが示された。
PlatoLTL：LTL命令における記号の一般化学習によるマルチタスク強化学習 [cs.LG]目的：マルチタスク強化学習における記号の一般化
- マルチタスク強化学習は，訓練時に未見のタスクを実行できる汎用的な方策を学習することが課題。
- 既存手法はLTL仕様を跨いだ一般化は可能だが，LTLにおける命題（記号）の未知語彙への一般化は困難。
- 未知の命題語彙に対してもゼロショットで一般化可能な方策学習を目指す。
- PlatoLTLは命題を原子述語のパラメータ化されたインスタンスとしてモデル化することで，関連する命題間の共有構造を学習する。
- 提案アーキテクチャはパラメータ化された命題を埋め込み，LTL式を表現する。
- 様々な困難な環境において，ゼロショットでの一般化が実証された。
フロンティアAIにおけるハイパーデータ化が持続可能性コストに与える影響 [cs.CL, cs.CY, cs.AI]目的：フロンティアAIにおける大規模データの環境，社会，経済的コストの分析
- AI技術の発展には大量のデータが不可欠であり，その重要性はますます高まっている。
- データ収集・処理に伴う資源消費や，格差の拡大といった問題点が顕在化している。
- ハイパーデータ化のコストを可視化し，持続可能なAI開発のための提言を行う。
- 大規模データセット分析から，ハイパーデータ化が資源消費を増加させるだけでなく，環境負荷，労働リスク，表現上の偏りをグローバルサウス，不安定なデータワーカー，マイノリティ文化へと再分配していることが明らかになった。
- データProvenance，資源意識，所有権，開放性，節約性，標準化を含むData PROOFS提言を通じて，これらのコストを軽減することを提案する。
- 本研究は，フロンティアAIの基盤となるデータの見過ごされがちなコストを明らかにし，研究コミュニティや社会全体の議論を促進することを目的とする。
忘却の錯覚：初期潜在変数最適化による学習解除された拡散モデルへの攻撃 [cs.LG, cs.AI, cs.CV, cs.CY]目的：テキストから画像への拡散モデルにおける有害コンテンツ生成問題に対する，学習解除手法の脆弱性評価
- 拡散モデルは強力だが，悪用される可能性があり，公共の利益を脅かすため，安全性の確保が重要である。
- 学習解除は有効な対策だが，知識が潜在的に残存し，再活性化される「忘却の錯覚」という課題がある。
- 拡散モデルのノイズ分布のずれを指標とし，学習解除の強度と脆弱性を定量的に評価する手法を開発する。
- 学習解除は言語と知識の間のマッピングを部分的に破壊するだけであり，知識は潜在的に残存する。
- 提案手法IVOは，初期潜在変数を最適化することで，学習解除されたモデルのノイズ分布を復元し，潜在的な知識を再活性化する。
- IVOは既存の攻撃手法を上回り，現在の学習解除メカニズムの根本的な欠陥を明らかにする。
Fed-Listing：グラフニューラルネットワークにおける連合ラベル分布推論 [cs.LG]目的：グラフニューラルネットワークにおける連合学習環境下でのラベル分布推論
- ユーザープライバシー保護とデータ共有の両立が重要視される連合学習の発展。
- 連合学習環境下での勾配情報の漏洩によるプライバシー侵害のリスク。
- グラフニューラルネットワークにおけるラベル分布推論という未解決のプライバシー問題。
- 本研究では，勾配情報のみを用いてラベル統計を推論する新たな攻撃手法Fed-Listingを提案。
- 実験の結果，Fed-Listingは既存手法よりも高い精度でラベル分布を推論可能であることが示された。
- 既存の防御機構では，モデルの性能を著しく低下させない限り，Fed-Listingの攻撃性能を抑制することは困難である。
DisRFM: 構造を保持したグラフドメイン適応のための極座標リーマン流マッチング [cs.LG]目的：グラフドメイン適応における分類器の性能向上
- グラフ構造データは，様々な分野で重要な役割を果たしており，その活用が期待されている。
- 異なるドメイン間でのグラフデータの適応は困難であり，既存手法では構造の劣化や最適化の不安定性が課題である。
- 構造を保持しつつ，より安定したドメイン適応を実現し，グラフ分類器の汎化性能を高めることを目指す。
- DisRFMは，リーマン幾何学とフローベースの輸送を用いて，構造劣化と最適化不安定性の問題を解決する。
- グラフ表現を定曲率多様体上に埋め込み，極座標表現を用いることで，トポロジーとクラスセマンティクスを効果的に保持する。
- 実験結果から，DisRFMが最先端の手法と比較して，様々なドメインシフトにおいて優れた性能を示すことが明らかになった。
ChronoSpike：動的グラフのための適応型スパイクグラフニューラルネットワーク [cs.LG]目的：動的グラフ表現学習における性能向上
- グラフ構造データは，ソーシャルネットワークや分子構造など，様々な分野で重要である。
- 既存手法は，計算コストと表現力のトレードオフ，勾配消失問題，メモリ消費量の問題がある。
- スパイクニューラルネットワークの効率性と表現力を活かし，動的グラフ学習の課題を解決する。
- ChronoSpikeは，3つの大規模ベンチマークで，既存の最先端手法を平均2.0%（Macro-F1）および2.4%（Micro-F1）上回る性能を示した。
- 学習速度は，リカレント手法と比較して3〜10倍高速であり，グラフサイズに依存しない定数105Kパラメータで実現された。
- 膜電位の有界性，勾配の流れの安定性，BIBO安定性に関して理論的な保証が提供され，疎な時間的受容野と学習された優先効果が示された。
SMI：信頼性の高い学習済みモデルの監査のための統計的メンバーシップ推論 [cs.LG, cs.AI, cs.CR, cs.CV, math.OC]目的：機械学習システムの忘却権を施行するための機械的アンラーニングの監査手法
- 機械学習モデルのプライバシー保護は重要であり，データ主体の権利擁護に不可欠である。
- 既存のメンバーシップ推論攻撃は，忘却の評価に誤りをもたらす可能性がある。
- 忘却率の正確な推定と，監査の信頼性評価を可能にする新しい手法を開発すること。
- 本研究では，学習済みモデルの監査のための新しいフレームワークである統計的メンバーシップ推論（SMI）を提案する。
- SMIは，メンバーシップ推論攻撃に必要なシャドウムーデルの訓練を不要とし，計算コストを削減する。
- 実験結果から，SMIは既存のメンバーシップ推論攻撃ベースラインよりも一貫して優れた性能を示すことが示された。
スケーラブルな音声解説品質管理に向けて：人間とVLM評価者の評価に関するワークフロー [cs.HC, cs.AI]目的：音声解説の品質評価ワークフロー
- 視覚障がい者にとって，デジタル動画は重要な情報源であり，音声解説はその利用を可能にする。
- 音声解説の品質管理は重要だが，長編動画に対する体系的な評価方法が不足している。
- 専門家による評価基準に基づき，VLMと人間の評価者の能力を比較評価する。
- 高性能なVLMは，人間の評価者と同程度の精度で評価基準を満たす可能性があることが示された。
- しかし，VLMの推論は人間の回答者と比較して信頼性が低く，具体的な改善点を見出しにくい。
- VLMと人間の専門家による連携が，スケーラブルな音声解説品質管理への道を開く。
モーメンタム付きシングルタイムスケールActor-Criticの最適サンプル複雑性 [cs.LG, stat.ML]目的：ε-最適グローバルポリシーの獲得
- 強化学習は，複雑な意思決定問題を解決するための強力な手法である。
- 従来のActor-Criticアルゴリズムは，サンプル効率が低いという課題がある。
- サンプル複雑性を改善し，より効率的な強化学習を実現すること。
- 割引マルコフ決定過程におけるシングルタイムスケールActor-Criticアルゴリズムのサンプル複雑性が$O(\epsilon^{-2})$であることが示された。
- STORM（確率的再帰モーメンタム）を用いることで，批判者（critic）の更新における分散を削減している。
- 最新のサンプルのバッファを維持し，そこから均一にサンプリングすることで，非定常な占有分布による分散の増加に対応している。
DOGMA：データ中心型シングルセルトランスクリプトミクス解析への構造情報の組み込み [cs.LG, cs.AI, q-bio.GN]目的：シングルセルトランスクリプトミクス解析のためのデータ構造再構築と意味的拡張
- シングルセルトランスクリプトミクスは，細胞レベルでの遺伝子発現を解析し，生命現象の理解に不可欠である。
- 既存手法は細胞間関係やデータの品質問題を考慮せず，生物学的知識の活用が不十分である。
- DOGMAは，生物学的事前知識を用いてデータ構造を再構築し，解析精度と効率を向上させることを目指す。
- DOGMAは，Cell Ontologyや系統構造を活用し，生物学的に根拠のある細胞グラフを構築する。
- Gene Ontologyを用いて遺伝子レベルでの意味的ギャップを埋め，機能的な事前知識を組み込む。
- 複数の種と組織を用いたベンチマークテストで，DOGMAは高いロバスト性とサンプル効率，そして低い計算資源消費量を示した。