arXiv雑要約
AI - 2026/08/05 公開
継続学習における軌道誘導型忘却・回復ネットワーク [cs.LG, cs.AI]目的:継続的なモデルアンラーニングにおける影響排除
- 機密データ保護の重要性が増しており,モデルからの完全な削除が求められている。
- 逐次的なアンラーニングは,過去の知識の再浮上やモデル能力の低下を引き起こす。
- アンラーニング効果と実用性の維持を両立する手法の開発が課題である。
- 提案手法TFR-Netは,チャネルレベルのリスクを追跡し,持続的な影響を与えるチャネルのみを抑制する。
- 休眠チャネルを再活性化することでモデル能力を回復させ,実用性の低下を抑制する。
- 4つのデータセットでの実験により,TFR-Netが既存手法よりもアンラーニング効果と実用性のバランスに優れることが示された。
DigitCode:解剖学的単位による手の動きの象徴的トークン化 [cs.RO, cs.AI]目的:手の動きの象徴的表現
- 人間の活動において,手の動きは詳細な情報を含むため,その表現方法は重要である。
- 既存の手の表現は連続的であり,指や姿勢を象徴的に扱うことが困難である。
- 解剖学的単位に基づいた象徴的表現により,この問題を解決する。
- DigitCodeは,既存手法の象徴的表現の量子化誤差を4分の3削減することに成功した。
- 解剖学的階層構造を活用することで,再構成精度を調整可能にした。
- 指単位のトークン化により,連続表現では困難な生成手の修正やロボットへの再ターゲットが可能となった。
平均性能を超える:LLM支援進化探索における動的インスタンスクラスタリングと特殊化アルゴリズム設計 [cs.AI]目的:LLM支援進化探索におけるアルゴリズム設計の信頼性向上
- 自動アルゴリズム設計は,複雑な問題解決に不可欠であり,効率的な探索手法が求められている。
- 既存手法は平均性能に偏り,特定のインスタンス群への対応が弱く,実用性に課題がある。
- インスタンスの特性に応じたアルゴリズム設計により,汎化性能とロバスト性を高めることを目指す。
- DyCAは,インスタンスをクラスタリングするプロセスを進化探索に組み込み,特徴量を用いずに構造を考慮したアルゴリズムポートフォリオを構築する。
- 実験の結果,DyCAは最先端のLESベースラインを上回り,テールロバスト性を平均15.2%,全体性能を7.1%向上させた。
- ヘッド性能を維持しつつ,多様なインスタンス分布に対するアルゴリズムの信頼性を高めることに貢献する。
DP-MemView:長期LLMエージェントにおける属性レベルのトランスクリプトプライバシーのためのメモリインターフェース [cs.CR, cs.CL, cs.LG]目的:長期LLMエージェントにおける属性レベルのトランスクリプトプライバシー
- LLMエージェントの長期記憶はパーソナライズに不可欠。しかし,プライバシー保護が課題となる。
- 記憶に基づく応答の繰り返しにより,明示的に述べられなくても保護された属性が漏洩する可能性がある。
- 属性レベルでのトランスクリプトプライバシーを確保し,情報の漏洩を防ぐことを目指す。
- DP-MemViewは,差分プライバシーを適用したメモリインターフェースであり,応答LLMに生のメモリではなく,選択されたビューを公開する。
- 属性ごとに台帳を保持し,選択がプライバシー予算を超えないように制限することで,安全性を確保する。
- 実験結果から,DP-MemViewはトランスクリプトの識別能力を抑制しつつ,パーソナライズと応答品質を維持できることが示された。
修正後拡散:ノイズ除去軌道の展開前に概念を分離する [cs.CV, cs.AI]目的:テキストと画像拡散モデルにおける概念の構成生成の忠実度向上
- 画像生成AIは急速に発展しており,その応用範囲は広がり続けている。しかし,複雑な概念の組み合わせにおいて課題がある。
- 複数の概念を扱う際,生成された画像で概念が誤って省略されたり,混ざり合ったりする問題が発生する。
- 初期段階での概念配置の調整により,生成画像の概念構成の正確性を高めることを目指す。
- 本研究では,学習を必要としないフレームワーク「Rectify-then-Diffuse (RTD)」を提案し,初期概念配置を修正することで構成生成の精度向上を実現した。
- 提案手法は,概念マップ間のオーバーラップを分離する「Soft-Overlap Disentanglement (SOD)」と,勾配を正規化する「Isotropic Gradient Rectification (IGR)」から構成される。
- 実験結果から,RTDは最先端の性能を示し,AE-BenchにおいてBLIP-VQAを45.8%,ImageRewardを19.6%改善し,CO3より2.3倍高速に動作することが確認された。
検証可能なメモリ:大規模言語モデルエージェントのための局所的・グローバル検証器を用いた統一的なメモリ管理の学習 [cs.AI]目的:大規模言語モデルエージェントにおけるメモリ管理の統一的ポリシー
- LLMエージェントの性能は,知識の保持,文脈の制御,過去の情報の再利用に大きく依存する。
- 既存手法では,長期記憶と短期記憶が別々に最適化され,個々のメモリ決定に対する報酬が弱い。
- 局所・グローバル検証器を用いた学習により,メモリ操作の質を向上させ,エージェントの性能を最大化する。
- VerMemは,長期記憶,アクティブ文脈,エピソード履歴を別々の状態として表現し,単一のメモリ操作ポリシーで制御する。
- 局所検証器は実行可能なメモリ遷移を評価し,グローバル検証器は証拠の一貫性とタスク完了後の整合性を評価する。
- 5つのベンチマークと2つのLLMバックボーンで,VerMemは報告された指標の大部分で最良の結果を達成し,強力なメモリベースラインを常に上回った。
構造を意識した方策学習による導入文生成のための学術論文執筆ワークフローの内部化 [cs.CL, cs.AI]目的:学術論文の導入文生成に関するワークフロー
- 学術論文は研究成果の発表において不可欠であり,質の高い導入文は読者の理解を深める上で重要である。
- 大規模言語モデルによる導入文生成は,背景,課題,手法,貢献を整合的に記述する必要があり,困難が伴う。
- 複数段階のプロンプトやエージェントワークフローに頼らず,単一のパスでワークフローを内部化することで,効率性と堅牢性を高める。
- 提案手法StructPOは,明示的な段階トークンによって制御される単一パスの方策で,学術論文執筆のワークフローを内部化する。
- 構造を意識したクレジット割り当てにより,局所的な段階の品質とグローバルな整合性を分離し,改善を促す。
- 実験の結果,StructPOは意味的整合性,構造的合理性,推論効率において既存手法を上回り,Qwen3-32BでGPT-5.1に匹敵する性能を示した。
H&E画像AI誘導空間プロテオミクスによるトリプルネガティブ乳癌の再発リスクニッチの解明 [cs.AI, q-bio.QM]目的:トリプルネガティブ乳癌における再発リスクニッチの特定
- 乳癌は依然として主要な癌であり,再発予測の精度向上は臨床的課題である。
- H&E画像からは再発リスクを予測できるが,その根底にある分子メカニズムは不明である。
- AIによる再発リスク予測と空間プロテオミクスを統合し,分子状態と病理形態の関連性を解明する。
- AIが生成した再発リスクヒートマップと空間プロテオミクスを統合することで,再発リスクの高い領域と低い領域が同一腫瘍内に共存することが示された。
- 再発リスクの高い領域では細胞周期やゲノム維持に関連するタンパク質が,低い領域では免疫活性化に関連するタンパク質が豊富に存在することが確認された。
- 13タンパク質からなる複合スコアは,再発フリー生存率との関連性を示し,H&E画像由来のリスクスコアとの統合により予測精度が向上した。
モバイル検索拡張生成のための軽量チャンク選択 [cs.LG, cs.AI]目的:モバイル環境における検索拡張生成の効率化
- LLMの知識獲得の課題を解決し,より正確な応答を可能にするため,外部知識の活用が重要である。
- モバイルデバイスの計算資源・メモリ制約から,検索された大量の文脈情報を扱うことが困難である。
- 検索されたチャンクの中から,最も根拠となるものを効率的に選択することを目指す。
- 提案手法は,クエリ意図,MoEルーティング信号,チャンク埋め込みを組み合わせることで,証拠との適合性を高める。
- 軽量な多層パーセプトロンを用いて,チャンク埋め込み空間での証拠プロトタイプとの類似度によりチャンクを選択する。
- 実験により,提案手法が既存手法よりも平均2.5%高い精度で証拠となるチャンクを選択することが示された。
UniGD:産業検索のための統一生成・識別フレームワーク [eess.SY, cs.SY, cs.AI]目的:産業検索における検索性能と効率の向上
- 産業検索広告は,収益に直結する重要な分野であり,その最適化が求められている。
- 既存手法では,生成モデルと識別モデルを分離しており,計算コストが高く,性能が制限される。
- 生成モデルと識別モデルを統合し,効率的かつ高精度な検索システムを構築すること。
- UniGDは,Kuaishou検索広告プラットフォームにおいて,広告収益を5.78%向上させた。
- 推論遅延を33%削減し,識別関連性の推定精度も向上した。
- NQ320KおよびMS300Kのデータセットにおいても,既存の生成検索ベースラインを上回るRecall@10の性能を示した。
マルチ講義教育推論のための証拠に基づいたマルチモーダル知識グラフ構築 [cs.AI, cs.CL]目的:マルチ講義教育推論のための知識グラフ構築手法
- 教育分野における知識の構造化は,学習効果の向上や個別最適化された教育の実現に不可欠である。
- 従来のテキストのみの検索では,講義に含まれる多様な情報(視覚情報,時間的順序など)が十分に活用されない。
- 講義内の様々な情報源(音声,スライド,図など)から得られる証拠に基づいて,知識グラフを構築することで,より正確な情報抽出を目指す。
- 提示されたパイプラインは,3,118フレーム,756のトランスクリプトセグメント,559のアンカーを処理し,1,022の概念と312の関係を抽出した。
- 構築された知識グラフは,172の標準化された概念と282の関係を含み,エンドポイントの90.38%を網羅している。
- 予備的な3つの質問による検索テストでは,トップ1およびトップ3の精度と平均トップ5のリコールが100%を達成した。
ロールプレイング言語エージェントに対する多エージェント評価を用いた敵対的ストレステスト [cs.AI]目的:ロールプレイング言語エージェントの敵対的ストレス評価
- 医療支援や顧客サポート等,高リスクな応用分野で言語エージェントの利用が増加しており,その安全性確保が重要である。
- 既存の評価手法は静的なベンチマークや単一ターンでのプロンプトに依存し,長期的な対話における累積的な問題点の検出が困難である。
- 多エージェント対話を通じて,言語エージェントの脆弱性を系統的に発見し,安全性を向上させることを目指す。
- 本研究で開発した多エージェント評価プラットフォームは,単一戦略のテストでは見過ごされるような失敗モードを明らかにした。
- 3つのLLMファミリーにわたる実験で,Authority ChallengeとEmotional Manipulationが最も効果的な攻撃戦略であることが示された。
- 自動評価は人間の判断と高い一致度を示し($r = 0.82$, Fleiss' $\kappa = 0.71$),AIの安全性向上に貢献する。
マルチハイパーグラフにおけるEFX配分 [cs.GT, cs.AI]目的:異質な単調価値を持つエージェント間での,分割不可能な資源の公正な配分
- 公正な資源配分は,社会的な公平性を実現するための重要な研究テーマである。
- 資源配分における「羨望フリー」性の保証は困難であり,特に単調価値関数を持つエージェントに対しては未解決の問題が多い。
- ハイパーグラフ構造を利用し,EFX配分の存在可能性と効率的な構築法を明らかにすること。
- 周長が4以上のハイパーグラフにおいて,一般的な単調価値を持つエージェントに対して常にEFX配分が存在し,多項式時間で構築可能であることを示した。
- 周長が4以上のマルチハイパーグラフにおいても,特定の条件を満たす頂点が存在する場合,EFX配分が存在し,擬似多項式時間で構築可能であることを示した。
サロゲート置換はPHI検出可能性を維持する:複数検出器による等価性研究 [cs.AI, cs.LG]目的:構造を保持した仮名化における,PHI検出器の検出能力
- 医療テキストデータの利用促進のため,個人情報保護とデータ活用を両立させる重要性が高まっている。
- 構造保持型仮名化では,生成されるサロゲートデータがPHI検出器の性能に影響を与える可能性がある。
- サロゲート置換がPHI検出器の性能に及ぼす影響を,統計的に厳密に評価することを目的とする。
- 11の検出器,7のベンチマーク,7言語(1,750文書)にわたる評価の結果,マスクされた範囲における再現率は76.1%から74.9%にわずかに低下した。
- この変化は,±2ポイントの範囲内で統計的にゼロと等価であり,検出器のランキングは維持された。
- 性能低下は,PHI検出能力の低下ではなく,不適切なサロゲート(切り捨て,文脈喪失など)に集中していた。
生成AIモデルに対する属性ベースの検出不能なウォーターマーキング [cs.CR, cs.AI]目的:生成AIモデルが生成したコンテンツの識別
- 生成AIの利用拡大に伴い,コンテンツの出所検証が重要になっている。
- 既存のウォーターマーキング技術では,検出キーの悪用によるリスクが存在する。
- 属性に基づいたポリシー制御により,安全なウォーターマーキングを実現する。
- 本研究では,生成AIモデルに対する初の属性ベースウォーターマーキングを提案する。
- 検出キーは属性に関するポリシーによって制約され,ポリシー外のコンテンツは検出されない。
- 提案手法の有効性と実用性をプロトタイプ実装と実験によって検証した。
多様性は曖昧性ではない:オープン領域QAのための正確かつ効率的な曖昧性検出に向けて [cs.AI]目的:オープン領域QAにおけるクエリの曖昧性の検出
- オープン領域QAは,幅広い知識に基づいて質問に答えるため,その応用範囲は広い。
- 既存手法は,回答の多様性と曖昧性を混同し,誤った予測につながる場合がある。
- 論理的矛盾に基づく曖昧性検出により,より正確かつ効率的なシステムを構築すること。
- 提案手法ARCHIVEは,軽量な早期終了エンコーダと衝突推論モジュールを組み合わせることで,高い精度と効率を実現した。
- 新たに構築したQuireQAベンチマークにおいて,ARCHIVEは競合手法を上回り,F1-ambとF1-unambをそれぞれ最大10.4%,21.6%改善した。
- ARCHIVEは,最良の競合手法と比較して16倍高速に動作することを確認した。
NeuroMosaic:3D MRIと臨床記録に基づく分子情報に基づいた膠質腫推論のための解剖学に基づいたマルチモーダル大規模言語モデル [cs.NE]目的:膠質腫の推論に関する分子情報を考慮したマルチモーダル大規模言語モデルの構築
- 神経腫瘍学において,画像と臨床情報を統合した高度な診断支援が求められている。
- 既存のモデルでは,MRI画像の情報が十分に活用されず,根拠に基づいた診断が困難である。
- 解剖学的な情報を活用することで,より正確で根拠のある膠質腫の診断と治療計画の支援を目指す。
- NeuroMosaicは,3D MRI画像を解剖学的にインデックス化された地域トークンに変換し,臨床記録や分子概念と連携させる。
- 4つの膠質腫コホートにおいて,内部サブタイプのマクロF1スコアが0.827,外部マクロF1スコアが0.784,0.761,0.742を達成した。
- UPenn-GBMデータセットでは,最良のベースラインと比較して3.6%の改善が見られ,IDH,1p/19q,MGMTのAUROCも高い値を示した。
腫瘍ボード:縦断的神経腫瘍学のための証拠に基づくマルチエージェント意思決定支援 [cs.AI]目的:神経腫瘍学における意思決定支援システム
- 神経腫瘍学は,患者の生命に関わる重要な分野であり,高度な専門知識が求められる。
- 複数の専門分野からの情報を統合し,最適な治療方針を決定することが困難である。
- 証拠に基づいた意思決定を支援し,治療の質と安全性を向上させることを目指す。
- TumorBoardは,共有された縦断的症例状態と監査可能な主張・証拠台帳を基盤とするマルチエージェントシステムである。
- 360症例の隠れたベンチマークにおいて,F1スコア0.772,証拠包含率0.914を達成し,既存のシステムを上回った。
- 安全ガバナーにより,有害な推奨を7.8%削減し,安全性の高い意思決定を支援することが示された。
シャープネスアウェア最小化の暗黙的な平坦性バイアス:定量的なハイパーパラメータ境界を持つ線形安定性解析 [cs.LG]目的:シャープネスアウェア最小化における暗黙的な平坦性バイアスの定量的なメカニズムの解明
- 深層学習モデルの汎化性能向上は重要な課題であり,平坦な最小値への収束がその鍵となる。
- シャープネスアウェア最小化のハイパーパラメータ設定,特に摂動半径ρの適切な選択が難しい。
- 摂動半径ρ,バッチサイズ,学習率の関係性を定量的に明らかにし,安定性と局所性のトレードオフを解明する。
- 線形安定性解析により,線形的に安定な最小値における最大ヘッセ行列固有値の上限を定量的に導出した。
- バッチサイズの減少,学習率の増加,摂動半径の拡大は,より平坦な最小値への収束を促進する。
- テイラー局所性制御SAM (TLC-SAM)により,観測されたテイラー近似誤差に基づいてρを調整することで,固定半径SAMよりもヘッセ行列の最大固有値をさらに小さくできる。
拒否が安全に見えるとき:安全ガードモデルにおける拒否の合図の抜け道 [cs.DB, cs.AI]目的:安全ガードモデルにおける拒否の合図による不正な判定回避の実態解明
- 有害コンテンツのフィルタリングにおいて,安全ガードは不可欠であり,その性能向上が求められている。
- 安全ガードの学習データに偏りがあり,それが誤った判定に繋がる可能性がある。
- 拒否の合図を利用した不正な判定回避を検出し,その影響を軽減すること。
- 学習データにおいて,有害なプロンプトに対する応答に拒否表現がほぼ常に無害なラベルと共存していることが判明した。
- この偏りにより,有害な応答に拒否の合図を挿入することで,ガードの判定が有害から無害に変わってしまう「抜け道」が存在することが示された。
- スパース補完型マスキングにより,この抜け道に関連する注意機構とMLPニューロンを抑制し,拒否の合図による誤検出を約79%削減することに成功した。
テスト時に大規模視覚言語モデルを整列させる:軌跡誘導構造化サンプリングアプローチ [cs.CL, cs.AI]目的:大規模視覚言語モデルのテスト時整列手法
- 視覚情報と言語を理解するAIの発展は,人間とAIの円滑なコミュニケーションに不可欠である。
- 既存の整列手法は計算コストが高く,訓練時の目的と推論時の分布の乖離が課題である。
- 推論時に軌跡誘導構造化サンプリングを用いて,視覚的根拠に基づいた論理的な整合性を高めることを目指す。
- 本手法は,推論時に軌跡学習アルゴリズムを用いて構築された推論メモリバンクを活用し,グローバルな構造的推論事前情報に基づき,多目的最適化を行う。
- 複数のマルチモーダル推論データセットにおいて,高い精度向上を達成し,計算コストの増加も抑制された。
- 従来のポストトレーニング整列手法と比較して,複雑な視覚推論タスクにおいて,スケーラブルで効果的な代替手段となり得る。
EduClaw-Bench:シミュレーション学習者を用いた教育用LLMエージェントの長期評価ベンチマーク [cs.CY, cs.AI, cs.CL]目的:教育用LLMエージェントの長期的な教育効果の評価
- 教育現場におけるAI活用が重要視される中,LLMを用いた個別最適化された学習支援への期待が高まっている。
- 既存のLLMは単一タスクに特化しており,学習者の長期的な成長を支援する継続的な関係を評価するベンチマークが存在しない。
- 本研究は,学習者の知識習得を追跡し,長期的な学習効果を評価できるベンチマーク環境を構築し,AIチューターの性能向上を目指す。
- EduClaw-Benchは,30日間の継続的な学習関係をシミュレーションし,知識トレースに基づいた学習者の知識習得度を評価する。
- エージェントの評価軸は,学習効果,応答性,有用性に加え,GagnéとRosenshineのカリキュラム設計軸の2つで構成される。
- ベースモデルとエージェントの組み合わせが教育の質に大きく影響し,長期的な学習支援は容易ではないことが示された。
DRIFT:フローマッチングVLAのノイズ除去軌道を敵対的パッチ攻撃で逸脱させる [cs.CV, cs.LG]目的:フローマッチングVLAに対する敵対的パッチ攻撃手法の開発
- ロボットの自律制御において,視覚と言語情報を統合したVLAモデルの重要性が増している。
- 既存のVLAモデルは攻撃に強いとされていたが,多段階のノイズ除去過程を考慮した攻撃が不足していた。
- 本研究は,ノイズ除去軌道を攻撃することで,VLAモデルの脆弱性を明らかにし,安全性評価に貢献する。
- 提案手法DRIFTは,ロボットのグリッパーに配置する単一の普遍的な敵対的パッチを用いて,オフザシェルフのポリシーを攻撃する。
- 入力空間での最適化における勾配の競合により,最初のノイズ除去ステップのみを攻撃することが,より強力かつ低コストであることが示された。
- pi0およびpi0.5において,DRIFTはLIBEROの4つのスイートでほぼ全ての解けるタスクを,既存手法よりも大幅に上回る性能で失敗させる。
エージェントオペレーティングシステム(AOS):分散型エージェントシステムの参照オペレーティングアーキテクチャ [cs.AI]目的:分散型エージェントシステムのための安定したオペレーティングアーキテクチャの確立
- 大規模言語モデルの普及により,AIは予測サービスから継続的なシステムへと進化している
- 既存の技術は実行を改善するものの,意図の管理や権限の維持といったアーキテクチャが不足している
- 異種コンポーネントを連携させ,ガバナンス,信頼性,可観測性を実現するアーキテクチャを提案する
- 本研究では,エージェントオペレーティングシステム(AOS)というベンダー中立の参照アーキテクチャを提案する。
- AOSは,制御・ガバナンスプレーンとランタイム・コーディネーションプレーンの2つの内部プレーンで構成される。
- AOSは,既存のフレームワークやインフラストラクチャを置き換えるものではなく,それらを統合するアーキテクチャとして機能する。
自己教師あり表現による生成的データセット蒸留 [cs.CV, cs.AI]目的:データセット蒸留における生成モデルの指針
- 大規模データセットの効率的な利用が求められているため,データセットの圧縮技術が重要である。
- 既存手法はランダム初期化ネットワークを対象としており,事前学習済みモデルへの適用が課題である。
- 事前学習済みモデルの表現空間を考慮したデータセット蒸留手法を開発し,性能向上を目指す。
- 自己教師あり学習の幾何構造を拡散モデルの指針に変換するフレームワーク(SRG)を提案した。
- SRGは,クラスごとのプロトタイプを構築し,表現空間におけるプロトタイプのアライメント,クラス間識別,クラス内割り当てを目的とする。
- 複数のデータセットとIPC設定で,評価された生成ベースラインをSRGが安定的に上回る性能を示した。
到達可能性は実現ではない:LLMベンチマーク向上要因の追跡 [cs.AI, cs.CL]目的:LLMベンチマークの向上が,モデルの能力向上を必ずしも意味しないことの検証
- LLMの性能評価は重要であり,その向上は実用的な応用を促進する。
- ベンチマークスコアの向上だけでは,モデルの真の能力変化を判断できない。
- LLMの能力向上を正確に評価するための指標とその分析手法を明らかにすること。
- LLMにおいて,到達可能性(正解にたどり着けるか)と実現可能性(実際に正解を生成するか)は必ずしも一致しないことが示された。
- 推論時のレイヤールーティングは到達可能性を向上させるが,正解を知らない状態ではその効果はほとんど得られない。
- 訓練によって実現可能性は向上するものの,到達可能性は横ばいまたは低下する場合がある。
迅速な失敗検知と再起動:SWEエージェントにおけるタスク処理 [cs.SE, cs.AI]目的:ソフトウェアエンジニアリングエージェントのタスクにおける,早期の失敗予測と効率的な再起動戦略
- ソフトウェア開発の自動化が求められる中,エージェントの効率的なタスク遂行が重要である。
- エージェントの実行が長くなるほどコストが増大し,無駄な探索やループが発生しやすいという課題がある。
- タスクの早期失敗検知と,中断された作業の有効活用による再起動メカニズムを確立し,効率改善を図る。
- FailFast-RestartSmartは,実行中のタスクを監視し,早期に失敗を予測することで,無駄な計算リソースの消費を抑制する。
- 実験結果から,この手法は複数のモデルで有効であり,実行に必要なトークン数を14.6%-20.4%削減できることが示された。
- また,再起動戦略RestartSmartは,Qwen3.6-27Bモデルのタスク解決率を66.6%から71.8%に向上させることに成功した。
自己蒸留報酬形成を用いたエージェント強化学習 [cs.LG, cs.AI, cs.CL]目的:マルチターン言語エージェントに対する,報酬に関連するトークンレベルのクレジットの構築
- LLMエージェントの学習において,環境とのインタラクションが重要視されているため。
- 軌道レベルの報酬が疎であり,どの部分的な決定が成功に貢献したかを特定できないという課題がある。
- 中間的な決定への適切なクレジットを付与することで,長期的なタスク性能の向上を目指す。
- ADRSは,各ステップでの特権的なトークンスコアを中央集約・正規化し,Teacher Value Advantage(TVA)ゲートで調整する。
- TVAゲートは,グループ内信頼度と報酬の関連性に基づいており,ゲートされた信号をネイティブなRLクレジット構築に組み込む。
- 3つのインタラクティブベンチマークにおいて,ADRSは長期的なタスクにおいて一貫して性能を向上させ,様々な設定で効果が確認された。
SAKI:注意スコアを考慮した長文脈KV検索のための低ランクキーインデックス [eess.SY, cs.SY, cs.RO, cs.LG, stat.AP]目的:長文脈KV検索における低ランク近似による注意スコア歪みの制御
- 大規模言語モデルの効率的な推論は,メモリ使用量の削減が不可欠である。
- 既存の低ランクKVキャッシュ法は,注意スコアを直接反映していない。
- 注意スコアを直接保存することで,検索精度を向上させることを目指す。
- SAKIは,既存のキーPCAと比較して,あらゆるテストランクで優れた性能を示す。
- ランク32において,PCAのtop 64 recall errorを13〜30%削減する。
- 注意スコアMSEの予測精度が高く,実験結果と一致する (Pearson correlation = 0.997)。
構造を意識したロバストなファインチューニング:物理的な注意ハイジャックに対する視覚-言語-行動ロボットの防御 [cs.AR, cs.RO, cs.AI]目的:視覚-言語-行動ロボットに対する物理的な注意ハイジャックの防御
- ロボットの汎用的な操作能力実現には,視覚,言語,行動の統合が不可欠である。
- 現実世界の攻撃に対する脆弱性が課題であり,特に視覚情報への干渉による誤動作が懸念される。
- 物理的な攻撃による注意ハイジャックを検出し,その影響を軽減する手法を開発する。
- 提案手法SARFは,視覚エンコーダのファインチューニングにより,攻撃に対する失敗率を大幅に低減する。
- 実機を用いた実験では,SARFはAGSD下での成功率を23.0%から65.0%に向上させることを示した。
- メカニズムレベルでのロバスト性の向上が,VLAロボットのセキュリティ確保に有効であると示唆される。
UniNav:視覚ナビゲーションのための統一された世界・行動拡散モデル [cs.CL, cs.AI]目的:視覚ナビゲーションにおける,将来の視覚的観測と連続的なウェイポイント軌跡の生成
- ロボット工学や拡張現実において,環境内での自律的な移動能力は不可欠である。
- 既存手法は,将来予測と行動生成のいずれかに特化しており,両者の統合が課題である。
- 視覚情報と行動計画を統一的に生成することで,効率的なナビゲーションを実現する。
- UniNavは,単一の拡散プロセスを用いて視覚情報とウェイポイント軌跡を同時に生成する。
- UniNav-FullとUniNav-Fastの2つのバリアントが提案され,速度と精度のトレードオフを可能にする。
- 複数のナビゲーションベンチマークにおいて,UniNavは最先端のベースラインを上回る性能を示す。
冷起動アクティブラーニングのための統一的な最適輸送の視点 [cs.AI]目的:冷起動アクティブラーニングにおけるデータ選択戦略
- 教師なしデータから有用な部分集合を選択する重要課題であり,機械学習の効率的な活用に不可欠である。
- 既存手法はそれぞれ異なる仮定に基づき,特定のタスクでは性能が不安定であるという問題がある。
- データやタスクに応じて自動的に適応する冷起動アクティブラーニング手法を開発すること。
- 本研究では,最適輸送の視点から冷起動アクティブラーニングを再検討し,既存手法を統合するフレームワークを提案した。
- エントロピー正則化によるトレードオフを理論的に解析し,タスクに依存しないminimax boundを確立した。
- 提案手法$\epsilon$-ASは,6つの公開データセットで最先端の性能を示し,ImageNet-1kではActiveFTよりも平均精度が1.29%向上,選択時間が56.2%短縮された。
ShielDroid:機械学習と深層学習を統合したAndroidマルウェア検出ハイブリッド手法 [cs.CR, cs.LG]目的:Androidマルウェアの正確な識別と分類
- スマートフォン利用者の増加に伴い,モバイルマルウェアによる被害が深刻化している。
- 従来の静的解析では,実行時に活動する巧妙なマルウェアの検出が困難である。
- リアルタイムな動的解析に基づくマルウェア検出フレームワークを構築し,セキュリティ向上を目指す。
- 機械学習アルゴリズムを複数用いてマルウェアを分類し,その有効性を評価した。
- Random ForestとMultilayer Perceptronを組み合わせたハイブリッドモデルが最も高い性能を示した。
- 本手法は97.5%の精度でマルウェアを検出し,実行時間は22.945秒であった。
ウェアラブルデータからパーソナライズされた実行可能な健康洞察へ [cs.HC, cs.AI]目的:ウェアラブルデータを用いたストレス管理改善
- 健康状態のモニタリングにおいて,ウェアラブルデバイスの活用が重要視されている。
- ウェアラブルデータの解釈には,文脈依存性やノイズといった課題が存在する。
- ユーザーの注釈と組み合わせることで,ストレス管理を支援する枠組みを提案する。
- 提案手法により,日々の活動,ストレスイベント,介入策を視覚的に重ね合わせることが可能になった。
- 4週間のパイロット研究では,社会的交流が平均心拍数を4.35~5.0bpm減少させたことが示された。
- 意図的な休息はガーミンストレススコアを10.03~13.83ポイント,マインドフルネスはHRVを6.61~13.22ミリ秒減少させた。
FinVerse:金融時系列ベンチマーク [cs.LG, cs.AI]目的:金融時系列予測モデルの評価
- 時系列データ分析は,金融市場の予測やリスク管理において不可欠である。
- 既存のベンチマークは,多様な時系列を均一な指標で評価し,実用的な意思決定との乖離がある。
- 金融分野に特化した,より現実的な評価基準を持つベンチマークの構築を目指す。
- FinVerseは,116,897の金融時系列データと171.1Mの観測値を含むベンチマークである。
- 汎用的な予測基準での高い性能は,必ずしも金融予測に役立つとは限らないことが示された。
- 各時系列の経済的な意味に基づいて,78の評価指標から適切なものを選択する。
ED-DiT:電子密度に基づく分子表現学習のための物理的制約拡散事前学習 [cs.LG]目的:転移可能な分子表現の学習
- 分子の電子構造理解は,創薬や材料設計において不可欠であり,その重要性は高い。
- 電子密度に基づく分子表現学習は,従来の表現に比べると,まだ十分に研究が進んでいない。
- 電子密度を活用した事前学習により,様々な電子構造関連タスクで有効な分子表現を獲得すること。
- 提案手法ED-DiTは,拡散トランスフォーマーを用いて電子密度点群の事前学習を実現した。
- 実験結果から,ED-DiTはゼロから学習した場合と比較して,限られた教師データ下でも優れた性能を示した。
- 特に,分子条件付き電子密度予測では,RMSEを2.2474から1.3753に大幅に低減し,既存の基盤モデルを上回った。
発火は現実であり,読み出しに存在する:潜在的な構成,難易度に応じた発火,および再帰的深さ推論器におけるインターフェースで構成されるコミット [cs.LG, cs.AI]目的:潜在的な推論モデルにおける「構成的発火」の真の計算であるか,計測機器のアーチファクトであるか,または言語トレーニングデータから引き継がれたものであるかの検証
- 大規模言語モデルの推論能力の解明は,AIの信頼性と安全性向上に不可欠である。
- 潜在的推論モデルの発火現象は,そのメカニズムが不明であり,計算能力の指標として信頼できるか疑問視されている。
- 本研究は,発火現象が真の計算であることの証拠を提示し,そのメカニズムを読み出し層で特定することを試みる。
- 発火は現実であり,問題の深さとともに発火のタイミングが系統的に変化することが確認された。
- コミットメントの段階では,決定マージンが大幅に増加し,発火の確実性が示唆された。
- 隠れ状態の方向は,特定の基準を満たし,その後凍結するという変化が見られ,読み出し層との関係が示唆された。
単一目的景観が多目的最適化に与える影響 [cs.NE]目的:多目的最適化問題における単一目的最適化問題との関係性
- 多目的最適化は,現実世界の複雑な問題を解決する上で不可欠な手法である。
- 多目的最適化問題の探索は,解空間の広さから困難を伴うことが多い。
- 単一目的最適化問題の知見を,多目的最適化問題の効率的な探索に活用する。
- 多目的最適化問題のパレート最適解は,多くの場合,単一目的最適化問題の局所最適解から到達可能であることが示された。
- 目的数や目的間の相関性が高まると,この傾向がより顕著になることが確認された。
- 単一目的最適化問題の局所最適解ネットワークと多目的最適化問題のパレート最適解ネットワーク間の相互関係は,変数の数によって変化する。
クラスター誘導プロトタイプ混合による効率的なビデオデータセット蒸留 [cs.CV, cs.AI]目的:ビデオデータセットの効率的な蒸留
- ビデオデータセットは大規模になりがちであり,学習コストの増大を招くため,圧縮が重要である。
- 既存の蒸留手法は最適化に時間がかかり,特にビデオの時系列次元が計算コストを増大させる。
- 勾配ベースの最適化なしに,効果的な蒸留ビデオを構築することを目指す。
- ProtoBlendは,教師誘導によるクリップ選択,クラスター誘導によるプロトタイプ割り当て,そして混合による効率的な蒸留を実現する。
- 4つの行動認識ベンチマークにおいて,ProtoBlendは反復最適化なしに,競争力のある精度と効率のトレードオフを達成した。
- 各クラスの代表的なサンプルを保持し,多様なバリエーションをカバーすることで,より少ないデータで高い性能を維持している。
GUI-Lens:汎用VLMsを用いたGUIグラウンディングのための粗い段階から細かい段階へのクロッピング [cs.CV, cs.AI]目的:GUIグラウンディングの精度向上
- GUIエージェントの信頼性向上に不可欠であり,ヒューマンコンピュータインタラクションの分野で重要である。
- 高解像度で要素が密集したGUIにおいて,VLMが正確な位置を特定することが難しい。
- GUI-Lensは,視覚的観察を通じて対象を特定し,曖昧さや不正確さを解消することを目指す。
- GUI-Lensは,OCRテキストとUIコンポーネントを座標参照として提示することで,汎用VLMのGUIグラウンディング能力を向上させる。
- 粗い段階から細かい段階へクロッピングを繰り返すことで,視覚的な詳細を徐々に拡大し,対象を特定する。
- 4つのGUIグラウンディングベンチマークと3つのVLMバックエンドにおいて,最大24.9%の精度向上とGPT-5.5による最先端の性能を達成した。
TaskPress:タスク誘導によるKVキャッシュ圧縮 [cs.CL, cs.AI]目的:タスク誘導によるKVキャッシュ除去フレームワーク
- 大規模言語モデルの長文処理において,KVキャッシュのサイズがボトルネックとなる。
- 既存のプルーニング手法はクエリ固有の重要度を学習するため,汎用性に欠ける。
- タスクに依存しない再利用可能なキャッシュ表現を構築し,効率的な圧縮を目指す。
- TaskPressは,高レベルなタスクガイダンスを用いて,クエリに依存しないKVキャッシュの除去を行う。
- タスクガイダンスをprefill時にフィルタとして利用することで,無関係なトークンを事前に排除する。
- 量子化スケール因子をトークンの重要度のプロキシとして活用し,効率的なキャッシュ圧縮を実現した。
大規模言語モデルの差分プライバシー準拠ゼロ次最適化におけるノイズを考慮した縮小 [cs.LG, cs.CR]目的:大規模言語モデルの差分プライバシー準拠ゼロ次最適化におけるノイズの影響軽減
- 大規模言語モデルの活用は拡大する一方であり,プライバシー保護は重要な課題である。
- 既存手法では,ノイズの影響を適切に考慮せず,モデルの性能劣化を招く場合がある。
- ノイズの大きさに応じて更新量を調整することで,プライバシー保護とモデル性能の両立を目指す。
- 提案手法SAGEは,推定された信号品質に応じてプライバシー保護された推定値を適応的に減衰させる。
- 理論的分析により,縮小が有用な下降を維持しつつ,ノイズの影響を抑制することが示された。
- RoBERTa-large,OPT-1.3B,OPT-6.7Bでの実験により,既存手法を上回る性能が確認された。
エージェントパネル:科学的疑問を探求するための人間とAIの新たな協調パラダイムへ [cs.AI]目的:科学的疑問を探求するための人間とAIの協調
- 科学研究における新たなアイデアの発見は,研究活動において重要な課題である。
- 既存手法では,限られた視点や方向性しか提示されず,多様な考察が不足しがちである。
- 多様な視点と探求支援を通じて,研究の初期段階における問題解決を促進すること。
- エージェントパネルは,中央集権型のマルチエージェント討論と比較して,アイデアの質と探求の幅において優れている。
- ユーザー調査の結果,参加者の65%が,研究方向性の幅広さと初期探求の適合性においてエージェントパネルを好ましいと評価した。
- エージェントパネルは,多様な視点と探求のサポートを提供することで,研究者の有用性を高めることが示された。
安全なテキスト誘導画像生成のためのテスト時スケーリング:中間クリーン推定による [cs.CV, cs.AI]目的:テキスト誘導画像生成における安全性とポリシー遵守の確保
- 拡散モデルの応用拡大に伴い,不適切なコンテンツ生成のリスク管理が重要となっている。
- 既存の防御策はテキスト中心であり,視覚的シグナルを考慮していない点が課題である。
- 生成過程の中間画像を活用し,テスト時にスケーリング可能な安全性確保手法を開発する。
- 生成過程で推定される中間クリーン画像を活用し,禁止概念を検出するスパースマージン目的関数を提案。
- 違反が検出された場合,テキスト条件付け空間において構造化低ランク残差をTruncated Backpropagationで最適化。
- Stable Diffusion v1.4とv3.5を用いた実験で,既存手法よりも優れた性能が確認された。
LLMにおける推論失敗検出:思考連鎖のダイナミクスに着目して [cs.LG, cs.AI, cs.CL]目的:大規模言語モデルの推論過程における失敗の検出
- LLMの性能向上は目覚ましいが,その推論過程の理解はまだ不十分である。
- 既存研究では,個々の推論ステップの正誤に焦点を当て,推論過程全体のダイナミクスが十分に検討されていない。
- 思考連鎖の可視化されたダイナミクスから,内部計算への忠実性を仮定せずとも,成功/失敗を識別できるか検証する。
- ブール充足可能性問題において,LLMは問題の種類によって異なる推論パターンを示すことが明らかになった。
- SAT問題では,早期の検証崩壊が確認され,誤った推論経路は早期に句チェックを開始し,反復的な操作と迅速な結論に至る。
- UNSAT問題では,誤ったSAT結論への早すぎる移行が見られ,矛盾の導出よりも候補代入のチェックを優先する傾向がある。
- Llama3-70Bに対しては,特定のプロンプト介入により,精度が13.3%から85%へと大幅に向上し,84.6%のエラーが修正された。
DocTrace: 階層的証拠グラフ推論による長文書VQAのトレーサビリティ向上 [cs.AI]目的:長文書に対する視覚的質問応答におけるトレーサビリティの実現
- 長文書の理解は,情報検索,意思決定,知識発見において不可欠であり,その重要性は増している。
- 既存手法は,根拠となる証拠の構成過程を明示的に表現・検証する仕組みが不足しており,精度とトレーサビリティが課題である。
- 本研究は,証拠の構成過程を明示化し,透明性と検証可能性を高めることで,長文書VQAの性能向上を目指す。
- DocTraceは,証拠の局所化,構造化された文書解析,証拠グラフ推論を段階的に行う階層的フレームワークである。
- DocTraceは,MMLongBench-Doc,LongDocURL,SlideVQAの3つのベンチマークで,既存のオープンソースベースラインやプロプライエタリMLLMを凌駕する性能を示した。
- DocTraceは,Qwen3-VL-8B-Instructと比較して,それぞれ14.4,11.3,11.7ポイントの絶対的な性能向上を達成し,トレーサブルな証拠グラフを構築する。
クエリを用いた多ヘッドアテンションの確証的な学習 [cs.LG, cs.CR]目的:多ヘッドソフトマックスアテンションのパラメータ復元
- 深層学習モデルの解釈可能性向上は,信頼性や安全性確保に不可欠である。
- ブラックボックスからの入出力アクセスのみでは,アテンション機構のパラメータを効率的に学習することが困難である。
- サブスペースの事前知識なしに,多ヘッドアテンションのパラメータを正確に復元することを目指す。
- 同一の重み行列を持つヘッドを統合し,対応するベクトルを加算することで,標準的な表現を得る。
- トークン数を変化させることで,ヘッドを分離する有理関数のサンプルを取得し,パラメータを復元する。
- ヘッド数既知の場合,正確なパラメータ復元に $4Hd^2-2H+1$ 回のクエリで十分である。
注意散漫要素を考慮した切り捨て:長文コンテキストLLMベンチマークにおけるコンテキスト長効果と信号損失の分離 [cs.AI, cs.CL]目的:長文コンテキストLLMベンチマークにおけるコンテキスト長の効果と信号損失の関係性の解明
- 大規模言語モデルの性能向上には,長文コンテキストの効率的な処理が不可欠である。
- 従来の評価方法では,コンテキスト長が長くなるにつれて性能が低下することが課題となっていた。
- コンテキストを切り捨てる方法を工夫することで,コンテキスト長効果を正確に評価することを目指す。
- 単純な切り捨て方法では性能が低下する一方,注意散漫要素を考慮した切り捨て方法では性能が維持または向上した。
- 特に,小規模モデルにおいては統計的に有意な性能向上が認められた。
- この結果は,単純な切り捨て方法がコンテキスト長の効果を正確に測定できていない可能性を示唆する。
SeaSlides:エージェントによるスライド生成のための意味的抽象化層 [cs.AI]目的:エージェントによるスライド生成のための意味的抽象化層の構築
- プレゼンテーションは情報伝達の重要な手段であり,効果的な資料作成が求められる。
- 既存システムは柔軟性と再現性の両立が難しく,特に数式やコードを含む技術資料で脆弱性が生じやすい。
- 意味的抽象化層を導入し,コンテンツとデザインを分離することで,高品質なスライドを効率的に生成することを目指す。
- SeaSlidesは,HTMLとTypstの両方のバックエンドで動作し,再利用可能なコンポーネントと機能モジュールを用いてスライドコンテンツを構築する。
- 数式,コード,チャートなどの特殊なオブジェクトは,専用のレンダラーにルーティングされ,高品質な表示を実現する。
- 評価実験の結果,SeaSlidesはSVGを多用する生成方法と比較して,より読みやすく,コンテンツ中心のスライドを生成することが示された。
エンタープライズ自動化におけるLLMのトレードオフ評価:本番環境プラットフォームにおけるワークフロー生成からの教訓 [cs.SE, cs.AI]目的:エンタープライズにおけるLLMを活用したワークフロー生成の有効性とコストに関する評価
- 企業コンプライアンス管理は,変化する規制への迅速な対応が不可欠であり,自動化の重要性が増している。
- 従来の静的オーケストレーターは,ハイブリッドクラウド環境において,リアルタイムなコンテキストへの適応が困難である。
- 本研究は,LLMの分割パイプライン構造により,低コストで高精度なワークフロー生成を可能にすることを目的とする。
- LLMを用いたワークフロー生成において,分割パイプライン構造は,単一構造のパイプラインと比較して構造的成功率を大幅に向上させた。
- 小規模なLLM(mistral-small)でも,分割パイプラインを用いることで実運用レベルの精度を達成でき,高価な大規模モデルへの依存を軽減できることが示された。
- コスト,レイテンシ,モデル選択などの実運用上のトレードオフを分析し,クラウドエンジニアリングにおけるスケーラブルな自動化の実現に向けた課題を提示した。
