arXiv雑要約
AI - 2026/06/05 公開
高密度な文脈は困難な文脈である：語彙密度がLLMにおける有効な文脈を制限する [cs.CL, cs.AI]目的：大規模言語モデルにおける有効な文脈の限界
- LLMの性能向上には，長文の処理能力が不可欠である。そのため，文脈長の限界を理解することが重要である。
- 従来の文脈長に関する研究では，入力長や関連情報の位置に焦点が当てられていたが，情報密度に着目した研究は不足していた。
- 本研究は，文脈内の情報密度がLLMの性能に及ぼす影響を定量的に評価し，有効な文脈容量を明らかにすることを目指す。
- 情報密度の高い文脈において，LLMの性能は顕著に低下することが確認された。疎な文脈ではほぼ完璧な性能を示すモデルも，高密度な文脈では60%以下の検索スコアに低下した。
- 情報密度を低減することで，性能は一般的に回復する傾向が認められた。特に，性能低下が顕著に現れる高密度領域において効果が確認された。
- 有効な文脈容量は，情報密度に依存することが示された。これは，コンパクトで情報量の多い入力を扱う現実世界のLLMシステムに直接的な影響を与える。
イベントデータに対する非負行列分解 [cs.LG]目的：イベントデータの解釈可能な構造の発見
- 神経科学，地震学，ソーシャルネットワークなど，多様な分野でイベントデータが重要視されている。
- 既存手法では，イベントデータを扱う前にビン分割や平滑化が必要で，詳細な情報が失われる可能性がある。
- イベントの発生時刻を直接利用し，非負行列分解によって潜在的なパターンを抽出することを目指す。
- 提案手法EventNMFは，イベント発生時刻をポアソン過程としてモデル化し，解釈可能な時間テンプレートを学習する。
- 従来のビン分割によるアプローチは，EventNMFの特殊なケースとして導出可能である。
- 合成データおよび実データへの適用により，EventNMFの有効性が確認された。
日本における獣医毒性学における教師なしパターン分析：種間リスク評価のための規制遵守フレームワーク [cs.AI, cs.LG]目的：獣医薬安全性評価のための，生物学的意義のある地域特有の毒性パターン
- 獣医薬の安全確保は動物の健康を守る上で重要であり，副作用モニタリングシステムの確立が不可欠である。
- 既存のモニタリング手法では，地域性や種特異性を考慮した毒性パターンの把握が困難である。
- 本研究は，日本の規制環境に適合した教師なし分析により，これらの課題を解決することを目指す。
- 教師なしパターン分析により，3つの有意な種別クラスターが確認された（p < 0.01）。
- 薬物レベルのクラスター分析では，薬理学的分類との一致率が83%に達し，コサイン類似度が他の指標を上回った。
- 規制当局による検証の結果，確立された分類との高い一致性が確認され，本手法の有効性が示された。
コンピュータネットワークにおけるエージェント的構成修復の評価 [cs.AI]目的：コンピュータネットワークの構成誤りの修復
- ネットワークは現代社会の基盤であり，安定稼働は不可欠である。
- ネットワーク設定の誤りは深刻な障害を引き起こす可能性があり，自動化が求められる。
- 大規模複雑なネットワーク環境での設定誤りの自動修復精度向上を目指す。
- エージェント的アーキテクチャは，基本的なLLMと比較して，修復の有効性と安全性が向上した。
- エージェント的アーキテクチャは，コンテキストの動的な管理と反復的な検証により，これらの改善を実現する。
- 検証ツールやコンテキスト検索ツールと連携したLLMの性能を評価した結果，エージェント的構成が平均12％向上した。
マルチタスク表現エンジニアリングによるLLM生成コードの可読性向上 [cs.SE, cs.AI]目的：LLM生成コードの可読性向上
- ソフトウェア開発において，コードの品質は重要であり，可読性は理解と保守に不可欠である。
- LLM生成コードの正確性は向上しているが，可読性は十分とは言えず，改善が求められている。
- マルチタスク表現エンジニアリングを用いて，コードの可読性と正確性の両立を目指す。
- マルチタスク表現エンジニアリングフレームワークを提案し，可読性と正確性のトレードオフについて理論的な考察を行った。
- 複数のタスクにわたる制御が，コードの可読性向上に有効であることを実験的に示した。
- 提案手法の実装は公開されており，必要に応じて提供可能である。
DisasterBench：複雑な環境におけるUAVを用いた災害対応のためのマルチモーダルベンチマーク [cs.CV, cs.AI]目的：UAVを用いた災害対応におけるマルチモーダル推論の評価
- 災害対応は人命と財産を守る上で不可欠であり，迅速かつ的確な状況把握が求められる。
- 既存のベンチマークは，災害の種類が限られ，実践的な緊急対応に必要な多段階推論を十分にサポートしていない。
- 複雑な環境下でUAVが収集したデータから，災害の原因，予測，対応策を導き出すためのベンチマークを提供する。
- DisasterBenchは，14種類の災害シナリオと9つの対応タスクを網羅し，災害とタスク間の関係を詳細にマッピングすることで，因果関係の特定，被害状況の分析，意思決定を評価する。
- 軽量マルチモーダルモデルDisasterVLは，ドメイン適応，CoTによるマルチモーダルアライメント，強化学習により最適化され，エッジデバイス上での推論を可能にする。
- DisasterVLは，21のMLLMと比較して優れた性能を示し，GPT-4oと同等の推論精度と効率性を実現した。
TAM：操作におけるロバストなモーション転送のためのトルク適応モジュール [cs.RO, cs.AI]目的：ロボット間の挙動差を修正し，ロバストなモーション転送を実現するトルク適応モジュール
- ロボットの多様性から，一つのロボットで学習したポリシーを別のロボットへ転送する際の課題が存在する。
- シミュレーションと現実のギャップや未知のペイロード，ロボットのダイナミクス差がモーションのずれを引き起こす。
- TAMは，これらのずれをトルク補正によって吸収し，ロバストな操作を可能にすることを目指す。
- TAMは，ロボット固有のデータなしで，シミュレーションでのマルチロボット事前学習と，その後の微調整により適応可能である。
- 実機Franka Pandaを用いた評価により，TAMはオンラインシステム同定やRMAと比較して，ゼロショット性能を向上させた。
- TAMは，RLやBC，MPCを用いたダイナミックな操作タスクにおいて，ロバストなパフォーマンスを実現する。
エンドツーエンド自律運転における適応的ルーティングのための認知と潜在評価：CLEAR [cs.RO, cs.AI]目的：エンドツーエンド自律運転における，マルチモーダルな行動生成とリアルタイム推論制約のバランスの実現
- 自律運転技術は，交通安全の向上や移動の効率化に不可欠であり，社会実装が急務である。
- 既存のエンドツーエンド自律運転モデルは，多様な行動生成とリアルタイム処理の両立が困難である。
- 拡散モデルの潜在空間での効率的な経路生成と，シーン理解に基づく適応的な制御を目指す。
- 本研究では，Drive-JEPAとQwen~3.5~0.8Bを活用し，高速な経路生成と深層意味的推論を組み合わせたCLEARを提案した。
- CLEARは，VAE潜在空間での単段階ドリフトと，適応的スケジューラにより，多様性と専門性のバランスを実現する。
- NAVSIM v1ベンチマークにおいて，従来最高水準のPDMS 93.7を達成し，効率的なプランニングの有効性を示した。
報酬ハック活性化からエージェント的リスク状態へ：LLMエージェントにおける文脈調整されたメカニズム的監視 [cs.AI]目的：LLMエージェントにおける安全性監視のメカニズム
- LLMエージェントの安全性確保は，社会実装において重要な課題である。
- 報酬ハックによる意図しない行動が，エージェントの安全性に脅威を与える。
- 文脈を考慮した内部監視により，リスクのある行動を抑制することを目指す。
- 報酬ハックの傾向は，特定の環境下でエージェントの行動選択に影響を与えることが示された。
- 活性化の度合いだけでは，即時的な悪用行動を特定できないことが明らかになった。
- エントロピーや文脈情報は，報酬ハック活性化と合わせてリスク推定の精度を向上させる。
Symb-xMIL：デジタル病理における複数インスタンス学習の説明可能性向上 [cs.CV, cs.LG]目的：複数インスタンス学習モデルの振る舞いを，人間が理解しやすい論理規則との整合性に基づいて定量化すること
- デジタル病理におけるMILモデルの利用が拡大しており，その判断根拠の明確化が求められている
- 既存の説明手法は，影響領域の可視化に留まり，組織特徴間の相互作用の説明が不十分である
- モデルの予測における論理的規則との整合性を評価し，透明性と解釈性を高めることを目指す
- Symb-xMILは，合成データ上で正解の論理規則を高い精度で再現することに成功した
- 臨床腫瘍検出タスクでは，モデルの意思決定パターンを明らかにし，隠れたエラーを検出することができた
- TCGA-HNSCCデータを用いたHPV予測タスクにおいて，HPVステータスに加えて患者生存率の層別化を改善した
意味的・協調性のギャップを埋める：コールドスタートアイテム推薦のための非対称グラフアーキテクチャ [cs.IR, cs.AI, cs.LG]目的：コールドスタートアイテム推薦における課題解決
- 推薦システムの精度向上は，ユーザー体験の向上に不可欠であり，ビジネスの成功に直結する。
- 新しいコンテンツはユーザーとのインタラクション履歴がなく，推薦が困難であるというコールドスタート問題が存在する。
- コンテンツの持つ固有特徴のみから，協調フィルタリングを意識した埋め込み表現を学習することを目指す。
- 提案手法Shallow-RHSは，デバイス側とコンテンツ側の非対称なアーキテクチャにより，コールドスタート時の推薦性能を向上させる。
- コンテンツの埋め込み表現は，コンテンツ固有の特徴のみを用いて学習され，協調フィルタリング信号を暗黙的に獲得する。
- オンライン実験により，コンテンツおよびデバイスのコールドスタートにおけるエンゲージメント，プロモーション速度などの指標で改善が確認された。
死亡率予測のための信頼性の高いLLM統合インターフェースの設計 [cs.LG, cs.AI]目的：死亡率予測の信頼性向上と利便性改善
- 死亡率予測は，保険数理や政策決定において重要な役割を担う分野である。
- 専門知識がないユーザーにとっては，技術的な複雑さから実装が困難であった。
- 自然言語による入力から構造化された設定を生成し，予測の利用を容易にすること。
- LLMを制約付きオーケストレーション層として設計することで，使いやすさを損なわずに統計的信頼性を維持することが示された。
- ローカルLLMを用いたプロトタイプインターフェースにより，平易な言葉での予測リクエスト処理が可能となった。
- 再現性，透明性，数理的な妥当性を損なうことなく，LLMが重要な分析ワークフローへのアクセス性を高めることが確認された。
オラクル追跡：3D CT再構成のための拡散過程時間ステップスケジューリングの改善 [cs.LG]目的：3D CT再構成における拡散モデルの時間ステップスケジューリング最適化
- CT画像再構成は医療診断において不可欠であり，高精度な再構成が求められる。
- 既存の時間ステップスケジュールは，拡散過程の非一様性を捉えきれず，誤差が生じやすい。
- 誤差を最小化する時間ステップスケジュールを設計し，再構成精度と効率を向上させる。
- 提案手法「Tracing the Oracle (TrO)」は，数値積分軌跡をオラクルとして参照し，動的計画法を用いて時間ステップスケジュールを最適化する。
- TrOを最先端の3D CT再構成手法DDSと組み合わせることで，既存手法と比較して再構成の忠実度が大幅に向上する。
- 特に，限られたステップ数（10ステップ以下）で高い精度を維持できるため，計算効率も改善される。
大規模言語モデルの温度スケーリングにおける生成的臨界性 [cs.LG, cond-mat.stat-mech, hep-lat]目的：大規模言語モデルの出力における集団統計的構造の探求
- 言語モデルの性能向上は，自然言語処理の進歩に不可欠である。
- 言語モデルの生成過程における統計的構造の理解が不十分である。
- 言語モデルの出力における臨界現象とデコーディング戦略の関係を解明する。
- ソフトマックス温度Tを変化させた際，特性温度Tc近傍でサセプティビリティが鋭くピークを示し，冪乗則に従うスケーリングが観察された。
- Tc以下では，順序パラメータが急激に変化し，単一の意味方向へ収束することが確認された。
- 二近傍法による固有次元の推定も，これらの結果を独立に裏付け，Tc近傍で最小値を示した。
TOKI：LLMエージェントの永続的メモリにおける矛盾解決のための双時間演算子代数 [cs.DB, cs.AI]目的：LLMエージェントの永続的メモリにおける矛盾解決の形式化
- LLMエージェントの性能は，過去の情報を正確に保持し，利用することに依存する。
- 既存の矛盾解決手法は，その保証範囲が明確でなく，潜在的な異常を招く恐れがある。
- 本研究は，矛盾解決を形式的に記述し，その正当性を保証することで，信頼性の高いメモリ管理を実現する。
- 矛盾解決を双時間演算子代数としてモデル化し，4つの解決策を形式的に定義した。
- これらの演算子が満たすべき分離レベルと整合性に関する定理を証明した。
- 既存システムとの比較により，TOKIが潜在的な問題を回避し，より安全なメモリ管理を実現することを示した。
機関文書からのデータスナップショット抽出のためのオープンソースレイアウト検出モデルのベンチマーク [cs.CL, cs.AI, cs.CV, cs.IR]目的：機関文書内の意味のある視覚的要素の特定と局所化
- 機関文書には，図表に埋め込まれた重要な運用・分析情報が含まれるため，活用が求められる。
- 汎用的な文書レイアウト分析では，図表が分析要素として適切に扱われず，情報抽出の精度が低い。
- 機関文書に特化したデータスナップショット抽出の性能向上を目指す。
- 既存のオープンソースモデルは，一般的な学術的ベンチマークでは高い性能を示すものの，実際の機関文書への適用では汎化性に課題があることが示された。
- 分析内容とそうでない内容の混同，複合的な分析要素の分割，解釈に必要な文脈情報の抽出不足が，主な失敗要因として特定された。
- 汎用的な文書レイアウト分析と，実運用に役立つデータスナップショット抽出の間には，依然として大きな隔たりが存在することが明らかになった。
MPCoT：報酬誘導によるマルチパス潜在的推論 - テスト時スケーラブルな視覚-言語-行動 [cs.RO, cs.AI]目的：長期的かつ不確実性の高い制御における視覚-言語-行動ポリシーの性能向上
- ロボット制御において，視覚，言語，行動を統合したポリシーは，複雑なタスクの達成に不可欠である。
- 従来のVLAポリシーは，長期的かつ不確実な状況下で脆弱であり，十分な推論時間が不足する。
- 潜在的推論の経路を複数生成し，報酬に基づいて最適化することで，VLAポリシーの堅牢性を向上させる。
- MPCoTは，複数の仮説を生成し，反復的に洗練させ，ソフトに集約することで，推論の深さと幅を向上させる。
- パス選好目的関数により，行動の一貫性，世界モデル/VLMによる進捗，成功フィードバックに基づいて潜在的パスを評価する。
- LIBEROおよびCALVINにおける実験により，MPCoTが長期的パフォーマンスを改善することが確認された。
GRAMformer：体積多Modalクロスアテンションによる任意の順序のModal相互作用 [cs.CV, cs.LG]目的：異種Modal間の情報統合
- 近年，多様なデータから学習する多Modal研究が盛んであり，その性能向上が求められている。
- 既存手法は計算コストが高いか，高次のModal間相互作用を捉えきれないという課題がある。
- 本研究は，任意のModalの組み合わせを考慮した効率的な相互作用モデルを構築することを目的とする。
- 提案手法VMAは，クエリと複数のModal固有のキーの幾何学的形状に基づいてアテンションスコアを定義する。
- VMAは，ペアごとの類似度を超えて共同多Modal依存性を捉え，任意の順序のModal間相互作用をモデル化する。
- 実験の結果，提案モデルGRAMformerは，既存手法と比較して効果と効率の向上を示した。
テスト時再構成による潜在的推論のループクローズ [cs.RO, cs.AI]目的：潜在的推論における忠実性チェック機構の確立
- 大規模言語モデルの推論能力向上は，複雑なタスク遂行に不可欠である。
- 潜在的推論では，中間状態の可視性が低く，クエリの制約が維持されているか確認が困難である。
- クエリからの再構成可能性に基づき，潜在状態の忠実性を評価し，推論精度を向上させる。
- 提案手法ReLATは，テスト時にクエリから潜在表現へのサイクルを構築し，再構成損失を最適化する。
- 数理，知識QA，コード生成のベンチマークで，既存手法を上回る性能を達成した。
- Qwen3-8Bにおいては，AIME 2024の精度を56.7%から73.3%へ，16.6ポイント向上させた。
RedKnot：ヘッド認識KV再利用とSegPagedAttentionによる効率的な長文コンテキストLLMサービング [cs.AI]目的：大規模言語モデル（LLM）サービングにおけるKVキャッシュ管理システムの開発
- LLMの性能向上に伴い，長文コンテキスト処理が重要になっており，KVキャッシュがボトルネックとなっている。
- 既存システムはKVキャッシュを均一に扱うため，ヘッドごとの重要度や利用頻度の違いを活かせていない。
- ヘッドごとの特性を考慮したKVキャッシュ管理により，メモリ効率とスケーラビリティを向上させる。
- RedKnotは，KVキャッシュをヘッドごとに分解することで，ヘッドごとの重要度に応じた再利用，圧縮，分離，分散配置を実現した。
- これにより，位置に依存しないKV再利用，プレフィックスKV圧縮，ホット/コールドKV分離，分散KV配置を統一的にサポートし，出力品質を維持しつつリソース効率を改善した。
- RedKnotは，KVキャッシュを静的なデータ構造から動的でモデルを認識するランタイム基盤へと変革し，スケーラブルなLLMサービングの基盤を確立する。
OneReason技術報告 [cs.IR, cs.AI, cs.CL]目的：生成推薦モデルにおける推論能力の向上
- 推薦システムは，情報過多な現代において，ユーザーに適切な情報を提供する上で不可欠である。
- 既存の生成推薦モデルはスケーリングによる効果は大きいものの，推論能力が課題となっていた。
- アイテムトークンのみでは意味のあるChain-of-Thoughtを構築できない問題を解決し，推論能力を高める。
- OneReasonは，アイテムトークンの言語的意味の認識と，ユーザー行動シーケンスの潜在的興味点の再構成を重視する。
- 事前学習による強いアイテムトークン認識，SFTにおける3段階の認知強化CoT形式，RLにおける特殊化と統一の訓練レシピを導入。
- 実験により，OneReasonが思考モードにおいて非思考モードよりも優れた性能を示すことが確認された。
DAST：O-RANにおけるクロスインターフェース異常検知のためのVLM-LLMフレームワーク [cs.NI, cs.AI, cs.ET, cs.MA]目的：O-RANにおけるクロスインターフェース異常検知
- O-RANは，無線アクセスネットワークの柔軟性と拡張性を高める基盤技術である。
- 従来の異常検知手法は，ラベル付きデータの不足や，変化の速さへの対応が困難である。
- 本研究は，ラベルなしで，高次元なテレメトリデータから異常を検知する手法を提案する。
- DASTは，VLMとLLMを組み合わせたフレームワークにより，O-RANの様々なインターフェースにおける異常を検知する。
- 実際のネットワークトレースを用いた評価において，F1スコア0.910，精度0.843を達成し，既存手法を上回った。
- 異常の原因インターフェース，時間帯，影響度，判断根拠を提示できる。
GFlowNetは密かに最適な輸送計画を学習する [cs.CL, cs.HC, cs.LG, cs.AI]目的：生成フローネットワークにおける最適な輸送計画の解明
- 複雑なデータの生成において，効率的なサンプリング手法が求められている。
- 既存の生成モデルでは，大規模グラフにおける最適な輸送計画の学習が困難である。
- GFlowNetを用いて，大規模グラフ上での効率的な最適な輸送計画学習を実現する。
- 非巡回GFlowNetと最適輸送（OT）の理論的関連性が示された。
- 最小フローGFlowNetは，グラフ構造に基づくコスト関数を持つKantorovich OT問題と同等であることが証明された。
- GFlowNetの学習済みポリシーは，ソース分布からターゲット分布への最適な輸送計画を符号化している。
拡散言語モデルの損失なしピクセルレベル画像伝送への適応 [cs.IT, cs.AI, math.IT]目的：損失なし画像伝送のための拡散モデルに基づく離散的ソース・チャネル符号化フレームワーク
- 画像伝送は情報伝達の根幹であり，高画質・高効率な伝送技術が求められている。
- 従来の画像伝送方式では，ノイズ環境下での正確な画像復元が困難である。
- 本研究では，拡散言語モデルを用いて，ノイズ環境下でも損失なく画像を伝送する手法を提案する。
- 提案手法DDM-SSCCは，CIFAR10，DIV2K-LR-X4，Kodakデータセットにおいて，既存の損失なし・意味的通信手法よりも優れた正確な復元性能を示す。
- 双方向アテンションを用いたピクセル・トークン復元と同期型逆算術符号化により，効率的な符号化を実現。
- ハルトンガイド型ノイズ除去順序，マスク比率を考慮したコサインスケジュール，軽量な温度較正モジュールが，性能向上に貢献。
ツール選択の混乱：信頼性の高いLLMエージェントのための因果的最小ツールフィルタリング [cs.RO, cs.AI]目的：大規模言語モデルエージェントにおけるツール選択の信頼性向上
- LLMエージェントの能力向上には，外部ツールの活用が不可欠である。
- ツール選択肢が多いと，誤ったツール選択や過早な行動により効率が低下する。
- 必要なツールのみを提示し，トークン消費量を削減する手法の開発。
- 因果的最小ツールフィルタリング（CMTF）は，ツール選択において因果的充足性を重視する。
- CMTFは，現在の状態から目標へ進むために必要な最小限のツールのみを提示することで，ツール表示数を削減し，トークン使用量を約90%削減した。
- 102タスク，100ツール，4つのLLMバックエンドを用いた実験で，CMTFは高いタスク成功率を示した。
TRACE：マルチモーダル時系列基礎モデルのための時間的条件推定 [cs.AI]目的：マルチモーダル時系列データの欠損や不規則なサンプリング下における基礎モデルのパイプラインにおける条件推定
- 時系列データは，医療，金融，センシングなど，様々な分野で不可欠であり，その重要性は増している。
- 既存手法は単純な補完やマスキングに頼るため，モーダル間の依存関係が考慮されず，表現力が低下する。
- 欠損モーダルを他のモーダルから系統的に推論することで，ロバストで信頼性の高い表現を獲得することを目指す。
- TRACEは，医療および感情分析の多様なベンチマークにおいて，既存のマルチモーダル融合手法を上回る性能を示した。
- 特に，深刻なモーダル欠損下において，ロバスト性が向上し，より信頼性の高いクロスモーダル表現を獲得できた。
- 利用可能な補助モーダルから，欠損ターゲットモーダルを系統的に推論する条件推定パラダイムが有効であることが示された。
LLMは訓練データを漏洩するか？ LLMにおける記憶の傾向を考慮した評価 [cs.CL, cs.AI]目的：LLMにおける訓練データの記憶傾向の評価
- LLMの急速な発展は，プライバシー侵害や知的財産権の侵害といった新たなリスクをもたらしている。
- 既存の記憶評価は，モデルに強制的に記憶を再現させることに重点を置いており，通常の利用状況下での記憶漏洩の可能性が評価されていない。
- 本研究は，通常の利用状況下でのLLMの記憶漏洩の傾向を定量的に評価し，より現実的なリスク評価を目指す。
- PropMeという記憶評価フレームワークを導入し，能力攻撃と非攻撃的な評価を比較することで，記憶傾向を定量化した。
- CommaとDFM Decoderの評価から，能力攻撃は通常のプロンプトよりも強い記憶信号を引き出す一方，全体的な記憶傾向は低いことが示された。
- DFM DecoderはCommaと比較して，Common Pileにおける記憶と記憶傾向が低下しており，追加学習が記憶能力の低下に繋がる可能性が示唆された。
メッセージパッシンググラフニューラルネットワークに対する敵対的ロバスト性：感度分析 [cs.LG, stat.ML]目的：メッセージパッシンググラフニューラルネットワークにおけるロバスト性の一般化
- グラフ構造データ分析において，グラフニューラルネットワークは重要な役割を担う。
- グラフニューラルネットワークは敵対的攻撃に脆弱であり，そのロバスト性の評価が課題である。
- 敵対的攻撃に対するロバスト性を向上させるための理論的保証を与えることを目指す。
- 提案手法は，パラメータブロック間の感度を考慮したPAC-Bayesianフレームワークをグラフニューラルネットワークに拡張した。
- Jacobian行列を利用し，出力に対するパラメータの感度を定量化し，非等方ガウス事後分布を用いることで，KLダイバージェンスの上界をより厳密に抑えた。
- 隠れ層幅への依存性を軽減し，クラス数に依存する一般化誤差の上界を導出し，グラフニューラルネットワークの設計指針を示した。
複数箇所への時系列特定に関する研究 [cs.CV, cs.AI]目的：複数箇所への時系列特定タスクの性能向上
- 動画とテキストの関連付けは，動画理解の重要な要素であり，様々な応用が期待される。
- 従来の時系列特定研究は，単一のセグメントの特定に偏っており，複数セグメントへの対応が課題であった。
- 単一のクエリに対し，複数の時系列セグメントを特定する新たなベンチマークと手法を確立すること。
- 本研究では，複数箇所への時系列特定のための初の包括的なベンチマークを構築し，評価指標を導入した。
- 56kサンプルの高品質なデータセットを構築し，時系列およびキャプション報酬関数を開発した。
- 提案手法は，既存モデルを大きく上回り，新たな最先端性能を達成した。
反応フラックス整合：機構発見と稀な事象の適応的サンプリング [cs.LG, physics.bio-ph, physics.chem-ph]目的：反応機構の発見と稀な事象の効率的なサンプリング手法
- 化学反応や分子動力学において，反応経路の理解は重要な課題である。
- 既存手法では，非マルコフ的な変数を用いた場合や，反応経路の特定が困難である。
- 反応経路の特定と，それを用いたサンプリング効率の向上を目指す。
- 反応経路を捉える速度場と反応座標を，データから直接学習する手法を提案した。
- 提案手法は，マルコフ性を持たない変数にも適用可能であり，安定した結果が得られる。
- 分子系における速度場と反応定数の計算により，手法の有効性を検証した。
制約付き最適化における部分空間事前条件付けのためのMulti-ResNet [cs.HC, cs.AI]目的：制約付き最適化問題に対する段階的残差ニューラルネットワークアーキテクチャ
- 最適化は，科学技術の多くの分野における基本的な問題であり，効率的な手法が求められている。
- 既存の最適化手法は，複雑な制約条件を持つ問題に対して十分な性能を発揮できない場合がある。
- 本研究は，優先順位に基づいた制約充足を可能にする新しいアーキテクチャを提案し，最適化性能を向上させる。
- 提案手法MResOptは，predict-complete-correctパイプラインに適合し，段階的に制約充足を行う。
- 理想的な無限幅条件下では，MResOptは逐次ガウス過程回帰として振る舞うことが示された。
- 実験結果から，MResOptは凸・非凸設定の両方で高優先度制約の充足を改善し，効率的な計算が可能であることが示された。
タングラム：効率的なマルチターンLLMサービングのための非一様KVキャッシュの解放 [cs.LG, cs.SE]目的：マルチターンLLMサービングにおける非一様KVキャッシュの実用化
- LLMの性能向上は，対話型AIのユーザビリティに不可欠である。
- KVキャッシュの線形的な増加が，GPUメモリと帯域幅に大きな負荷をかける。
- 非一様KVキャッシュの課題を克服し，効率的なLLMサービングを実現する。
- タングラムは，決定論的な予算割り当てにより，動的なスケジューリングオーバーヘッドとプリフィルストールを排除する。
- ヘッドグループページングにより，物理メモリの回収を最大化し，メモリ断片化を抑制する。
- AOTロードバランシングにより，ランタイムオーバーヘッドなしでGPU利用率を均一化し，スループットを最大2.6倍に向上させる。
離散拡散モデルに対する勾配情報に基づくロジット補正によるプラグアンドプレイガイダンス [cs.LG, cs.AI]目的：離散拡散モデルにおける制御可能な生成手法
- 近年，拡散モデルは画像生成などで注目されている。制御可能な生成は重要な課題である。
- 離散拡散モデルの制御は計算コストが高いか，再学習が必要となる場合が多い。
- 事前学習済みネットワークを活用し，追加学習なしで高性能なガイダンスを実現すること。
- 提案手法GILCは，事前学習済みノイズ除去ネットワークを多様な報酬関数で活用できる。
- DNA，タンパク質配列，分子生成タスクにおいて，GILCは最先端の性能を達成した。
- GILCはファインチューニング手法を凌駕することが多く，追加学習が不要である点が特徴である。
記憶拡張ニューラルネットワークを用いたAISに基づく船舶軌跡予測 [cs.CG, cs.MS, math.AT, cs.AI]目的：船舶軌跡予測の精度向上
- 安全かつ効率的な海上輸送には，正確な船舶軌跡予測が不可欠である。
- 従来の深層学習モデルでは，過去の軌跡情報の有効活用が課題であった。
- 外部メモリを活用し，関連情報を選択的に取得することで予測精度を高める。
- メキシコ湾およびニューヨークバイトのAISデータを用いた実験で，外部メモリを持たない深層学習モデルを上回る性能が確認された。
- 記憶拡張ニューラルネットワークは，船舶軌跡予測において一貫して大きな性能向上を示すことが示された。
高次元偏微分方程式のためのDAS-PINN：深層適応サンプリングを時空領域へ拡張 [cs.RO, math.NA, cs.LG, cs.NA, stat.ML]目的：高次元偏微分方程式に対する深層適応サンプリングの拡張
- 物理現象のモデリングにおいて，高次元偏微分方程式は不可欠である。
- 高次元時空領域では，一様コロケーションサンプリングが非効率となり，学習が困難になる。
- PDE残差分布に基づき，解が学習困難な領域に焦点を当て，効率的なサンプリングを実現する。
- 提案手法は，空間と時間を統一的に扱うことで，明示的な時間進行やメッシュ移動を必要としない。
- 正規化フローを用いてPDE残差から誘導される分布を学習し，新たなコロケーション点を生成する。
- 2次元の鋭い特徴や移動する特徴から，最大8次元の局所構造まで，様々なベンチマーク問題で有効性が確認された。
LLMの自己認識：活性化シグネチャの誘導と検索 [cs.AI]目的：大規模言語モデルにおける自己認識能力の検証と応用
- AI生成コンテンツの増加に伴い，その出所特定は重要性を増している。
- 既存の検出手法は，外部から信号を埋め込む必要があり，限界がある。
- モデル自身の内部表現を利用し，AI生成コンテンツの帰属問題を解決する。
- 大規模言語モデルは，生成するテキスト内に自己認識を可能にする信号を暗黙的に含むことが確認された。
- 内部残差ストリームを操作することで，テキストに識別可能なフィンガープリントを付与できる。
- このフィンガープリントは，別の言語モデルを用いて98%以上の精度で検出可能であり，生成テキストの品質を損なわない。
忘れるべきことを学習する：学習されたトークンレベル重要度によるLLMのアンラーニング改善 [cs.LG, cs.AI, cs.CL]目的：LLMのアンラーニング性能向上
- LLMは膨大な知識を持つため，特定の情報を削除しつつ汎用性を維持することが重要である。
- 既存手法では，忘却対象のトークン重要度の推定が不十分であり，精度向上の余地がある。
- モデル表現からトークンレベルの忘却重要度を効率的に学習し，忘却と維持のバランスを最適化する。
- ATWUは，TOFUとRWKUにおいて最先端の忘却-維持トレードオフを実現した。
- 学習されたスコアは，正解の忘却対象範囲と実質的に一致し，意味のある忘却シグナルを特定した。
- モデル表現から直接トークンレベルの忘却重要度を学習することで，効率的なアンラーニングが可能となった。
DragOn：ドラッグベースのGUIインタラクションに関するベンチマークとデータセット [cs.AI]目的：ドラッグベースのGUIインタラクション評価のためのベンチマークおよび学習データセット
- GUIエージェントは，デジタルタスクの自動化に不可欠であり，その性能向上が求められている。
- クリック操作のデータセットは豊富だが，ドラッグ操作のデータセットは規模が小さく，複雑な操作に課題がある。
- ドラッグ操作のデータセット不足を解消し，GUIエージェントのドラッグ操作性能を向上させる。
- DragOnデータセットは，テキスト選択，セル選択，要素サイズ変更，スライダー操作の4つの領域を網羅している。
- 学習データは286K枚のスクリーンショットと3.5Mのタスクで構成され，評価用データは2000例である。
- DragOnデータセットを用いたファインチューニングは，最先端モデルのコンピュータ利用タスクにおける性能向上に貢献する可能性がある。
PAMF：不完全時系列データのための事前知識に基づいたマルチモーダル融合 [cs.CE, cs.LG, cs.AI]目的：不完全な時系列データにおけるマルチモーダル融合手法
- 医療現場では，複数の時系列データが利用されるが，データの欠損は避けられない。
- 既存手法は，欠損情報の種類を区別せず，タスクとの連携も不十分である。
- 欠損パターンに応じた事前知識を取り入れ，タスクと連携した補完を行う。
- 提案手法PAMFは，異なる欠損パターンを明示的に扱い，補完と予測を連携させる。
- 事前知識に基づいたフローマッチングと重み共有により，タスク関連情報を補完に活用する。
- 複数の医療時系列データセットで，既存手法を上回る性能を達成した。
高次元データ多様体における効率的な平均曲率計算 [cs.LG, cs.CG, cs.CV, stat.ML]目的：高次元データセットの各点における局所平均曲率の推定
- 機械学習アルゴリズムにおいて，幾何学的な情報を活用する重要性が増している。
- 高次元データにおける平均曲率の計算は，計算コストが高く，現実的な問題への適用が困難である。
- 本研究は，高次元データにおける平均曲率計算の効率化を図り，幾何学的な特徴量としての利用を促進する。
- 提案手法では，共分散行列の固有ベクトルの直交性とトレース演算の性質を利用し，平均曲率計算のコストを大幅に削減した。
- また，特異値分解(SVD)の truncated バージョンを用いることで，計算量をさらに低減し，実用的な速度を実現した。
- 実データを用いた実験により，提案手法が既存手法に対して50倍から300倍の高速化を達成し，精度の低下も無視できる程度であることが確認された。
効果的なメカニズム解釈のための部分空間認識スパースオートエンコーダ [cs.DL, cs.LG, cs.AI]目的：大規模言語モデルにおけるメカニズム解釈のためのスパースオートエンコーダの改良
- 大規模言語モデルの内部動作を理解することは，AIの信頼性と安全性を高める上で不可欠である。
- 従来のスパースオートエンコーダは，潜在特徴を1次元と仮定しており，モデルの特徴の多次元構造を捉えきれていない。
- 本研究は，潜在特徴の多次元構造を考慮した新しいオートエンコーダを提案し，解釈性の向上を目指す。
- 提案手法であるSASAは，学習されたデコーダ部分空間を用いることで，特徴の分割を抑制し，解釈可能性を向上させる。
- SASAは，GPT-2およびMistral-7Bにおいて，標準的なSAEと同等以上の性能を発揮し，トークン消費量を削減する。
- SASAは，特徴の多次元性を考慮することで，サンプル複雑性を指数関数的に改善し，効率的な学習を実現する。
反実例のプライバシーを，合成データに対するメンバーシップ推論攻撃を活用して定量化する [cs.LG]目的：反実例のプライバシーリスク評価
- 機械学習モデルの説明責任が重要視される中，反実例は意思決定の根拠を示すツールとして活用されている。
- 反実例が悪意のある攻撃者によって，モデルや学習データへのプライバシー攻撃に利用される可能性がある。
- 合成データに対するメンバーシップ推論攻撃を応用し，モデルアクセスなしに反実例からのプライバシー漏洩リスクを評価する。
- 反実例は，学習データに類似した情報を含むため，合成データと同様にプライバシー攻撃の対象となりうる。
- 合成データ向けに開発されたメンバーシップ推論攻撃を反実例に適用し，高い成功率でプライバシー漏洩を検出した。
- モデルへのアクセス権がなくても，反実例のみからメンバーシップ推論攻撃が可能であることを示した。
性能推定におけるドメイン知識と汎化性の架け橋 [cs.LG, cs.AI]目的：分布シフト下における性能推定手法
- 機械学習モデルの信頼性評価は，実世界への応用において不可欠である。
- 分布シフトが発生した場合，既存手法はモデルのバイアスに影響されやすい。
- 外部の基盤モデルを活用し，より信頼性の高い性能推定を目指す。
- 提案手法FRAPは，基盤モデルとベースモデルの予測分布を整合させることで，精度の高い性能推定を実現した。
- FRAPは，それぞれのモデルの強みを融合し，ロバスト性とドメイン知識を両立する参照分布を構築する。
- 多様なデータセットとアーキテクチャにおいて，既存手法と比較して一貫して改善が確認された。
TokenMizer: 長い文脈を必要とするLLMにおけるグラフ構造セッションメモリ [cs.DL, cs.AI]目的：LLMセッション履歴をタイプ付き知識グラフとしてモデル化し，文脈管理の効率化
- LLMの応用範囲拡大には，長期間のタスク遂行能力が不可欠である。
- LLMの文脈窓の制限により，セッション履歴の重要な情報が失われやすい。
- セッション履歴の構造的情報を保持し，文脈コストを削減することを目指す。
- TokenMizerは，既存手法と比較して平均78トークン（42-124トークン）というコンパクトな要約ブロックを生成した。
- タスク再現率，意思決定再現率，ファイル再現率はそれぞれ51.0%，46.6%，58.7%を達成した。
- ファジーラベルマッチングがタスク再現率を33%向上させる主要因であり，ヒューリスティック圧縮により47.3%のトークン削減を実現した。
Equivariant Neural Belief Propagation：同変ニューラル信念伝播 [cs.LG, cs.SC]目的：空間埋め込み変数に対する確率推論の実現
- 物理システムのモデリングにおいて，空間的な対称性を考慮した推論が重要である。
- 既存の同変ネットワークは，異方性不確か性の表現に必要なランク2の精度テンソルを生成できない。
- SE(3)対称性を尊重する信念伝播フレームワークを構築し，高精度かつ高速な推論を実現する。
- GEOM-QM9およびGEOM-Drugsにおいて，ENBPは0.090Åの誤差で98.9%の配座カバレッジを亜秒単位の遅延で達成した。
- 拡散ベースラインと比較して，100倍以上の高速化と，より高い精度を実現した。
- 多体ロボット推論において，ENBPはほぼゼロの衝突率で収束し，機械精度での同変性誤差を示した。
TRIBE v2データ拡張による脳画像デコーディングの性能向上 [cs.AI, cs.LG, q-bio.NC]目的：脳画像デコーディング性能の向上
- 脳機能解明には脳活動データの解析が不可欠であり，認知神経科学の発展に貢献する。
- 脳活動データの取得にはコストがかかるため，データ量が限られる場合がある。
- 少ないデータでも脳画像デコーディングの精度を向上させる方法が求められている。
- 事前学習済みのfMRI応答モデルTRIBE v2を用いて，fMRIデータセットをデータ拡張した。
- 拡張データを用いた画像デコーダーの性能は，実データのみで学習した場合と比較して最大68%向上した。
- TRIBE v2は，ゼロショット脳画像デコーディングも可能にする基盤となりうる可能性を示唆した。
時系列基礎モデルを用いた攻撃検知 [eess.SY, cs.LG, cs.SY]目的：サイバー物理システムにおける攻撃検知手法
- 社会インフラ等のサイバー攻撃は甚大被害をもたらすため，早期検知が重要である。
- 既存手法はシステムモデルに依存するため，モデルが不明な場合は適用が困難である。
- システムモデル不要で攻撃を検知できる手法を提案し，その有効性を検証する。
- 提案手法は，Google Researchが開発した時系列基礎モデルTimesFMを活用し，残差生成器として機能する。
- TimesFMはゼロショット学習で機能し，従来の検知手法と同等以上の性能を達成した。
- TimesFMの予測は，欠損した計測値の代替としても利用でき，実用的な緩和策となる。
ブラジルにおける中規模天気予報のためのGraphCast性能評価 [cs.LG]目的：ブラジル4つの気候サブ地域の対流圏変数におけるGraphCastとECMWF IFS HRESの性能比較
- 地球規模の気象予報は機械学習の導入により変革期にあり，その予測精度向上は社会経済活動に不可欠である。
- グローバルサウス地域における機械学習天気予報モデルの評価は不足しており，複雑な環境下での有効性が検証されていない。
- 本研究はブラジルを対象に性能評価の基準を確立し，地域特性に最適化されたAIモデル開発の指針を提供する。
- オーストラリア冬季において，GraphCastは南ブラジルの高速な擾乱システム解像度でZ500の予測精度がIFSに劣るが，長期的には優位性を示す。
- オーストラリア夏季の雨季には，GraphCastは大気中の水蒸気輸送を正確に捉えつつ，ノイズとなる高頻度な対流変動を抑制することで，温度予報精度を改善する。
- これらの結果はブラジルにおける基準を確立し，地域特性に適応したAIモデルの最適化に向けた今後の研究を促進する。
セットプレーからの得点最大化：グラフ強化学習によるサッカーコーナーキック戦術の最適化 [cs.CL, cs.CL, cs.LG]目的：サッカーのコーナーキック戦術最適化
- サッカー戦術分析は，試合結果に大きく影響するため重要である。
- 既存手法は過去のデータに依存し，新たな戦術発見が困難である。
- グラフ強化学習を用いて，汎用的な戦術発見を目指す。
- グラフ構造データを用いた強化学習により，任意の初期配置に対応可能な汎用的な政策を確立した。
- 3,000以上のプレミアリーグのコーナーキックデータで，既存の最適化手法を凌駕する結果が得られた。
- 本研究は，セットプレー分析を歴史的評価や模倣から，報酬に基づいた戦術発見へと転換する可能性を示唆する。
知識はどこに取り入れるべきか：マルチモーダル反復生成モデルにおける知識注入のための階層的フレームワーク [cs.AI]目的：マルチモーダル反復生成モデルにおける知識注入の階層的フレームワーク
- 生成モデルの発展は，現実世界の複雑な問題を解決する上で不可欠である。表現力と制御性の両立が課題。
- 既存手法は技術種別で分類されがちで，生成プロセスへの影響点を構造的に捉えた議論が不足している。
- 生成プロセスを構成する４つの介入層に着目し，知識注入の原則を導き，安全性を向上させる。
- 本研究で提案するフレームワークは，拡散モデルにおいて，サーフェス層，軌跡層，潜在層の組み合わせにより有効性を示す。
- 各層を追加することで，既存手法では抑制できないエラーを軽減し，知識違反の出力を70.97%削減することに成功した。
- この結果は，異なる層の知識注入が相互補完的に作用することを示唆し，フレームワークの予測を裏付けている。