arXiv雑要約
AI - 2026/02/03 公開
マルチモーダル言語モデルにおけるKVキャッシュ管理のための階層型適応的退去 [cs.LG, cs.AI]目的：マルチモーダル言語モデルにおけるKVキャッシュの効率的な管理
- 大規模言語モデルの発展と，画像情報を統合したマルチモーダルLLMの重要性が増している。
- Transformerアーキテクチャのメモリ・計算コストがボトルネックであり，既存のキャッシュ退去戦略では最適化が困難。
- 画像とテキストトークン間の異質性に対応し，KVキャッシュ使用量を削減し性能を向上させることを目指す。
- 提案手法HAEは，事前入力時のDual-Attention Pruningとデコーディング時のDynamic Decoding Eviction Strategyにより，KVキャッシュ使用量を削減。
- 画像理解タスクにおいて，KVキャッシュメモリを41%削減しつつ，精度への影響を最小限（0.3%低下）に抑えることに成功。
- Phi3.5-Vision-Instructモデルにおけるストーリー生成推論を1.5倍に高速化し，出力品質を維持した。
一瞥以上の視点：KVキャッシュ圧縮における貪欲性バイアス克服 [cs.AI, cs.CL]目的：KVキャッシュ圧縮における貪欲性バイアスの克服
- 大規模言語モデルの性能向上のためには，長い文脈を扱える能力が不可欠である。
- KVキャッシュのサイズは線形に増加するため，大規模な文脈を扱う際のボトルネックとなっている。
- 既存の圧縮手法による性能劣化を防ぎ，メモリ効率と意味的再現性の両立を目指す。
- 既存の圧縮手法では，長文脈タスクにおいて15-30%の性能低下が確認された。
- LASER-KVは，128kの文脈長において，最高で10%の精度向上を達成し，安定した性能を維持した。
- 注意スコアのみがトークンの有用性の十分な指標とは限らないという従来の仮説に疑問を投げかけた。
分子特性予測のためのカーディナリティ保持構造スパースグラフTransformer [cs.LG, cs.AI]目的：分子特性予測における効率的なモデル
- 創薬において，限られたデータでの分子特性予測は重要である。膨大な化学空間を効率的に探索する必要がある。
- 利用可能なラベル付きデータが少ないため，既存モデルの性能が十分でない場合がある。
- 大規模な教師なしデータを用いた事前学習により，データ効率の良い分子表現学習を目指す。
- CardinalGraphFormerは，最短経路距離や中心性といった構造的バイアスを取り入れたグラフTransformerである。
- スパースアテンションとカーディナリティ保持集約を用いることで，11の評価タスクにおいて性能が向上した。
- MoleculeNet，OGB，TDC ADMETタスクのベンチマークで，既存モデルと比較して有意な改善が確認された。
Fat-Cat：文書駆動型メタ認知マルチエージェントシステムによる複雑な推論 [cs.DC, cs.LG]目的：複雑な推論のための文書駆動型メタ認知マルチエージェントシステム
- LLMエージェントの性能向上は重要であり，その効率的な情報利用が鍵となる。
- 既存のフレームワークは構文に依存した状態表現がボトルネックとなり，意味的推論を妨げている。
- 状態管理におけるノイズを低減し，推論能力を向上させることを目指す。
- Fat-Catは，状態をMarkdown文書として表現することで，信号対雑音比を改善する。
- タスク解決の知識をパラメータ更新なしで蓄積し，幻覚を抑制する機構を備えている。
- HotPotQAにおいて，Kimi-k2モデルがGPT-4oを上回る性能を示し，文書駆動型状態モデリングの有効性が確認された。
ドメイン特化型RAGシステムにおけるAI評価：AgriHubiケーススタディ [cs.CL, cs.CL, cs.AI, cs.IR, cs.SE]目的：ドメイン特化型RAGシステムにおけるAI評価の指針
- 知識集約型分野でのLLM活用は期待されるが，農業分野はその利用が限定的である。
- 既存のモデルは，根拠の弱さや英語中心の学習データ，評価の不足に課題がある。
- 少ない資源の言語におけるドメイン特化型RAGシステムの設計と評価を支援する。
- AgriHubiは，フィンランド語の農業意思決定支援のためのドメイン適応型RAGシステムである。
- ユーザースタディの結果，回答の完全性，言語の正確性，信頼性の向上が確認された。
- 大規模モデルの導入における応答品質と遅延時間のトレードオフが明らかになった。
テキストと物理的制約からの物理的に妥当な設計の生成 [cs.LG, cs.AI]目的：テキスト記述と物理的制約に基づいた物理的に妥当な設計
- 製品設計において，機能性と美観の両立は重要な課題である。
- 既存手法では，物理的制約と視覚的品質を同時に最適化することが困難である。
- テキストによる指示に基づき，物理的に妥当な設計を自動生成すること。
- TIDESは，テキストと物理的制約に基づいて構造と視覚特性を同時に最適化する。
- 実験の結果，TIDESは設計要件（コンプライアンスと密度）を満たす設計を生成可能であることが示された。
- 生成された2次元ビーム設計を3Dプリントし，実際に曲げ試験を行い，妥当性を検証した。
ブラックボックスの科学的理論：構成的経験主義に基づくライフサイクル規模のXAIフレームワーク [cs.LG]目的：ブラックボックスモデルに関する説明情報の体系的な記録と検証
- AIの利用拡大に伴い，モデルの予測根拠の説明可能性が重要視されている。
- 既存のXAI手法は断片的であり，モデルのライフサイクル全体を通じた説明可能性の維持が課題である。
- ブラックボックスモデルの行動を体系的に説明し，検証可能な記録をライフサイクル全体で維持すること。
- 本研究では，構成的経験主義に基づき，「ブラックボックスの科学的理論(SToBB)」の概念を導入した。
- SToBBは，観測データとの整合性，新たな観測への適応性，透明性のある記録という３つの義務を果たす。
- CoBoTアルゴリズムの実装により，SToBBの実現可能性を実証し，一貫性のある再利用可能な分析を支援する。
スペクトル重ね合わせ：特徴幾何学の理論 [cs.LG, cs.AI, math.SP, stat.ML]目的：特徴の幾何学的構造の研究
- ニューラルネットワークの性能向上には，特徴表現の理解が不可欠である。
- 既存手法では，幾何学的構造を無視し，特徴を線形に分解している。
- スペクトル解析を用いて，特徴の幾何学的構造の全体像を把握すること。
- スペクトル測度は，各特徴が固有空間にどのようにノルムを割り当てるかを示す指標となる。
- 単純なモデルにおいて，容量飽和はスペクトル局所化を引き起こすことが証明された。
- このスペクトル測度形式は，任意の重み行列に適用可能であり，特徴局在化の診断に役立つ。
デプロイ済みモデルにおける有害な分布シフト検出のための予測駆動型リスク監視 [cs.LG, eess.SP]目的：デプロイ済みモデルのリスク監視
- 機械学習モデルの社会実装が進む中で，モデルの信頼性確保が重要である。
- 実環境ではラベル付きデータが限られており，モデルの性能劣化を監視することが困難である。
- ラベルデータが少ない環境下でも，有害な分布シフトを検出し，モデルの信頼性を維持すること。
- 提案手法PPRMは，予測に基づく推論を活用し，少量のラベルデータと合成ラベルを組み合わせることで，リアルタイムなリスク下限値を算出する。
- PPRMは，名義的なリスクの上限値との比較により有害なシフトを検出し，誤報の確率に対して仮定不要な有限サンプル保証を提供する。
- 画像分類，大規模言語モデル，通信監視タスクにおける実験により，PPRMの有効性が実証された。
SEDformer：イベント同期スパイク変換器による不規則テレメトリ時系列予測 [cs.LG, cs.AI]目的：大規模インターネット接続システムからの不規則多変量時系列の正確な予測
- IoTやオンラインプラットフォームなど，大規模システムの運用において，正確な時系列予測は不可欠である。
- 既存の予測手法は，不規則なデータ構造を無視し，データのスパース性を損ね，イベントの意味を弱める問題がある。
- 本研究は，スパイクニューラルネットワークを活用し，不規則テレメトリ時系列データの特性に合わせた予測モデルを提案する。
- SEDformerは，既存の手法と比較して，予測精度を向上させるとともに，エネルギーとメモリ消費量を削減することに成功した。
- 提案手法は，イベント駆動型のスパイク変換器と時間的ダウンサンプリングモジュールを組み合わせることで，不規則データのスパース性を効果的に捉える。
- 本研究は，不規則多変量時系列データのモデリングにおける，より自然で効率的なアプローチを提供する。
リアルタイム再帰的強化学習による事前学習済みコントローラーのオンラインファインチューニング [cs.RO, cs.LG, cs.NE, cs.SY, eess.SY]目的：事前学習済みコントローラーのオンラインファインチューニング手法
- 自動運転は，人手による介入を減らし，交通効率を向上させる重要な技術である。
- 実環境では，システムの変化やセンサーのずれにより，固定されたポリシーは性能が低下しやすい。
- 環境変化に適応し，自動運転エージェントの性能を向上させる手法の開発。
- リアルタイム再帰的強化学習（RTRRL）を用いることで，事前学習済みポリシーのオンラインファインチューニングが有効であることが示された。
- RTRRLは，最近提案された液体抵抗液体容量RNNと相乗効果を発揮し，学習効率を高めることが確認された。
- シミュレーション環境および実機を用いた実験で，本手法の有効性が実証された。
脳波空間超解像のための形状・関係認識拡散モデル [cs.LG, cs.AI]目的：脳波空間超解像の性能向上
- 脳波は非侵襲的な脳活動計測法であり，医療やブレイン・マシン・インターフェース等の応用が期待される。
- 既存の脳波空間超解像手法は，空間的な生理学的構造への配慮が不足しており，性能に限界がある。
- 脳波のトポグラフィと電極間関係を考慮することで，空間超解像の精度と実用性を高める。
- 提案手法TopoDiffは，脳波トポグラフィに基づく形状埋め込みと動的な電極間関係グラフを用いることで，空間的な文脈情報を拡散モデルに組み込んだ。
- 様々な脳波データセットにおいて，提案手法は生成されたデータの忠実度を大幅に向上させ，感情認識や運動想像等の下流タスクの性能も改善した。
- 本研究は，脳波空間超解像における形状・関係情報の重要性を示し，より高精度な脳活動解析への道を開く。
深層時系列モデルにおける解釈可能性は意味的整合性を要求する [cs.LG]目的：深層時系列モデルにおける意味的整合性の確立
- 時系列データ分析は，予測精度の向上だけでなく，その根拠の理解が重要である
- 既存手法はモデル内部の説明に偏り，人間が理解しやすい形での解釈が不足している
- モデルの予測を，利用者が理解可能な変数と制約で表現することを目指す
- 深層時系列モデルの解釈可能性において，意味的整合性が不可欠であると定義した
- 意味的整合性は時間経過とともに維持される必要があり，静的な設定とは異なる制約となる
- 意味的整合性に基づいたモデル設計の指針を示し，信頼性を高めるための要素を議論した
変分エントロピー最適輸送 [cs.LG]目的：ドメイン変換問題解決のための変分エントロピー最適輸送法の開発
- 画像変換など，異なるデータ分布間の写像は重要な課題であり，その基盤技術として最適輸送が注目されている。
- 既存のエントロピー最適輸送法は，対数分配関数という計算困難な項を含むため，計算効率が課題であった。
- 変分再構成によって対数分配関数を扱いやすい形に変え，効率的な最適化を実現することで，この問題を解決する。
- 提案手法VarEOTは，補助的な正の正規化項を用いた変分再構成により，対数分配関数を効率的に最小化する。
- これにより，モンテカルロ法などのシミュレーションを必要とせず，確率的勾配降下法による学習が可能となる。
- 合成データおよび画像間の変換実験において，VarEOTは競争力のある，あるいは改善された変換品質を示した。
好奇心を保ちながら学習：アダプティブな自己蒸留による大規模推論モデルのエントロピー保存型教師ありファインチューニング [cs.LG, cs.CL]目的：大規模推論モデルにおける探索能力の向上
- 大規模言語モデルの性能向上は，様々な分野で重要な課題であり，特に推論能力の強化が求められている。
- 教師ありファインチューニングは過信を招き多様性を損なう可能性があり，強化学習の探索空間を狭めている。
- 自己生成教師による蒸留と温度調整を通じて，ファインチューニング段階での探索能力を維持し，強化学習の性能向上を目指す。
- CurioSFTは，教師ありファインチューニングにおいて，分布内タスクで2.5ポイント，分布外タスクで2.9ポイントの性能向上を達成した。
- ファインチューニング段階で保存された探索能力は，強化学習段階で具体的な性能向上に繋がり，平均で5.0ポイントの改善が見られた。
- 自己探索的蒸留とエントロピー誘導型温度選択により，知識の忘却を抑制しつつ，推論トークンにおける探索を促進する。
フィードバック誘導最適化によるアライメントを意識したモデル適応 [cs.LG]目的：アライメントを意識したモデル適応のフレームワーク
- 基盤モデルの応用範囲拡大には，タスクへの適応が不可欠である。
- 既存のファインチューニングでは，安全性や幻覚回避といったアライメントが損なわれる場合がある。
- アライメントを維持・改善しつつ，タスク性能を維持するモデル適応を目指す。
- 外部からのフィードバックを統合し，ポリシー勾配に基づく正則化を行うことでアライメントを意識したファインチューニングを実現した。
- 適応的なゲーティング機構により，サンプルごとに教師あり学習とアライメント駆動型勾配のバランスを調整し，アライメント不良のケースに優先的に対応する。
- 有害・幻覚的な出力を削減しつつ，タスク性能を維持できることを実験的に示した。また，敵対的ファインチューニングやプロンプト攻撃に対する頑健性も確認した。
潜在行動モデルにおける注意誘導：妨害要素存在下での手法 [cs.LG, cs.CV]目的：潜在行動モデルにおける，行動に関連する表現の抽出と改善
- 強化学習において，ラベルなし動画からの学習はデータ量を飛躍的に増加させ，効率的な学習を可能とする。
- 潜在行動モデルは，背景などの行動と相関するノイズの影響を受けやすく，最適な潜在空間を構築できない場合がある。
- 背景ノイズの影響を軽減し，よりロバストな潜在行動空間を構築することを目指す。
- MaskLAMは，事前学習済みのセグメンテーションモデルを用いて，再構成損失に重みを付与することで，背景要素よりも重要な情報を優先する。
- MuJoCoの連続制御タスクにおいて，MaskLAMは標準的な手法と比較して，最大4倍の報酬を獲得した。
- 線形プローブ評価により，MaskLAMは潜在行動の質を3倍に向上させることが示された。
完全バンディットフィードバック下でのマルコフ決定過程の学習 [cs.LG]目的：エピソード型マルコフ決定過程におけるバンディット学習アルゴリズム
- 強化学習は，自律的な意思決定システムの構築に不可欠であり，様々な分野で応用が期待されている。
- 従来の強化学習では，詳細な状態・行動ペアの情報が必要であり，現実的な状況での適用が難しい場合がある。
- 本研究は，状態・行動ペアの情報すら得られない，より制約の厳しいバンディットフィードバック環境下での学習を目指す。
- エピソード型マルコフ決定過程に対する効率的なバンディット学習アルゴリズムを提案し，$\widetilde{O}(\sqrt{T})$の漸近的なリグレット界限を達成した。
- 提案アルゴリズムのリグレットは，エピソード長$\H$に指数関数的に依存することを示し，これが最適であることを証明した。
- 特定の構造を持つ「順序付き」マルコフ決定過程に対しては，よりタイトなリグレット界限が得られ，実用的な問題にも応用可能である。
フローと場マッチングの二重性解明 [cs.LG]目的：フローと場マッチングの間の二重性
- 生成モデルは画像生成など多様な分野に応用され，その重要性は高い。
- 既存手法はそれぞれ制約があり，より汎用的な枠組みが求められていた。
- CFMとIFMの関連性を明らかにすることで，両者の理解を深める。
- 条件付きフローマッチング(CFM)と相互作用場マッチング(IFM)は，特定の条件下で同一のダイナミクスを持つことが示された。
- 一般化されたIFMはCFMよりも表現力が高く，CFMでは実現できない場を扱える。
- この二重性は，IFMの確率的解釈やCFMの新たな手法開発に貢献する可能性がある。
OmniCode：ソフトウェアエンジニアリングエージェントの評価ベンチマーク [cs.SE, cs.AI, cs.CL]目的：ソフトウェアエンジニアリングエージェントの能力評価
- ソフトウェア開発は，現代社会の基盤であり，その効率化は重要である。
- 既存のベンチマークは限定的なタスクに焦点を当て，実務的な多様性を欠いている。
- 実世界におけるソフトウェア開発タスクを網羅する評価環境の提供。
- OmniCodeは，Python，Java，C++の3言語，4つのカテゴリ（バグ修正，テスト生成，コードレビュー修正，スタイル修正）を含む1794のタスクで構成される。
- 既存のベンチマークと異なり，タスクは手動で検証され，データ漏洩を防ぐために合成または最新のデータで作成されている。
- SWE-Agent等のエージェントフレームワークはPythonのバグ修正には高い性能を示すものの，テスト生成やJava，C++等の言語では課題が残る。
多段階カリキュラム訓練による教師なし物理情報に基づく演算子学習 [cs.LG, cs.AI]目的：偏微分方程式を解くための演算子学習手法
- 科学機械学習において，偏微分方程式の求解は重要な課題である。物理現象のシミュレーション等に応用が期待される。
- 従来のニューラル演算子は教師ありデータを必要とし，物理情報に基づくニューラルネットワークは収束の不安定性や汎化性能の限界を抱える。
- 境界条件を段階的に適用し，内部残差を取り込むことで，収束性と汎化性能を向上させる手法を提案する。
- 提案手法であるPhIS-FNOは，狭い境界領域のみにラベル付き情報を用い，教師あり学習に匹敵する精度を達成した。
- 多段階の最適化とスプラインに基づく評価により，物理情報に基づく演算子学習の堅牢なパラダイムを確立した。
- 最適化の再初期化が，安定性を回復し，勾配の停滞を防ぐ継続メカニズムとして機能する。
OpenSeal：並行データによるオープンソース東南アジアLLMの，良質・高速・低コストな構築 [cs.CL, cs.AI]目的：東南アジア言語に特化したオープンソースLLMの構築
- LLMは多様なNLPタスクで有効だが，低リソース言語への対応が課題である。
- 既存の東南アジアLLMは，学習データが公開されておらず，真のオープンソースではない。
- 並行データを用いたLLMの継続事前学習により，東南アジア言語への拡張を目指す。
- 並行データのみを用いることが，LLMの新たな言語への拡張に最も効果的である。
- わずか347億トークンの並行データと180時間で，OpenSealを構築した。
- OpenSealは既存の同規模モデルに匹敵する性能を持つ，初の真のオープンソース東南アジアLLMである。
HopFormer：明示的な受容野制御による疎なグラフTransformer [cs.LG]目的：グラフTransformerにおける受容野制御のあり方
- グラフ構造データに対する機械学習の応用範囲が拡大しており，高性能なモデルが求められている。
- 従来のグラフTransformerは，位置情報や構造エンコーディング，密なグローバルアテンションに依存し，計算コストが高い。
- 疎なアテンション機構により，計算効率を向上させつつ，グラフ構造を効果的に捉える。
- HopFormerは，位置エンコーディングや構造変更なしに，ヘッド固有のn-hopマスクされた疎なアテンションを用いることでグラフ構造を注入する。
- 受容野を明示的に制御し，計算コストをマスクの疎性に比例して線形に抑えることに成功した。
- 実験結果から，HopFormerは多様なグラフ構造において，競合またはそれ以上の性能を発揮し，密なグローバルアテンションが必ずしも必要でないことが示された。
multipanda_ros2：多腕システムのリアルタイムROS2フレームワークによるシミュレーションと現実のギャップ解消 [cs.RO, cs.AI, cs.SE, cs.SY, eess.SY]目的：多腕ロボットシステムのリアルタイム制御のためのROS2フレームワーク
- ロボット技術の発展に伴い，複数ロボットの連携制御が重要になってきている。
- シミュレーション環境と現実環境との乖離が，ロボットシステムの性能向上を阻害する要因となっている。
- シミュレーション環境と現実環境の整合性を高め，リアルタイム制御を可能とするフレームワークの開発。
- 本研究で開発されたmultipanda_ros2は，複数台のFranka Roboticsロボットを単一プロセスから制御可能である。
- 1kHzの制御周波数を維持し，安全基準を満たすリアルタイム制御を実現した。制御切り替え遅延は2ms以下である。
- MuJoCoシミュレーションとの連携と，現実世界の慣性パラメータ同定により，シミュレーションと現実のギャップを縮小した。
LLMの安全性テストのための表現認識型カバレッジ基準 RACA [cs.CL, cs.CE, cs.CL, cs.SE, cs.AI, cs.CL, cs.CR, cs.LG]目的：LLMの安全性テストにおけるカバレッジ基準の改善
- 近年のLLMの進歩はAI応用の飛躍的発展をもたらしたが，安全性確保が重要課題となっている。
- 既存の安全性テストは静的データセットに依存し，テストの質を評価する体系的な基準が不足している。
- RACAは，LLMの安全性テストに特化した新しいカバレッジ基準を提供し，質の高いテストを実現することを目指す。
- RACAは，表現工学を活用することで，LLM内の安全性に関わる概念に焦点を当て，次元削減とノイズ除去を行う。
- 実験の結果，RACAは高品質な攻撃プロンプトを特定し，従来のニューロンレベル基準よりも優れた性能を示すことが確認された。
- RACAは，テストセットの優先順位付けや攻撃プロンプトのサンプリングなど，現実世界のシナリオへの応用も実証されている。
物理的緩和としての誤差逆伝播：有限時間での正確な勾配 [cs.LG, cs.AI, cs.NE, physics.class-ph, physics.comp-ph]目的：誤差逆伝播の物理的解釈と，その正確な勾配計算の理論的根拠
- 深層学習は様々な分野で成果を上げており，その基盤技術である誤差逆伝播の理解が重要である。
- 従来の誤差逆伝播の理論的解釈は限定的であり，物理現象との関連性が不明確であった。
- 誤差逆伝播を物理システムとして捉え，正確な勾配計算のメカニズムを解明することを目指す。
- 誤差逆伝播は，活性化と感度をエンコードする二重状態空間上のエネルギー関数の有限時間緩和として正確に導出される。
- 層遷移の自然な時間スケールである単位ステップオイラー離散化により，L層ネットワークで正確に2Lステップで標準的な誤差逆伝播が再現される。
- 本研究は，アナログやニューロモーフィック基板における正確な勾配計算の厳密な基盤を提供する。
MoLF: 混合潜在フローによるパン癌空間遺伝子発現予測（組織学的画像からの推測） [cs.LG]目的：パン癌における組織学的画像からの空間遺伝子発現予測
- 癌研究において，遺伝子発現と組織構造の空間的関係を理解することは重要である。
- 既存手法は単一組織に限定され，癌種を超えた共通原理の活用が困難である。
- パン癌データを用いて，多様な組織パターンに対応可能なモデルを構築すること。
- MoLFは，複数の専門家ネットワークを動的に切り替えることで，多様な組織パターンを効率的に学習する。
- パン癌ベンチマークにおいて，既存の専門モデルや基盤モデルを上回る最先端の結果を達成した。
- 種を超えたデータに対するゼロショット汎化能力を示し，基本的な組織分子メカニズムを捉えている可能性を示唆する。
遅延フィードバック型収益管理のための選択モデル支援Q学習 [cs.LG, stat.ML]目的：遅延フィードバック型収益管理における強化学習
- 収益管理は，限られた資源を最適に配分し，企業収益を最大化する重要な分野である。
- 顧客の予約変更やキャンセルが遅れて判明するため，フィードバックが遅延する状況下での収益管理は困難である。
- 選択モデルを活用し，遅延する収益情報を補完することで，強化学習の性能向上を目指す。
- 提案手法は，固定された選択モデルを用いて，学習ターゲットの遅延成分を補完する。
- 理論的には，モデル補完されたQ学習は，最適Q関数近傍に収束することが証明された。
- シミュレーション実験では，パラメータ変動下で有意な収益向上を示し，モデル誤指定下では性能劣化が確認された。
Lean 4における統計学習理論：経験過程の基礎からの構築 [cs.LG, cs.CL, math.ST, stat.TH]目的：統計学習理論の形式化
- 機械学習の理論的基盤を厳密に検証する重要性が高まっている
- 既存の統計学習理論の教科書には暗黙の仮定や詳細な記述の不足がある
- 統計学習理論の形式化を通じて，理論の理解を深め，再利用可能な基盤を構築すること
- 本研究では，Lean 4を用いて統計学習理論を形式化するための包括的なインフラストラクチャを実装した。
- ガウスのリップシッツ集中不等式やダドリーのエントロピー積分定理の形式化を行い，最小二乗回帰に応用した。
- 人間とAIの協調的なワークフローによって形式化を行い，統計学習理論のためのLean 4ツールボックスを構築した。
WildSpoofチャレンジ用DFKI-Speechシステム：In-the-WildにおけるロバストなSASVフレームワーク [cs.SD, cs.AI, cs.LG]目的：In-the-Wild環境におけるSASV（スピーカ認証における偽造検知）フレームワーク
- 音声認証技術は，セキュリティシステムや個人認証など，幅広い分野で利用されており，その重要性は高い。
- 実際の環境下では，ノイズや様々な偽造音声による攻撃が存在し，認証精度が低下する課題がある。
- 本研究では，ノイズや偽造音声にロバストなスピーカ認証システムを構築し，その精度向上を目指す。
- 偽造音声検知器として，自己教師あり学習による音声埋め込み抽出と最先端のグラフニューラルネットワークを組み合わせた。
- スピーカ認証には，2Dと1D特徴量を多スケールで融合する低複雑度なCNNを採用し，SphereFace損失とコントラスト円損失を用いた。
- AS Normスコア正規化やモデルアンサンブルにより，スピーカ認証システムの識別能力をさらに向上させた。
自己回帰型時系列予測の最適化手法 [cs.CL, cs.LG, cs.AI]目的：時系列予測における最適化
- 時系列データ予測は，経済，気象，金融など，幅広い分野で不可欠である。
- 既存モデルはモデル規模拡大に依存し，真の自己回帰性を活かせていない。
- 時系列予測における時間的因果関係を考慮した訓練法の開発。
- 提案手法は，複数のベンチマークにおいて最先端の結果を達成し，iTransformer等の既存手法を10%以上上回るMSE削減を実現した。
- 短期予測モデルが，通常7.5倍以上の予測期間において信頼性の高い長期予測を可能にした。
- 自己回帰予測誤差が予測期間とともに増加するという原則を損失関数で明示的に強制した。
幻覚か創造性か：AI生成科学物語の評価方法 [cs.CL, cs.AI]目的：AI生成科学物語の評価基準
- 科学技術の発展に伴い，専門知識を分かりやすく伝える必要性が高まっている。
- 既存の要約指標では，物語としての創造性や教育的効果を十分に評価できない。
- 科学的な正確性と物語の創造性の両立を評価する新しい指標の開発。
- 本研究では，意味的整合性，語彙的根拠，物語の制御，構造的忠実性，冗長性の回避，そしてエンティティレベルの幻覚検出を統合した複合指標「StoryScore」を提案した。
- 分析の結果，既存の幻覚検出方法が，教育的な創造性と事実誤認を区別できないという限界が明らかになった。
- 自動指標は元のコンテンツとの意味的類似性を評価できるが，物語の語り方や制御方法の評価には苦戦する。
大規模言語モデルにおける段階的推論評価フレームワークEvalQReason [cs.CC, cs.LG]目的：大規模言語モデルの推論過程の質的評価
- 信頼性の高い推論が求められる応用が増加しており，LLMの推論能力評価が重要である。
- 既存の手法は最終的な正答に焦点を当てており，推論のステップごとの評価が困難である。
- 推論ステップごとの確率分布分析を通じて，LLMの推論過程の質を定量的に評価することを目指す。
- 提案手法EvalQReasonは，人間のアノテーションを必要とせずに，LLMの推論過程の質を評価する。
- Consecutive Step Divergence (CSD)を用いた特徴量は，正答判定において高い予測性能を示した（F1=0.78, ROC-AUC=0.82）。
- Sequentialモデルは，古典的な機械学習モデルを凌駕し，より高い性能（F1=0.88, ROC-AUC=0.97）を達成した。また，数学と医療分野で推論の特性に違いが認められた。
ニューラルネットワークにおける汎化性能とメンバーシッププライバシーリスクの分離 [cs.LG, cs.AI, cs.CR]目的：ニューラルネットワークにおける汎化性能とプライバシーリスクの分離
- 深層学習は高度な性能を発揮するが，プライバシー保護との両立が課題である
- プライバシー保護手法は，汎化性能の低下を招くことが多い
- 汎化性能を維持しつつ，プライバシー保護を最大化することを目指す
- モデルの汎化性能とプライバシーリスクは，ニューラルネットワークの異なる領域に存在することを確認した
- プライバシー保護訓練原理（PPTP）を提案し，プライバシーリスクを軽減しつつ汎化性能の低下を最小限に抑えた
- 提案手法は，プライバシー保護を強化しつつ，モデルの汎化性能を大幅に維持できることを示した
モジュール型勾配手術による汎用推論モデルの発展 [cs.HC, cs.CL, cs.AI, cs.LG]目的：多様なドメインにおける汎用的な推論モデルの学習
- 大規模言語モデルは推論能力において目覚ましい進歩を遂げており，その重要性は増している。
- 異なるドメイン間での干渉が課題であり，汎用的なモデルの学習を困難にしている。
- ドメイン間の干渉を軽減し，汎用的な推論モデルの学習を可能にすること。
- 提案手法MGSは，LlamaとQwenモデルにおいて，標準的なマルチタスクRLよりも平均4.3点（16.6%）と4.5点（11.1%）の改善を達成した。
- MGSは，数学，一般的なチャット，指示応答の3つの代表的なドメインで有効であることが示された。
- 詳細な分析により，MGSが長期的な学習においても効果を維持することが確認された。
大規模言語モデルにおける行動変化の説明には比較アプローチが不可欠 [cs.AI, cs.LG]目的：大規模言語モデルにおける行動変化の説明方法
- 近年，大規模言語モデルの能力向上に伴い，その挙動の理解が重要課題となっている。
- モデルの拡張，微調整等による行動変化のメカニズム解明が遅れている。
- モデル間の変化に焦点を当てた説明手法を確立し，変化の根拠を明確にすること。
- 従来のXAI手法は単一時点での解釈に限定され，モデル変化の要因特定には不向きである。
- 本研究では，参照モデルと介入モデルの差分に着目する比較XAI（$\Delta$-XAI）フレームワークを提案する。
- $\Delta$-XAIのパイプライン例を示し，その設計指針と実験を通して有効性を示す。
Spark：モジュール化されたスパイクニューラルネットワーク [cs.NE, cs.AI, cs.LG]目的：スパイクニューラルネットワークのための効率的かつ合理化されたパイプライン
- 近年，AIの代名詞となっているニューラルネットワークは，データとエネルギーの効率性に課題がある
- スパイクニューラルネットワークはハードウェア実装に適するが，効果的な学習アルゴリズムが確立されていない
- モジュール設計によるフレームワークを構築し，連続学習や動物の学習に迫る研究を加速させる
- 本研究では，新しいスパイクニューラルネットワークのフレームワーク「Spark」を提案した。
- Sparkは，単純なコンポーネントから完全なモデルまで，モジュール設計に基づいている。
- スパイク報酬型カルトロール問題において，単純な可塑性メカニズムを用いたSparkの有効性を実証した。
イントロンとテンプレートが重要：GP-GOMEAにおけるリンケージの再考 [cs.NE]目的：GP-GOMEAにおけるリンケージ学習の改善
- 記号回帰は，解釈可能な数式を発見する上で重要であり，複雑な問題を解決する可能性を秘めている。
- GP-GOMEAでは，テンプレート固定により不要なイントロンが発生し，リンケージ学習の精度を低下させる可能性がある。
- イントロンを考慮した新たなリンケージ学習手法を提案し，GP-GOMEAの性能向上を目指す。
- 提案手法により，5つの標準的な記号回帰問題において，GP-GOMEAの性能が大幅に向上した。
- 新たに学習されたリンケージ構造は，テンプレートのリンケージ構造と密接に関連していることがわかった。
- テンプレート構造を明示的に利用することが，最も優れた性能につながった。
統合的方策勾配によるLLMの推論解釈と制御 [cs.AI, cs.CL, cs.LG]目的：LLMの推論メカニズムの解釈と制御
- LLMは複雑な問題を解決する強力な推論能力を持つため，そのメカニズムの理解が重要である。
- 既存の手法では，複雑な推論メカニズムの正確な特定や，内部状態から出力への影響の把握が困難である。
- 推論行動に逐次的に貢献する要素を特定し，推論能力を精密に制御することを目指す。
- 提案手法である統合的方策勾配（IPG）は，推論結果の精度を逆伝播させることで，モデル内部要素の貢献度を特定する。
- IPGは，より正確な局所化を実現し，多様な推論モデルにおける推論行動（能力，強さなど）の信頼性のある調整を可能にする。
- 結果として，推論メカニズムの解釈と制御において，既存手法よりも高い性能を示す。
ルール正規化法による分子構造と自然言語記述の大規模データセット [cs.CL, cs.AI, q-bio.BM]目的：分子構造と自然言語記述の対応関係を構築するための大規模データセット
- 分子の機能は構造に大きく依存し，化学分野におけるLLMの推論能力向上に不可欠である。
- 高品質な構造に基づいた記述データの人的アノテーションコストが高く，大規模データセットの構築が困難である。
- ルールベースの化学命名法解析を活用し，自動的に正確な分子構造記述を生成する。
- 本研究で構築したデータセットは，約163,000組の分子構造と記述のペアから構成される。
- LLMと専門家による評価の結果，記述の精度は98.6%と高いことが確認された。
- このデータセットは，分子と自然言語の対応研究の基盤となり，他の化学タスクへの応用も期待できる。
TTT-パークール：知覚的ロボットパークールのテスト時高速学習 [cs.CL, cs.SI, cs.RO, cs.AI]目的：未知の複雑な地形における高度なダイナミックヒューマノイドパークールの実現
- ロボットにおける複雑な地形での運動能力は，実用的な応用を広げる上で不可欠である。
- 汎用的な歩行ポリシーは，複雑かつ困難な環境への適応に苦戦することが多い。
- 本研究は，テスト時の高速学習により，ロボットの困難な地形走破能力を向上させる。
- 提案手法TTP-Parkourは，ヒューマノイドロボットが様々な複雑な障害物（楔，杭，箱など）を克服することを可能にする。
- 現実世界のキャプチャから再構成された高精度なメッシュを用いて，テスト時に高速な学習を実現する。
- キャプチャ，再構成，テスト時学習の全パイプラインは，ほとんどのテスト地形で10分以内に完了する。
VQスタイル：残差量子化表現によるモーションのスタイルとコンテンツの分離 [cs.CV, cs.AI, cs.LG]目的：モーションデータのスタイルとコンテンツの分離
- 人間のモーションは多様であり，コンテンツとスタイルの理解が重要である。
- モーションデータのスタイルとコンテンツを効果的に分離することは困難である。
- 未知のスタイルへのモーションスタイル転送を可能にすること。
- 残差ベクトル量子化変分オートエンコーダ（RVQ-VAE）を用いて，モーションの粗い表現から細かい表現への階層的表現学習を実現した。
- コントラスト学習と新しい情報漏洩損失を統合することで，コンテンツとスタイルを異なるコードブックに整理し，分離を強化した。
- 量子化コードスワップというシンプルな手法により，未知のスタイルに対してもファインチューニングなしにモーションのスタイル転送を可能にした。
設計に基づいた安全なデータレイクハウスの構築：データ契約，バージョン管理，および人間とエージェントのためのトランザクションパイプライン [cs.DC, cs.AI, cs.DB]目的：データレイクハウスにおける安全性確保のための設計
- データ分析とAIの基盤としてデータレイクハウスの重要性が増している。
- 信頼できない主体が同時にデータにアクセスすると，不整合や部分的な影響の漏洩が発生する。
- パイプライン境界のチェック，バージョン管理，および原子性を実現し，不正な状態を排除すること。
- Bauplanは，型付きテーブル契約，Gitライクなバージョン管理，トランザクション実行により，データレイクハウスの安全性を高める。
- 形式的なトランザクションモデルによる初期検証の結果，有効性が示唆された。
- 反例に基づいた今後の研究課題についても議論された。
生成推薦トークナイザーの再考：RecSysネイティブなエンコーディングとLLMを超えた意味量子的量子化 [cs.IR, cs.AI]目的：シーケンシャル推薦システムのスケールアップのための有望なパラダイムであるSemantic ID (SID) ベースの推薦手法の改善
- 推薦システムの精度向上と効率化は，情報過多な現代において重要な課題である。
- 既存のSIDベース手法は，汎用的な量子化スキームに依存しており，推薦精度と計算効率のバランスが課題である。
- 推薦タスクに特化した表現学習と量子化手法を開発し，推薦性能と効率を同時に向上させる。
- 提案手法ReSIDは，構造化特徴から予測に必要なアイテム表現を学習するFAMAEと，意味的曖昧さと前方条件付き不確実性を低減するGAOQで構成される。
- ReSIDは，10のデータセットにおいて，強力なシーケンシャル推薦モデルやSIDベースの生成モデルを平均で10%以上上回る性能を示した。
- トークン化コストを最大122倍削減し，計算効率の向上も実現した。
なぜステアリングが機能するのか：言語モデルパラメータダイナミクスの統一的見解に向けて [cs.CL, cs.AI, cs.CV, cs.IR, cs.LG]目的：大規模言語モデルの制御手法に関する研究
- 言語モデルの制御は，その能力を最大限に引き出す上で不可欠であり，応用範囲の拡大に繋がる。
- 既存の制御手法は個別に研究されており，それらの関連性や比較が困難であるという課題がある。
- 様々な制御手法を統一的な枠組みで捉え，制御効果のメカニズムを解明することを目指す。
- 様々な制御手法は，制御信号によって誘起される動的な重み更新として捉えることができる。
- 制御効果は，目的概念への傾向である「選好度」と，一貫性のある生成である「有用性」に分けられ，トレードオフの関係が観察された。
- 新しいステアリング手法SPLITは，選好度を向上させつつ，有用性の低下を抑制することに成功した。
マルチエージェント議論のための文脈学習 [cs.CE, cs.MA, cs.AI, cs.LG, cs.MA]目的：マルチエージェント議論における文脈の一貫性向上
- 近年，LLMを活用した協調問題解決が注目されており，その有効性が期待されている。
- 既存手法では，エージェント間の文脈不一致により議論が混乱し，合意に至らない問題がある。
- 本研究は，文脈生成器を用いてエージェントの文脈を動的に制御し，議論の一貫性を高めることを目指す。
- 提案手法M2CLは，文脈生成器を訓練することで，議論ラウンドごとに文脈指示を生成し，文脈の一貫性と出力の差異を制御する。
- 学術的推論，具現化タスク，モバイル制御といった様々なタスクにおいて，既存手法を20%～50%上回る性能を示した。
- M2CLは高い汎化性能と計算効率も実現している。
テクスチャの暗黙的ニューラル表現 [cs.CV, cs.AI, cs.GR, cs.LG]目的：テクスチャの暗黙的ニューラル表現
- 近年の機械学習の発展は，画像処理分野に革新をもたらしている。
- 従来のテクスチャ表現は，離散的な情報に基づき，高解像度化に課題があった。
- 連続的な表現を用いることで，テクスチャの品質向上と効率的な処理を目指す。
- 提案手法は，画像品質の面で良好な性能を示すことが実験的に確認された。
- メモリ使用量とレンダリング速度のバランスについても分析が行われた。
- リアルタイムレンダリングやmipmapfittingといった応用例についても検討された。
階層型連合学習におけるSignSGD：高効率な通信手法 [cs.DC, cs.IT, cs.LG, math.IT]目的：大規模ワイヤレス・IoTシステムにおける高効率な通信手法の開発
- ワイヤレス・IoTデバイスの増加に伴い，分散型学習の重要性が高まっている。
- 通信帯域幅や遅延制限のため，勾配情報の圧縮が課題となっている。
- SignSGDの階層型構造への適用と，その収束性保証を目指す。
- 提案手法HierSignSGDは，極端な圧縮を用いながらも，フル精度SGDと同等以上の精度を達成した。
- エッジ層での多数決集約とクラウド層でのモデル集約の相互作用を分析し，収束性を評価した。
- データ分布の均一性・不均一性の両方において，通信コストの削減効果が確認された。
NAB：疎視点CT再構成のためのニューラル適応ビニング [cs.CV, cs.LG]目的：疎視点CT再構成の精度向上
- 工業製品の内部構造検査においてCTは不可欠であり，品質管理に大きく貢献する。
- 疎視点からのCT再構成は，コスト削減に繋がるが，再構成品質の低下が課題である。
- 工業製品の多くが矩形構造を持つ点に着目し，形状事前知識を再構成に組み込むことで精度向上を目指す。
- 提案手法NABは，座標空間をビニングベクトル空間に変換する革新的なビニングメカニズムを用いる。
- NABは，ビニング関数の滑らかさを調整することで，複雑な形状を持つ物体への汎化性能も示す。
- 工業製品データセットにおいて，既存手法を上回る優れた性能が確認された。
SWE-Universe：現実世界の検証可能な環境を数百万規模に拡張 [cs.CL, cs.SE, cs.AI]目的：現実世界のソフトウェアエンジニアリング検証環境の自動構築
- ソフトウェア開発の自動化は，生産性向上や品質改善に不可欠である。
- 自動構築の成功率は低く，検証の信頼性やコストが課題となっている。
- 高精度で検証可能なタスクを効率的に生成し，大規模な環境構築を実現する。
- SWE-Universeにより，現実世界の多言語ソフトウェアエンジニアリング環境を100万規模（807,693）に拡張することに成功した。
- 大規模なエージェントのミッドトレーニングおよび強化学習において，本環境の有用性が確認された。
- Qwen3-Max-Thinkingに適用した結果，SWE-Bench Verifiedで75.3%のスコアを達成した。