arXiv雑要約
AI - 2026/02/03 公開
PRISM：推測サンプリングドラフトモデルのパラメトリックなリファクタリング推論 [cs.AI, cs.CL, cs.LG]目的：推測サンプリングによる大規模言語モデルの高速化
- 大規模言語モデルの利用拡大に伴い，推論速度の向上が重要課題となっている。
- 推測デコーディングでは，ドラフトモデルの品質向上と計算コストの増大がトレードオフの関係にある。
- PRISMは，モデル容量と推論コストを分離し，このトレードオフを解消することを目指す。
- PRISMは，既存のドラフトアーキテクチャと比較して，高い受容長と低いドラフトレイテンシを両立し，エンドツーエンドの高速化を実現した。
- PRISMは，データ量の増加に対して，他のドラフトアーキテクチャよりも効率的にスケールすることが示された。
- 最適化された推論エンジンにおいて，PRISMはデコーディングスループットを2.6倍以上向上させた。
ハイブリッド線形-全注意における証明可能な表現力の階層 [cs.LG, cs.AI, cs.CC]目的：効率的な注意メカニズムの表現力の差異に関する理論的特徴付け
- 現代の大規模言語モデルの基盤であるTransformerの効率化が求められている
- 線形注意やハイブリッド注意などの効率的な注意メカニズムの表現力は未解明であった
- 全注意との比較において，ハイブリッド注意の表現力の限界を明確化する
- 全注意ネットワークは，多段階推論タスクを解決するために必要な層数が少ない
- ハイブリッドネットワークは，同等の性能を発揮するために，線形注意層が指数関数的に増加する必要がある
- ハイブリッド注意と全注意の表現力の分離を理論的に証明し，それぞれの能力と限界を理解する基盤を提供する
拡散モデルにおけるバックドアの検出と除去：時間的ノイズ一貫性に基づくセンチネル [cs.CR, cs.AI]目的：拡散モデルへのバックドア攻撃の検出と除去
- 拡散モデルはAIGCサービスで広く利用されているため，その安全性確保が重要である。
- 学習データやプロセスが不透明であるため，バックドア攻撃の標的となりやすいという問題がある。
- モデルパラメータにアクセスできない状況下で，バックドアを検出し，生成品質を維持しつつ除去することを目指す。
- 本研究では，入力トリガー時に隣接する拡散ステップ間のノイズ予測が一貫性を失うという，これまで報告されていなかった現象を特定した。
- 提案手法TNC-Defenseは，このノイズ一貫性を活用し，バックドアの検出と除去を統一的に行うフレームワークである。
- 実験結果から，TNC-Defenseは平均検出精度を11%向上させ，トリガーされたサンプルの98.5%を無効化し，生成品質への影響も軽微であることが示された。
効率的な長文脈モデリングのための協調メモリTransformer (CoMeT) [cs.LG, cs.AI]目的：長文脈処理におけるTransformerの効率化
- 自然言語処理において，長文脈を扱えるモデルの重要性が増している。
- Transformerは計算量が増大し，長文脈の処理が困難である。
- CoMeTは，Transformerのメモリ使用量と計算量を削減し，長文脈処理を可能とする。
- CoMeTは，一定のメモリ使用量と線形時間複雑度で，任意の長さのシーケンスを処理できる。
- 32k文脈でファインチューニングされたCoMeTは，1Mトークンシーケンスからパスキーを正確に取得できる。
- SCROLLSベンチマークにおいて，CoMeTは他の効率的な手法を上回り，要約タスクでフルアテンションベースラインに匹敵する性能を示す。
IRIS：暗黙的な報酬誘導による内部選別によるマルチモーダルハルシネーションの軽減 [cs.LG, cs.AI]目的：マルチモーダルハルシネーションの軽減策
- マルチモーダル大規模言語モデルの発展において，ハルシネーションは重要な課題である。
- 既存手法は外部評価者への依存度が高く，オフポリシー学習のギャップや離散化損失が生じやすい。
- モデル内部状態を活用し，マルチモーダル間の競合を解決することでハルシネーションを軽減する。
- IRISは，ネイティブな対数確率空間で連続的な暗黙的報酬を活用し，完全な情報密度を維持する。
- 自己生成されたペアに基づいて最適化を行うことで，学習ギャップを解消し，マルチモーダル間の競合を直接解決する。
- わずか5.7kサンプルで主要なハルシネーションベンチマークで高い性能を達成し，効率的かつ原理的な軽減策であることを確認した。
明示的なグラフ構造理解のための1つのLLMトークン：<SOG_k> [cs.CL, cs.AI, cs.NI]目的：グラフ構造の理解
- 非構造化データ理解においてLLMの潜在能力は大きい。しかし，グラフ構造の扱いは課題である。
- 既存手法は，トークン消費量の増加や注意の散漫，あるいはテキストとのずれといった問題がある。
- グラフ構造を1つのトークンで表現し，LLMによる正確かつ簡潔な構造理解を実現すること。
- 提案手法<SOG_k>は，LLMにグラフの構造を理解，生成，推論させる能力を与える。
- 5つのグラフレベルベンチマークで，ベースラインと比較して9.9%から41.4%の性能向上を達成した。
- ノードレベルタスクにも柔軟に対応可能であり，グローバルおよびローカルな構造理解を実現する。
DIA-CLIP：ゼロショットDIAプロテオミクスのための汎用表現学習フレームワーク [cs.LG, cs.AI, q-bio.QM]目的：ゼロショットDIAプロテオミクスにおけるペプチドスペクトルマッチング推論
- DIA-MSは，深さと再現性でプロテオミクス解析の基盤技術である。
- 既存のDIA解析は，過学習を起こしやすく，種や実験条件への汎用性に欠ける。
- DIA-CLIPは，汎用的な表現学習により，この問題を解決することを目指す。
- DIA-CLIPは，ペプチドとスペクトル特徴の統一的な表現を確立し，高精度なゼロショットPSM推論を実現した。
- 多様なベンチマークにおいて，最先端ツールを上回り，タンパク質同定率を最大45%向上させた。
- 誤同定を12%削減し，シングルセルや空間プロテオミクスなどへの応用が期待される。
インタラクティブデバイスのプロトタイピングのためのコストを考慮したベイズ最適化 [cs.HC, cs.LG]目的：インタラクティブデバイスのプロトタイピングにおける最適化手法
- 反復的な設計において，アイデアの選択は重要であり，効率的なプロトタイピングが成功の鍵となる。
- プロトタイピングのコストは大きく異なり，設計者は探索を躊躇しがちであるという課題がある。
- 多様なプロトタイピングコストを考慮し，より費用対効果の高い探索を可能にすることを目指す。
- 提案手法は，既存のベイズ最適化に最小限の変更を加えることで，コストを考慮した最適化を実現した。
- 技術評価では，コストを無視したベースラインと同等の性能を，約70%のコストで達成した。
- ユーザー実験では，現実的なジョイスティック設計タスクにおいて同様の利点を確認した。
大規模オンラインユーザー反応予測における効率的なクロスアーキテクチャ知識転移 [cs.AI, cs.LG]目的：大規模ユーザー反応予測システムにおける知識転移手法
- ユーザー反応予測は，オンラインサービスの品質向上に不可欠であり，その精度向上が重要である。
- 新しいアーキテクチャの導入には，大規模データの再学習コストや，データ保持制約による性能劣化の問題がある。
- アーキテクチャ間の知識転移を効率化し，学習コストと性能劣化を同時に軽減することを目指す。
- CrossAdaptは，次元適応投影と段階的ネットワーク蒸留により，オフラインでの迅速な埋め込み転移を実現した。
- オンライン段階では，非対称共同蒸留と分布を考慮した適応メカニズムにより，知識の保存と適応を両立した。
- 公開データセットおよびTencent WeChat Channelsでの実験により，AUCの改善と学習時間の短縮が確認された。
位置：モデル中心の予測を超えて ― エージェント型時系列予測 [cs.LG]目的：時系列予測におけるエージェント型アプローチの確立
- 時系列予測は，経済，科学，社会など様々な分野で不可欠な技術である。
- 従来の予測手法は，静的で単一の処理に限定され，変化への適応が困難である。
- 予測プロセスをエージェントとして捉え，動的な環境下での性能向上を目指す。
- 本研究は，時系列予測を，知覚，計画，行動，反省，記憶からなるエージェント型プロセスとして捉え直すことを提案する。
- ワークフローベース設計，エージェント型強化学習，ハイブリッドなワークフローという3つの実装パラダイムを提示する。
- モデル中心の予測からエージェント型予測への移行における機会と課題について議論する。
高次元における確率的勾配推定のためのシュタイン・ルール縮小 [cs.LG, cs.AI, math.ST, stat.ML, stat.TH]目的：高次元確率的勾配推定におけるリスク最小化
- 大規模学習において確率的勾配法は不可欠であり，その性能向上が重要である。
- 高次元空間では，不偏推定量の最適性が保証されず，性能向上の余地がある。
- シュタイン・ルール縮小に基づく推定器を導入し，確率的勾配推定の改善を目指す。
- 提案手法は，二乗誤差損失において標準的な確率的勾配を一様に上回り，ミニマックス最適性を示す。
- 本推定器をAdamオプティマイザに組み込むことで，計算コストをほぼ増やすことなく性能向上が実現した。
- CIFAR10およびCIFAR100での実験結果から，特に高次元畳み込み層への選択的な縮小が有効であることが示された。
LingLanMiDian：TCM知識と臨床推論に関するLLMの体系的評価 [cs.CL, cs.AI]目的：TCM知識および臨床推論におけるLLMの性能評価
- 伝統中国医学（TCM）は，独自の理論体系と臨床実践を持ち，医療分野において重要な役割を担う。
- 既存のTCM評価ベンチマークは網羅性と規模が限られ，公平な比較を困難にする評価方法に依存している。
- TCM特化型LLMの進展を促すため，標準化された評価基盤を確立し，知識と推論のギャップを埋める。
- LingLanベンチマークは，TCM知識の想起，多段階推論，情報抽出，臨床意思決定を網羅する大規模な評価スイートである。
- 14のLLMを評価した結果，TCM専門知識と推論能力においてモデルと専門家の間に大きな差があることが明らかになった。
- LingLanは，TCM関連の医療AI研究を推進するための，統一的かつ定量的な評価基盤を提供する。
Grad2Reward：疎な判断から密な報酬へ - オープンエンドLLM推論の向上 [cs.RO, cs.LG]目的：オープンエンドLLM推論のための密な報酬獲得手法
- LLMの推論能力向上は，高度な問題解決や創造的なタスク遂行に不可欠である。
- 既存のLLMへの報酬付与は疎であり，複雑な長文生成に必要な詳細な指示が不足している。
- Judgeモデルの内部情報を活用し，トークンレベルでの報酬を付与することで，効率的な学習と推論精度の向上を目指す。
- Grad2Rewardは，Judgeモデルの推論過程から直接密な報酬を抽出し，効率的な学習を可能にする。
- 勾配ベースの寄与度評価により，トークンレベルでの正確な報酬付与を実現し，推論品質を大幅に向上させる。
- 自己判断メカニズムを導入することで，外部の高度なJudgeへの依存なく，ポリシーの自己改善を促す。
RedVisor：推論に基づいたプロンプトインジェクション防御 - ゼロコピーKVキャッシュ再利用による [cs.CR, cs.AI, cs.LG]目的：プロンプトインジェクション攻撃に対する防御
- 大規模言語モデルの利用拡大に伴い，セキュリティリスクへの対策が急務となっている。
- 既存の防御策は，性能低下と高コストというトレードオフに陥ることが多い。
- 推論経路を利用し，攻撃検知と安全な応答誘導を同時に実現する防御策を提案する。
- RedVisorは，検知システムの解釈可能性と予防策のシームレスな統合を両立する統合フレームワークである。
- この手法は，バックボーンモデルの有用性を数学的に維持しつつ，防御性能を向上させる。
- vLLMサービングエンジンへの統合により，高い検出精度とスループットを実現した。
ORCH：多数の分析，一つの統合 - 離散選択推論のための決定論的マルチエージェントオーケストレーター：EMA誘導ルーティングを伴う [cs.HC, cs.AI]目的：離散選択推論における異種LLMのオーケストレーションを通じた協調的決定メカニズムの確立
- 大規模言語モデルの進展により，複雑な推論課題に対してマルチエージェントアーキテクチャの有効性が高まっている。
- 既存システムは確率的ルーティングやアドホックなヒューリスティックに依存し，再現性や解釈可能性に課題がある。
- 決定論的なフレームワークにより，再現性と解釈可能性を高めつつ，マルチエージェントシステムの性能を向上させる。
- ORCHは，「多数の分析，一つの決定」というパラダイムを採用し，複数のLLMによる独立した分析と，それらを統合する専用エージェントを用いる。
- MMLU，MMLU-Pro，GSM8Kの実験において，ORCHは単一モデルのベースラインや多数決アンサンブルを上回る性能を示した。
- EMA誘導ルーティングは，追加の精度向上をもたらし，マルチエージェントの協調とルーティングの両方が貢献することが示された。
長期NDVI予測のための時空間Transformer [cs.DC, cs.CY, cs.CV, cs.LG]目的：長期的なNDVI予測
- 地表環境の変化を捉え，農業や生態系のモニタリングに不可欠なNDVIの長期予測は重要である。
- 不均一な景観や長期的な環境変化により，従来の時系列分析では予測精度が制限されていた。
- 時空間情報を統合的にモデル化することで，予測精度の向上と汎用性の高い分析を目指す。
- 提案手法STT-LTFは，空間的文脈を考慮したTransformerアーキテクチャにより，従来の統計手法や深層学習モデルを上回る予測性能を達成した。
- Landsatデータを用いた実験では，MAE 0.0328，R^2 0.8412という高い精度を示し，複雑な地中海生態系における予測の信頼性を示した。
- 不規則な時間サンプリングや可変の予測期間にも対応可能であり，多様な景観の分析に適している。
高速自己回帰型ビデオ拡散とテンポラルキャッシュ圧縮および疎な注意機構によるワールドモデル [cs.CV, cs.AI]目的：自己回帰型ビデオ拡散モデルにおける推論時のボトルネック軽減
- ビデオ生成技術は，長編コンテンツ制作やゲームエンジンなど，幅広い応用が期待される分野である。
- 自己回帰型ビデオ拡散モデルの推論時におけるKVキャッシュの増大が，遅延増加やGPUメモリ消費の増加を引き起こす。
- テンポラルキャッシュ圧縮と疎な注意機構により，メモリ使用量と計算量を削減し，長期的な一貫性を維持すること。
- 提案手法TempCache, AnnCA, AnnSAにより，アテンション計算，計算量，メモリ使用量を削減可能である。
- 実験により，エンドツーエンドで最大5～10倍の高速化が確認され，視覚品質をほぼ維持した。
- 長時間のロールアウトにおいて，安定したスループットとほぼ一定のGPUメモリ使用量を実現した。
文曲線言語モデル [cs.CL, cs.LG]目的：文曲線の予測による言語モデリングの性能向上
- 近年のAIシステムにおいて，言語モデルは中核的な要素であり，その性能が重要視されている。
- 従来の言語モデルは，単語埋め込みが静的であるため，文全体の構造を捉えきれないという課題があった。
- 文全体の構造を考慮した言語モデルを開発し，より自然な文章生成を目指す。
- 本研究で提案する文曲線言語モデル（SCLM）は，IWSLT14およびWMT14において，拡散言語モデル（DLM）の中で最先端の性能を達成した。
- SCLMは，知識蒸留のような煩雑な手法なしに安定した学習が可能であり，離散DLMと比較しても将来性が期待できる。
- 文曲線の予測は，文全体の構造モデリングを促進する正則化効果をもたらすことが理論的に示された。
INDIBATOR：分子発見のためのマルチエージェント議論における多様性と事実に基づいた個性 [cs.AI]目的：分子発見のためのマルチエージェント議論における，個性に基づいたエージェントの性能向上
- 科学的発見の自動化において，マルチエージェントシステムは強力な手法として注目されている
- 既存の手法では，エージェントの役割が「査読者」や「執筆者」といった大まかな区分に限定され，人間の科学者の多様性を反映できていない
- 個々の科学者の研究履歴や分子構造に関する知識を反映したエージェントを構築し，より質の高い発見を目指す
- 提案手法INDIBATORは，科学者の論文履歴と分子構造履歴に基づいた個性的なエージェントを生成する
- これらのエージェントは，提案，批判，投票という多段階の議論を通じて分子発見を行う
- 評価実験の結果，INDIBATORは既存手法を上回り，最先端の性能を達成した
精度を超えて：学習と推論の不一致は最適化の問題であり，単純なLRスケジューリングで解決できる [cs.DB, cs.HC, cs.CY, cs.LG, cs.AI]目的：大規模言語モデルの強化学習における学習と推論の不一致
- 大規模言語モデルの性能向上には，強化学習が不可欠である。その安定性向上が課題。
- 強化学習における学習と推論の不一致が不安定性の原因となるが，既存手法では長期学習で効果が薄れる。
- 学習の進行に伴い増大する勾配ノイズと不一致を抑制し，安定的な学習を実現すること。
- 学習と推論の不一致は静的な数値のずれではなく，最適化の過程における動的な問題であることが示された。
- 応答長を指標とした動的な学習率の減衰スケジュールが，勾配ノイズの増加に合わせて学習を安定化させる。
- 提案手法は，学習と推論の不一致を安全なレベルに維持し，強化学習の安定性を向上させる。
双曲グラフニューラルネットワークの徹底分析：幾何学とタスクの適合性の役割 [cs.AR, cs.LG]目的：双曲グラフニューラルネットワークにおける幾何学とタスクの適合性の関係
- 複雑なネットワークは多くの場合双曲構造を持つため，木構造データの表現に適している。
- 双曲空間の有効性は前提とされているが，タスクとの適合性は十分に考慮されていない。
- タスクが双曲幾何学と整合するかどうかによってHGNNの性能が左右される点を明らかにする。
- HGNNは，低歪み表現を回復する能力を持ち，特に距離構造の維持が求められるタスクで有効である。
- リンク予測では幾何学的適合性が認められたが，ノード分類では必ずしもそうではなかった。
- タスクと双曲幾何学の適合性がHGNNの性能を決定づけることが示された。
車両の共感覚：視覚情報からの触覚データ合成 [cs.AI]目的：自動運転車における触覚情報の予測
- 自動運転の安全性確保には，多様なセンサーからの情報統合が不可欠である。
- 既存のセンサーでは，車両の動的制御に重要な路面からの振動を検知できない。
- 視覚情報から触覚情報を予測し，車両の安全性を高めることを目指す。
- 本研究では，人間の共感覚に着想を得た「車両の共感覚(SoV)」という新しいフレームワークを提案した。
- 潜在拡散モデルを用いた視覚-触覚共感覚(VTSyn)生成モデルが，高品質な触覚データ合成に有効であることが示された。
- 実車実験の結果，VTSynは既存モデルよりも時間的，周波数的，分類性能で優れており，安全性の向上に貢献する。
DOGMA：データ中心型シングルセルトランスクリプトーム解析への構造情報の組み込み [cs.CL, cs.LG, cs.AI, q-bio.GN]目的：シングルセルトランスクリプトーム解析におけるデータ表現の再構築とセマンティック強化
- シングルセルトランスクリプトーム解析は，生命現象の理解に不可欠であり，個別細胞レベルでの遺伝子発現解析を可能とする。
- 既存手法は細胞間関係やデータ品質の問題を見過ごし，生物学的知識の活用が不十分である。
- DOGMAは，多層的な生物学的知識を用いて，決定論的な構造発見と堅牢なクロス種アラインメントを実現する。
- DOGMAは，統計的アンカー，細胞オントロジー，系統樹を統合し，従来のヒューリスティックな手法の限界を克服した。
- 複雑な多種・多臓器ベンチマークにおいて，DOGMAは最先端の性能を発揮し，ゼロショット頑健性とサンプル効率に優れる。
- DOGMAは，大幅な計算コスト削減を実現し，機械学習モデルの有用性を向上させる。
離散拡散言語モデルにおける効率的なテスト時スケーリング：階層的探索と自己検証による手法Prism [cs.CL, cs.LG]目的：離散拡散言語モデルにおける効率的なテスト時スケーリング手法の開発
- 大規模言語モデルの推論コストは高く，計算資源の制約が課題となっている。
- 既存のテスト時スケーリング手法は自己回帰的デコーディングに依存しており，離散拡散言語モデルには適していない。
- 離散拡散言語モデルの潜在能力を最大限に引き出すための効率的なテスト時スケーリング手法を確立すること。
- 提案手法Prismは，階層的探索により，早期から中間段階での計算資源の割り当てを動的に最適化する。
- 局所的な分岐と部分的な再マスキングを導入することで多様な実装を探索しつつ，高信頼度のトークンを維持する。
- 外部検証器を使用せず，中間的な完了に対する自己評価プロンプトから得られる自己検証フィードバックを利用する。
未知条件下における視覚のみによる布のダイナミクス学習 CloDS [cs.CV, cs.AI]目的：未知の条件下における布のダイナミクス学習
- 現実世界の物理シミュレーションは重要であり，その精度向上は様々な応用を可能とする。
- 従来の深層学習手法は物理特性の事前知識に依存するため，未知の条件下での適用が困難である。
- 本研究は，視覚情報のみから布のダイナミクスを学習し，未知の条件下でもロバストな挙動予測を目指す。
- CloDSは，マルチビューの視覚観測から布のダイナミクスを教師なしで学習する新しいフレームワークである。
- ビデオから幾何形状を生成する過程で，双方向マッピングを可能にする二重位置の不透明度変調を導入している。
- 実験により，CloDSが視覚データから布のダイナミクスを効果的に学習し，未知の構成に対しても高い汎化能力を示すことが確認された。
表現なしに生成はなし：効率的な因果タンパク質言語モデルがゼロショットでの適応度推定を可能にする [cs.LG, q-bio.QM]目的：タンパク質言語モデルにおける生成能力と適応度予測能力の統合
- タンパク質設計や機能予測において，タンパク質の配列からその特性を予測する能力は重要である。
- 従来のタンパク質言語モデルは，生成と予測のどちらか一方に特化しており，両立が課題であった。
- 生成能力と予測能力を兼ね備えた，計算効率の高いタンパク質言語モデルの開発。
- Proustは，309Mパラメータの因果タンパク質言語モデルであり，最新のLLM研究からのアーキテクチャ革新を取り入れている。
- ProteinGym置換において，Spearmanのρ値が0.390と，50～200倍の計算量が必要なMLMと同等の性能を示した。
- インデルおよびEVERESTのウイルス適応度ベンチマークにおいて，既存モデルを上回る最先端の結果を達成し，配列情報のみで構造を考慮した手法に匹敵する性能を示した。
長期的マルチエージェントシステムのための再帰型オープンメタエージェントフレームワークROMA [cs.DM, math.PR, cs.AI, cs.MA]目的：長期的タスクにおけるエージェントフレームワークの性能向上
- 複雑な課題解決において，複数のエージェントが連携するシステム構築が重要である。
- 既存のエージェントフレームワークは，長期的なタスクにおいて脆さやコンテキストウィンドウの制限がある。
- 再帰的なタスク分解と構造化された集約により，上記問題を解決する。
- ROMAは，タスクを依存関係を考慮したサブタスクツリーに分解し，並行実行を可能にする。
- GEPA$+ と組み合わせることで，SEAL-0におけるGLM-4.6の精度をKimi-Researcherより9.9%向上させた。
- EQ-Benchにおいて，DeepSeek-V3がClaude Sonnet 4.5と同等の性能を発揮した。
マスク拡散言語モデルに対する自己報酬型逐次モンテカルロ法 [cs.LG]目的：マスク拡散言語モデルの効率的なサンプリング
- 言語モデルは自然言語処理の基盤技術であり，その性能向上は様々な応用分野に貢献する。
- 既存のマスク拡散言語モデルは，高信頼度トークンのみを保持する戦略に依存し，多様性が失われやすい。
- 本研究は，複数の拡散過程を並行して探索し，自己報酬型モンテカルロ法によりサンプリング品質を向上させる。
- 自己報酬型逐次モンテカルロ法は，追加の学習や報酬なしに，様々なマスク拡散言語モデルで大幅な改善を達成した。
- 本手法は，並列推論能力をサンプリング品質の向上に有効活用することが示された。
- 軌道レベルの信頼度を自己報酬信号として用いることで，高品質なサンプルを効率的に生成できる。
FUPareto：忘却と実用性のギャップを埋める，パレート拡張最適化による連合学習のアンラーニング [cs.LG, cs.DC]目的：連合学習モデルからの特定クライアントデータの影響除去と，残りのクライアントに対する実用性の維持
- プライバシー保護が重要視される中，連合学習はデータ分散環境下での機械学習を実現する基盤技術である。
- 従来のアンラーニング手法では，モデルの精度低下や，メンバーシップ推論攻撃への脆弱性が課題となっている。
- 忘却と実用性のトレードオフを解消し，複数クライアントの同時アンラーニングを効率的に行うことを目指す。
- FUParetoは，パレート拡張最適化により，アンラーニングの効率性とモデルの有用性を両立させる。
- Minimum Boundary Shift (MBS) Lossの導入により，アンラーニングの効率向上とメンバーシップ推論攻撃への対策を実現した。
- Null-Space Projected Multiple Gradient Descent Algorithm (MGDA)により，複数クライアント間の勾配衝突を解消し，公平かつ効率的なアンラーニングを可能にした。
Transformer強化学習を用いたA/Bテストにおける時系列実験設計 [cs.LG, stat.ME, stat.ML]目的：A/Bテストにおける時系列実験の設計
- 現代の技術企業において，政策評価の標準手法としてA/Bテストは不可欠である。
- 時系列実験への適用は難しく，過去の履歴の活用や目的関数の近似に課題がある。
- 過去の全履歴に基づいた最適な設計と，制限的な仮定なしでの最適化を目指す。
- 提案手法は，既存の設計手法と比較して，合成データ，シミュレーター，実データで一貫して優れた性能を示す。
- Transformerを用いて全履歴を条件づけし，強化学習でMSEを直接最適化する。
- 過去の履歴を考慮しない設計は最適ではないという不可能性定理を確立した。
低密度筋電図からの頑健なジェスチャー認識のためのTime2Vec統合Transformer [cs.LG, cs.AI, eess.SP]目的：低密度表面筋電図（sEMG）を用いた高精度で効率的なジェスチャー認識のための深層学習フレームワーク
- 筋電位制御による義肢は，生活の質を向上させる可能性を秘めている。しかし，高価なセンサーアレイが普及の妨げとなっている。
- 従来のジェスチャー認識は，高密度センサーアレイに依存しており，コストや装着性の問題があった。
- 本研究は，低密度sEMGデータから高精度なジェスチャー認識を実現し，義肢のコスト削減と利便性向上を目指す。
- 提案手法は，10種類のジェスチャーに対して95.7%±0.20%という最先端のF1スコアを達成し，既存のTransformerやCNN-LSTMモデルを上回った。
- Time2Vecによる学習可能な時間埋め込みが，生物学的信号特有の確率的時系列歪みを捉え，低空間解像度を補完できることが示された。
- 新しい被験者への直接転移は精度が低かったが，わずか2回の試行で96.9%±0.52%まで精度を回復できる迅速なキャリブレーションプロトコルが有効であることが確認された。
SOPRAG：産業用標準作業手順のマルチビューグラフエキスパート検索 [eess.SY, cs.SY, math.OC, cs.AI]目的：産業用標準作業手順の検索と実行の改善
- 産業現場における安全性と一貫性を保つため，標準作業手順は不可欠である。
- 従来の検索方法は，手順書の構造の複雑さや状況依存性に対応できていない。
- 構造と論理的複雑性に対応し，作業者の意図に沿った検索を実現すること。
- SOPRAGは，エンティティ，因果関係，フローのグラフエキスパートを用いることで，産業構造と論理の複雑さを解決する。
- Procedure Card層が検索空間を絞り込み，LLMガイダンスによるゲーティング機構がエキスパートの重みを調整する。
- 4つの産業分野での実験で，SOPRAGは既存のRAGベースラインを上回り，実世界の重要なタスクで完璧な実行スコアを達成した。
GRAB：LLMに着想を得たシーケンス優先のクリック率予測モデリングパラダイム [cs.IR, cs.AI]目的：クリック率予測のための生成ランキングフレームワーク
- 広告配信において，クリック率予測は重要な課題であり，収益向上に直結する。
- 従来の深層学習モデルは，性能や効率の面で限界があり，一般化や長系列モデリングが困難である。
- 本研究は，LLMの成功に触発され，より高性能で効率的なクリック率予測モデルを開発する。
- GRABは，既存の深層学習モデルを上回り，収益が3.05％，クリック率が3.49％向上した。
- GRABは，ユーザー行動系列の長さに応じて表現力が線形に向上するスケーラビリティを示す。
- CamAメカニズムにより，ユーザー行動系列内の時間的ダイナミクスとアクション信号を効果的に捉えることが可能となった。
ProcMEM：LLMエージェントのための非パラメトリックPPOによる経験からの再利用可能な手続き的記憶の学習 [cs.AI]目的：LLMエージェントにおける手続き的記憶の学習
- LLMエージェントの性能向上は，複雑なタスク解決において不可欠であり，その効率化が求められている。
- LLMエージェントは，同じ状況でも毎回推論を繰り返すため，計算資源の無駄と不安定性がある。
- 過去の経験を再利用し，計算効率を高め，より安定した行動を可能にすることを目指す。
- ProcMEMは，エージェントがパラメータ更新なしに，インタラクションを通じて手続き的記憶を自律的に学習するフレームワークである。
- Skill-MDPを形式化することで，過去の経験を条件付きで実行可能なスキルに変換し，再利用性を高めている。
- 非パラメトリックPPOとスコアベースのメンテナンスにより，能力劣化を防ぎつつ，コンパクトで高品質な手続き的記憶を維持する。
Grappa：スケーラブルなグラフニューラルネットワーク学習のための勾配のみ通信 [cs.RO, cs.DC, cs.LG]目的：分散型GNN学習の効率化
- グラフニューラルネットワークは，様々な分野で高い性能を発揮しており，その応用範囲は拡大している。
- 大規模グラフにおける分散学習では，パーティション間通信のコストがボトルネックとなる。
- 勾配のみの通信と再パーティショニングにより，通信コストを削減し，大規模グラフでの学習を可能とする。
- Grappaは，従来のシステムと比較して，平均で4倍（最大13倍）高速にGNNを学習できる。
- 特に深いモデルにおいて，より高い精度を達成し，商用ハードウェア上でトリリオンエッジ規模の学習を維持する。
- Grappaはモデルに依存せず，フルグラフおよびミニバッチ学習をサポートし，高性能なインターコネクトやキャッシュを必要としない。
自己相関最適化推定: 予測最適化 vs 有限サンプル最適解 [cs.LG, math.OC]目的：有限サンプル下における予測最適化と最適解の性能比較
- データ駆動型最適化の重要性が増しており，その中で，外挿性能を直接最適化する手法が注目されている。
- 従来の推定後最適化は，サンプルサイズが限られている場合，最適解が得られない可能性がある。
- 自己相関のある不確実性下での最適化手法を提案し，その有効性を検証すること。
- 提案手法A-OVEは，完全情報オラクルと比較して低い後悔を示し，予測最適化ベンチマークを上回った。
- 精度の高い機械学習モデルが，必ずしも質の高い意思決定をもたらすとは限らないことが示された。
- モデルの誤指定に対する頑健性も確認された。
エントロピー誘導型データ効率的トレーニング：マルチモーダル推論報酬モデル [cs.AI, cs.LG]目的：マルチモーダル推論報酬モデルのトレーニング手法
- マルチモーダルLLMと人間の選好を一致させる上で，報酬モデルは不可欠である。
- 選好データセットのノイズや，サンプル難易度の違いを考慮しないトレーニング方法が課題。
- エントロピーを指標に，ノイズを軽減し，難易度に応じたトレーニングを実現する。
- 提案手法EGTは，データキュレーションとトレーニング戦略を組み合わせることで，性能向上を実現した。
- エントロピーと正答率の強い相関関係を利用し，信頼性の低いサンプルを効果的に除去する。
- ３つのベンチマークにおいて，最先端のマルチモーダル報酬モデルを上回る結果が得られた。
ES-MemEval：パーソナライズされた長期的な感情サポートにおける会話エージェントのベンチマーク [cs.CL, cs.AI]目的：会話エージェントの長期的な感情サポート能力の評価
- 近年，LLMが会話エージェントとして注目されている。しかし，長期的な記憶能力に課題が残る。
- 既存の長期対話ベンチマークは，事実の静的な検索に偏っており，変化するユーザー情報に対応できない。
- 本研究は，分散的，暗黙的なユーザー情報と状態の変化に対応できる評価基準を確立する。
- ES-MemEvalは，情報抽出，時間推論，矛盾検出，抑制，ユーザーモデリングの5つの主要な記憶能力を評価する。
- EvoEmoデータセットは，断片的なユーザーの発言と変化する状態を捉え，パーソナライズされた長期的な感情サポートを実現する。
- 実験結果から，長期記憶は幻覚の軽減と効果的なパーソナライズに不可欠であり，RAGは事実の一貫性を向上させるものの，時間的動態とユーザー状態の変化には苦戦することが示された。
マルチヘッドアテンションにおけるトークン選択の幾何学的解析 [cs.RO, cs.SY, eess.SY, cs.AI, cs.LG]目的：大規模言語モデルにおけるマルチヘッドアテンションの幾何学的特性
- 大規模言語モデルの性能向上には，アテンション機構の理解が不可欠である。
- アテンション機構の内部動作は複雑であり，解釈が困難である。
- アテンション機構におけるトークン選択の幾何学的意味を明らかにすること。
- アテンションは，トークン選択のための構造化された幾何学的分類器として機能することが示された。
- 選択されたトークンと非選択トークルの分離度は，精度，再現率，Fスコアといった幾何学的指標で定量化された。
- LLaMA-2-7Bのヘッドは，Retrieval，Mixer，Resetの3つの異なるレジームに特化しており，それぞれに特徴的な幾何学的シグネチャを持つことが明らかになった。
LLMにおける自己検査と改良のための内部フローシグネチャ [cs.LG]目的：大規模言語モデルの内部決定過程の監視と解析
- 大規模言語モデルの利用拡大に伴い，その信頼性確保が重要課題となっている。
- LLMは流暢な回答を生成する一方で，文脈に反する不正確な情報を出力する可能性がある。
- LLMの内部状態を監視し，異常な挙動を検出し，改良を可能にすること。
- 内部フローシグネチャを用いることで，LLMの決定形成過程を監視し，自己検査を実現した。
- この手法は，特定の層で発生する異常な挙動を特定し，対象トークンをロールバックさせることで，モデルの改良を可能にする。
- 提案手法は，軽量なGRUバリデーターを用いて低オーバーヘッドで自己検査を行うことができる。
観測依存型ベイズ活性学習：入力歪みガウス過程によるアプローチ [cs.LG, stat.ML]目的：観測依存型ベイズ活性学習手法
- 機械学習におけるデータ効率の向上が重要視されている。
- ガウス過程の事後分散がハイパーパラメータにのみ依存し，観測データへの感度が低い。
- 観測値に応じて入力空間を歪ませることで，探索効率を高める。
- 学習された単調再パラメータ化による入力空間の歪みにより，分散に基づく獲得関数の挙動を制御可能。
- 周辺尤度による学習に加え，新規の自己教師あり目的関数を用いることで性能が大幅に向上。
- 様々な活性学習ベンチマークにおいてサンプル効率が改善され，非定常性の課題に対しても有効。
オンラインtabular MDPにおけるデータおよび分散依存の后悔境界 [cs.LG, stat.ML]目的：オンラインepisodic tabularマルコフ決定過程におけるデータ依存および分散依存の后悔境界を達成するアルゴリズムの開発
- 強化学習は，自律的な意思決定システムの構築において不可欠であり，現実世界の様々な問題を解決する可能性を秘めている。
- 既存手法では，環境の不確実性や状態空間の規模に応じて，最適なアルゴリズムの選択が困難である場合がある。
- データ量や分散の大きさに適応可能なアルゴリズムを開発することで，より効率的な学習と意思決定を可能にすることを目指す。
- 本研究では，敵対的環境と確率的環境の両方において，データおよび分散に依存する后悔境界を達成するアルゴリズムを提案した。
- 提案アルゴリズムは，global optimizationとpolicy optimizationの2つのアプローチに基づき，log-barrier正則化を用いたoptimistic follow-the-regularized-leaderの枠組みで実装されている。
- 敵対的環境におけるデータ依存性の后悔下限と，確率的環境における分散に関する后悔下限を確立し，提案手法の最適性を示唆している。
空間・意味的因子分解による疎な視覚表現の学習 [cs.CV, cs.AI, cs.LG]目的：疎な視覚表現の学習
- 視覚情報の効率的な処理は，AI技術の発展に不可欠である。限られた計算資源での高性能化が求められる。
- 自己教師あり学習では，意味理解と画像再構成のトレードオフが存在する。両立が困難であり，性能向上のボトルネックとなっている。
- 意味情報と空間情報を分離することで，再構成と意味理解を両立し，より効率的な視覚表現を獲得することを目指す。
- STELLARは，視覚特徴を意味概念と空間分布の低ランク積に分解するフレームワークである。
- わずか16個の疎なトークンで，高品質な再構成(FID 2.60)と高精度な意味表現(ImageNet 79.10%)を両立した。
- STELLARは，識別的および生成的な視覚処理を繋ぐ，多様な疎表現を提供する。
DSXFormer：デュアルプーリングスペクトルスクイーズ・エクスパンションと動的コンテキスト注意Transformerを用いたハイパースペクトル画像分類 [cs.CV, cs.AI]目的：ハイパースペクトル画像分類における性能向上
- ハイパースペクトル画像は高次元で複雑な情報を持ち，精密な分析が求められる分野である。
- 限られた学習データと，高次元データ処理の計算コストが課題となっている。
- スペクトル特徴の識別能力向上と計算効率の改善を目指す。
- 提案手法DSXFormerは，4つのベンチマークデータセットで最先端手法を上回る分類精度を達成した。
- デュアルプーリングスペクトルスクイーズ・エクスパンションブロックがスペクトル特徴の識別能力を向上させた。
- 動的コンテキスト注意機構により，局所的なスペクトル-空間関係を効率的に捉え，計算コストを削減した。
DomusFM：スマートホームセンサーデータのための基盤モデル [cs.AI]目的：スマートホームセンサーデータを用いた活動・イベント分析のための汎用的な表現学習
- 高齢化社会において，健康モニタリングや支援技術の需要が高まっており，スマートホームセンサーデータの活用が不可欠である。
- 既存手法では，教師あり学習のラベルデータ量不足や，LLMのプライバシー・コスト問題が課題となっている。
- センサーデータの特性（疎性，離散性，意味的関連性）に適応した基盤モデルを開発し，データ不足と実用性を両立すること。
- DomusFMは，セルフスーパーバイズ学習により，センサーデータのトークンレベルの意味的属性とシーケンスレベルの時間的依存性を捉える。
- 軽量な言語モデルと時間パターン・バイナリ状態エンコーダを統合し，環境やタスクに依存しない汎用的な表現を獲得する。
- 7つの公開データセットを用いた評価で，DomusFMは最先端手法を上回り，少量データでのファインチューニングでも高い性能を示した。
長期的解釈可能性に向けて：推論型LLMのための効率的かつ忠実な複数トークン帰属 [cs.NI, cs.LG]目的：推論型LLMにおける入力トークンの重要度特定
- LLMの説明可能性は，モデルの信頼性と透明性を高め，利用を促進する上で不可欠である。
- 既存のトークン帰属法は，長い文脈において計算コストが高く，中間トークンに重要度が集中しやすい。
- 文脈長に対する計算効率を改善し，推論過程における重要度伝播を正確に行うことを目指す。
- FlashTraceは，従来の基盤手法と比較して130倍以上の高速化を実現した。
- FlashTraceは，忠実性を維持しつつ，複数トークンの対象に対する帰属計算を効率的に行う。
- 再帰的帰属メカニズムにより，推論チェーンを通じた重要度の追跡が可能となり，忠実性が向上する。
VLM誘導型経験再生 [cs.LG, cs.AI]目的：経験再生バッファにおける経験の優先順位付け
- 強化学習の効率向上は，現実世界への応用において不可欠である。
- 従来の経験再生は，効率的な経験の選択が課題であった。
- VLMを活用し，有望な軌跡を自動評価・優先する手法を提案する。
- 提案手法は，ゲームやロボティクスなど様々な環境で，成功率を11-52%向上させた。
- 従来の優先順位付け手法と比較して，サンプル効率を19-45%改善した。
- 事前学習済みのVLMを利用することで，追加の学習は不要である。
PIMPC-GNN: グラフニューラルネットワークにおける不均衡ノード分類の強化のための物理情報に基づく多相合意学習 [cs.RO, cs.CL, cs.HC, cs.CL, cs.LG, cs.AI]目的：グラフニューラルネットワークにおける不均衡ノード分類の性能向上
- グラフニューラルネットワークは様々な分野で活用され，その重要性は増している。
- 少数クラスのデータが少ない場合，予測が多数派に偏るという課題がある。
- 少数クラスの分類精度を向上させ，より公平な予測を実現することを目指す。
- PIMPC-GNNは，熱力学的拡散，倉本同期，スペクトル埋め込みの3つのダイナミクスを統合することで，少数クラスのラベルを広げ，ノードを整列させ，クラスを分離する。
- 5つのベンチマークデータセットにおいて，PIMPC-GNNは16個の最先端手法を上回り，特に少数クラスのリコールとバランスの取れた精度で顕著な改善が見られた。
- 本手法は，グラフ学習における合意ダイナミクスの解釈可能性を提供し，実用的な洞察を与える。
多重ネットワークにおけるリンク予測のための埋め込み学習 [cs.LG]目的：多重ネットワークにおける埋め込み学習モデルの分類と評価
- 複雑なシステムのリンク予測は，現実世界の多様な応用を持つ重要な課題である。
- ネットワークの複雑化に伴い，ノードの埋め込み学習はますます困難になっている。
- 多重ネットワークにおける埋め込み学習の性能向上と公平な評価方法の確立を目指す。
- 埋め込みの種類と手法に基づいた，多重ネットワークにおける埋め込み学習モデルの分類体系を提案した。
- 多重ネットワークにおける埋め込み学習の再現性と公平な評価に関する課題を指摘し，解決策を検討した。
- 有向多重ネットワークに対する公平なテスト手順を新たに提案し，評価方法のガイドラインを示した。
非線形不完全臨床データのベイズ統合 [cs.LG, cs.CY]目的：多様性を持つ不完全な臨床データの統合
- 臨床データは高次元で多様であり，医療現場での正確な予測や分析に不可欠である。
- データの欠損や種類の違いにより，統合と解釈が困難であるという課題がある。
- 欠損構造を考慮したベイズ統合により，よりロバストな予測と解釈を可能にする。
- BIONICは，臨床データの欠損と多様性を考慮した統合的な確率モデルである。
- 既存手法と比較して，特にデータが不完全な場合に高い識別性能を示した。
- 潜在構造を通じて解釈性を提供し，集団レベルでの分析や臨床的洞察を支援する。