arXiv雑要約
AI - 2026/01/30 公開
DBellQuant：LLMの後学習二値化におけるダブルベル変換によるベルの打破 [cs.CL, cs.HC, cs.MA, cs.LG]目的：LLMの後学習量子化における性能劣化の最小化
- 大規模言語モデルは高性能だが，計算資源やメモリ使用量が多く実用化の課題となる。
- 量子化は有望な解決策だが，分布の偏りや活性化外れ値により誤差が生じやすい。
- DBellQuantは，重みの二値化誤差を減らし，活性化を滑らかにする変換手法で，量子化性能を向上させる。
- DBellQuantは，重みをほぼ1ビット，活性化を6ビットに量子化し，性能劣化を最小限に抑える。
- Wikitext2データセットで，LLaMA2-13Bのperplexityを14.39まで低減，BiLLMを大きく上回る結果を示した。
- DBellQuantは，実世界でのLLM圧縮応用に大きな可能性を持つ。
感情と意味に基づいた会話ジェスチャー合成システム [cs.HC, cs.CL, cs.LG, cs.SD, eess.AS]目的：感情と意味に基づいた会話ジェスチャーの合成
- デジタルヒューマンのリアリティ向上に，自然な身振り手振りが不可欠である。
- テキストや音声から自然なジェスチャーを生成することが困難であった。
- テキスト，音声，感情に基づき，より表現豊かなジェスチャー合成を目指す。
- DeepGestureは，拡散モデルを用いて，テキスト，音声，感情を条件としたジェスチャーを生成する。
- 感情に基づいた生成制御が可能となり，多様な感情表現を実現した。
- ZeroEGGSデータセットでの評価により，生成されたジェスチャーの人間らしさと文脈への適合性が確認された。
FastDINOv2：周波数に基づいたカリキュラム学習がロバスト性と学習速度を向上させる [cs.CV, cs.AI, cs.LG]目的：DINOv2のロバスト性と学習速度の向上
- 大規模な画像認識モデルは性能が向上しているが，計算コストが高い。
- 独自データや新しいモダリティでの再学習は，計算資源の制約により困難である。
- 計算効率を上げつつ，モデルのロバスト性を高めることを目指す。
- 周波数フィルタリングによるカリキュラム学習とガウシアンノイズパッチングにより，DINOv2の学習が加速し，ロバスト性が向上した。
- ImageNet-1Kでの学習において，学習時間とFLOPsをそれぞれ1.6倍，2.25倍削減し，従来の性能を維持した。
- ImageNet-Cのロバスト性評価において，ベースラインと同等の性能を達成した。
文脈的異常検知における不確実性の扱い [cs.LG, cs.AI, stat.ML]目的：文脈的異常検知のための新しい枠組み
- 異常検知は，様々な分野で重要な役割を担う。特に，正常性の判断に影響を与える文脈を考慮することは重要である。
- 従来の異常検知手法では，文脈的変数の不確実性を十分に考慮できていない場合がある。
- 文脈的変数の確率的不確実性と知識的不確実性を明示的にモデル化することで，より高精度な異常検知を実現すること。
- 提案手法Normalcy Score (NS) は，異種性ガウス過程回帰に基づき，Zスコアを確率変数として扱うことで，異常評価の信頼性を示す信頼区間を提供する。
- ベンチマークデータセットと心臓病学の実用例を用いた実験により，NSは最先端の文脈的異常検知手法と比較して，検出精度と解釈性の両方で優れていることが示された。
- 信頼区間は，医療などの分野で重要な適応的，不確実性駆動型の意思決定プロセスを可能にする。
誤報，現実の損害：テキストベースのサイバー脅威インテリジェンスシステムに対するLLMベースのモデルを用いた敵対的攻撃 [cs.CL, cs.CR, cs.AI, cs.LG]目的：サイバー脅威インテリジェンスシステムにおける敵対的攻撃の影響評価
- サイバー攻撃の巧妙化に対応するため，脅威情報の早期把握と分析が不可欠である。
- 自動化されたシステムはテキスト情報に依存するため，悪意のある入力に対する脆弱性が存在する。
- テキスト生成技術を悪用した攻撃による，システム誤作動と情報操作を防ぐことを目指す。
- 敵対的テキスト生成により，分類器を誤らせ，システムのパフォーマンスを低下させることが示された。
- 特に，回避攻撃が重要であり，水増し攻撃や情報汚染攻撃の前段階となることが明らかになった。
- オープンソース情報を取り扱うシステム全体の脆弱性について，攻撃手法と影響を分析した。
CTRLS：潜在状態遷移による思考連鎖推論 [cs.LG]目的：思考連鎖推論の構造化モデリング
- 複雑な問題解決において，思考過程を可視化し，透明性と性能向上を図ることが重要である。
- 従来の思考連鎖推論は，探索的な手法に頼るため，多様かつ効果的な推論経路の体系的発見が困難である。
- 潜在状態遷移を用いたマルコフ決定過程として思考連鎖推論を定式化し，推論空間の効率的な探索を目指す。
- CTRLSは，潜在空間における確率分布として推論行動を明示的にモデル化することで，認識的確実性を考慮した堅牢な探索を可能にする。
- ε-greedy探索とエントロピー正則化を組み合わせた方策強化学習により，基盤となるLLMの追加学習なしに，潜在状態遷移を反復的に洗練する。
- ベンチマークタスクにおける実験により，推論精度，多様性，探索効率の向上が示された。
SDSC：セマンティック信号表現学習のための構造を考慮した指標 [cs.LG, cs.AI, cs.LO]目的：時間系列信号の自己教師あり表現学習のための構造を考慮した指標
- 信号処理分野において，データの効率的な表現学習は重要であり，その性能は様々な応用分野に影響する。
- 既存の自己教師あり学習法は，振幅に敏感で波形の極性に不変，スケールが無限大となり，セマンティックな整合性が低下しやすい。
- 構造に着目した指標SDSCを用いることで，セマンティック表現の質を向上させ，従来の距離ベースの手法に代わる選択肢を提供する。
- SDSCは，署名付き振幅の交差に基づく構造的合意を定量化することで，信号のセマンティックアライメントを改善する。
- SDSCを損失関数として利用し，MSEとのハイブリッド損失を提案することで，学習の安定性と振幅の保持を両立した。
- 予測および分類ベンチマークにおいて，SDSCベースの前学習は，特に同一ドメインおよび低リソース環境でMSEと同等またはそれ以上の性能を達成した。
射影に基づく多目的遺伝的アルゴリズムによる要求される複雑度へのデータセット変換 [cs.LG, cs.NE]目的：分類および回帰タスクにおける問題の複雑度指標の最適化
- 機械学習手法の性能評価には，多様な問題複雑度を持つデータセットが不可欠である。
- 既存の合成データ生成手法では，要求される複雑度を持つデータセットを容易に生成できない。
- 線形特徴射影によるデータセット変換を通して，目的とする複雑度のデータセットを生成する。
- 提案する遺伝的アルゴリズムは，合成データセットを変換し，目標とする複雑度値を達成できることが確認された。
- 生成されたデータの複雑度と認識品質の間には相関関係が認められた。
- 分類タスクには10個，回帰タスクには4個の複雑度指標が最適化能力を示した。
LLM推論のボトルネック再考：潜在的注意とMoEからの洞察 [cs.AR, cs.AI]目的：LLM推論におけるボトルネックの再評価と，新たなボトルネックの特定
- LLMの性能向上には，計算効率の改善が不可欠であり，ハードウェアの最適化が重要となる。
- 従来のTransformerモデルでは，Attention機構がメモリボトルネックとなり，性能向上を阻害していた。
- MLAやMoEといった新しいアーキテクチャが，従来のボトルネックを変化させている点を明らかにする。
- MLAはMHAと比較して算術集約度が大幅に向上し，計算制約を受ける傾向が強まっている。
- MoEのExpertを分散させることで，バッチ処理の調整が可能となり，計算バランスが改善される。
- ハードウェアとシステム最適化の焦点は，Attentionの加速から，帯域幅とExpertのワークロードバランスへと移行すべきである。
大規模言語モデルに対する量子化手法の包括的評価 [cs.LG]目的：大規模言語モデルの量子化手法に関する評価
- 大規模言語モデルの利用拡大のため，メモリ使用量と計算コストの削減が重要である。
- 量子化手法の評価条件が統一されておらず，手法間の比較が困難である。
- 既存手法の関連性を明確にし，公平な条件下での性能評価を行う。
- 量子化前処理として最適化された回転とスケーリングが，最高の性能を示すことが確認された。
- より細かい粒度での量子化は性能向上に寄与するが，ストレージオーバーヘッドが増加する。
- スケーリングファクターの形式と精度はFP4の性能に大きく影響し，INT4向け戦略はMXFP4/NVFP4では効果が限定的である。
学習可能な最適化アルゴリズム [cs.RO, cs.SY, eess.SY, cs.MA, cs.LG]目的：学習可能な最適化戦略
- 深層学習の性能向上には，効率的な最適化手法が不可欠である。
- 既存の最適化手法は，ハイパーパラメータの調整が難しく，汎用性に課題がある。
- 手動設計によらない，学習可能な最適化手法の開発。
- 本研究で提案するPseudo-linear TOは，SGDと同等の収束率を保ちつつ，分散を効果的に低減する。
- Pseudo-linear TOは，計算コストの増加が少なく，追加のテンソル積算のみで実現可能である。
- 実験により，TO手法は，凸関数・非凸関数の両方において，ADAM等の既存アルゴリズムよりも高速に収束することが示された。
EMSEdit：効率的な多段階メタ学習に基づくモデル編集 [cs.CL, cs.AI, cs.LG]目的：モデル編集の効率と効果の向上
- 大規模言語モデルの活用が広がる中で，知識更新のコストが課題となっている。
- メタ学習に基づくモデル編集は有効だが，データ不足やKLダイバージェンスによる学習コストが高い。
- データが少なくても効率的にモデルを編集し，既存知識を保持すること。
- EMSEditは，多段階バックプロパゲーションを用いて勾配・活性化写像を捉え，少ないデータでも編集性能を向上させる。
- 2つのデータセットと3つのLLMを用いた実験で，EMSEditは最先端手法を上回る性能を示した。
- 複雑な編集タスクにおいても堅牢性があり，各構成要素の貢献も確認された。
内視鏡検査における意思決定のための記憶誘導型反省的エージェント：EndoAgent [cs.AI, cs.CL, cs.CV]目的：内視鏡画像診断を支援する汎用人工知能システムの開発
- 内視鏡検査は，早期発見・治療に不可欠であり，AIによる診断支援の需要が高い。
- 既存手法はタスク間の連携が不十分で，複雑な臨床ワークフローに対応できない場合がある。
- EndoAgentは，反復推論と適応的なツール選択を通じて，この課題を解決することを目指す。
- EndoAgentは，短期的な行動追跡と長期的な経験学習により，論理的な一貫性を確保し，洗練された意思決定を可能にする。
- EndoAgentは，汎用および医療分野のマルチモーダルモデルと比較して，優れた柔軟性と推論能力を示すことが実験により確認された。
- 5,709組の視覚的質問応答ペアからなるベンチマーク「EndoAgentBench」を新たに提示し，現実的なシナリオにおける視覚理解と自然言語生成能力を評価した。
オンライン表現学習と強化学習のスタケルベルグ結合 [cs.LG, cs.AI]目的：表現学習と価値学習の共同適応における安定化
- 深層強化学習は，複雑な問題を解決する上で重要な役割を担う。
- 従来の統合型ネットワークでは，表現と価値の相互適応が不安定になりやすい。
- 表現学習と価値学習の更新頻度を非対称にし，安定した共同適応を目指す。
- 提案手法SCORERは，価値関数をリーダー，表現ネットワークをフォロワーと見なすことで，学習の安定性を向上させる。
- 価値関数は低頻度で更新し，表現ネットワークは高頻度で更新することで，ベルマン誤差の分散を最小化する。
- DQNとその変種を用いた実験により，SCORERがモデルの複雑さによらず性能向上をもたらすことが示された。
残差貯蔵器メモリネットワーク [cs.RO, cs.LG, cs.AI]目的：残差貯蔵器メモリネットワークの性能評価
- 時系列データ処理は，金融，気象，医療など幅広い分野で重要である。
- 従来のリカレントニューラルネットワークは，長期依存関係の学習が困難である。
- 長期的な情報伝播を可能にする新しいリザーバーコンピューティングモデルの開発。
- 残差貯蔵器メモリネットワークは，従来のRCモデルよりも優れた性能を示した。
- 時間軸に沿った残差直交結合が，長期的な情報伝播を強化する要因である。
- 提案手法は，時系列データとピクセルレベルの1次元分類タスクで有効性が確認された。
GenOM：記述生成と大規模言語モデルを用いたオントロジーマッチング [cs.AI]目的：オントロジー整合性向上
- 多様な知識源のセマンティックな相互運用性・統合に不可欠な研究分野である。
- 既存手法では，複雑な概念への対応や精度向上が課題となっている。
- 大規模言語モデルと記述生成により，オントロジーマッチングの精度を向上させる。
- GenOMは，テキスト定義の生成と埋め込みモデルによる候補検索により，既存のオントロジーマッチングシステムを上回る性能を示す。
- OAEI Bio-MLトラックの実験で，GenOMが競争力のある結果を達成したことが確認された。
- セマンティックなエンリッチメントと少数ショットプロンプティングの有効性が示され，GenOMの堅牢性と適応性が確認された。
誘導摂動感度 (GPS): 埋め込みの安定性と単語の重要性による敵対的テキストの検出 [cs.LG, cs.AI, cs.CL]目的：敵対的テキストの検出
- Transformerモデルへの攻撃が深刻化しており，その堅牢性確保が重要である。
- 既存の防御策は攻撃に特化しているか，モデルの再学習が必要であり，汎用性に課題がある。
- 攻撃に依存せず，再学習も不要な汎用的な敵対的テキスト検出手法を開発すること。
- 提案手法GPSは，重要な単語をマスクした際の埋め込み表現の変化を測定することで敵対的なテキストを検出する。
- 実験の結果，GPSは3つのデータセット，3種類の攻撃，2つのモデルにおいて85%以上の検出精度を達成した。
- 勾配ベースのランキングが，アテンションやランダム選択と比較して，摂動の識別品質が有意に向上し，検出性能と強い相関関係が見られた。
「私の庭にはいらない」：LLMがホームレスに対するオンラインおよびオフラインの社会的不偏見を明らかにする [cs.CE, cs.CY, cs.AI, cs.CL]目的：ホームレスに対する社会的不偏見の特定と追跡
- ホームレス問題は世界的な課題であり，社会構造の改善が求められている。
- 社会的不偏見が，ホームレス問題の解決を阻む大きな要因となっている。
- オンラインとオフラインの言説から不偏見を分析し，効果的な政策立案に貢献する。
- 大規模言語モデル（LLM）を用いた擬似ラベル生成により，データ量を増やすことがモデルの性能向上に寄与することが示された。
- 小規模なモデルでも，十分なデータがあれば高性能な分類器を構築できることが明らかになった。
- Redditなどのオンラインプラットフォームや市議会での議論において，ホームレスに対する否定的な不偏見が顕著に確認された。
有徳な機械：汎用人工知能科学への道 [cs.AI, cs.ET]目的：科学的発見の自動化
- 科学研究は急速に進展しており，分野横断的な知識統合が重要になっている。
- 研究者の認知能力やリソースには限界があり，知識の統合が困難になっている。
- 汎用的なAIシステムによる科学研究の自動化を通して，その限界を克服する。
- ドメインに依存しないAI科学者システムが，仮説生成から論文作成まで一連の科学的ワークフローを自律的に実行可能であることが示された。
- 本システムは，視覚ワーキングメモリ，メンタルローテーション，イメージ鮮明度に関する3つの心理学的研究を自律的に設計・実行し，288人の参加者によるオンラインデータ収集を行った。
- 経験豊富な研究者と同等の理論的根拠と方法論的厳密性を持つ研究成果が得られたが，概念的なニュアンスや理論解釈には限界が見られた。
深層残差エコー状態ネットワーク：訓練されていない再帰型ニューラルネットワークにおける残差直交結合の探求 [cs.LG, cs.AI]目的：深層残差エコー状態ネットワークの性能評価
- 時系列データ処理において，再帰型ニューラルネットワークは重要な役割を担う。
- 従来のエコー状態ネットワークは，長期的な情報処理に課題がある。
- 深層残差エコー状態ネットワークが長期記憶容量を向上させることを目指す。
- 深層残差構造を導入することで，ネットワークの記憶容量と長期的な時系列モデリング能力が大幅に向上した。
- 残差結合における直交性の構成が，ネットワークのダイナミクスに影響を与えることが示された。
- 深層残差エコー状態ネットワークの安定性を保証するための数学的条件が明らかになった。
説明可能な思考連鎖推論：状態認識型推論ダイナミクスの実証的分析 [cs.CL, cs.AI]目的：思考連鎖推論における推論ダイナミクスの構造化と解釈
- 大規模言語モデルの性能向上に伴い，複雑な推論能力への期待が高まっている。
- 思考連鎖推論の過程がブラックボックス化しており，解釈性が課題となっている。
- 推論過程を状態遷移として捉え，その構造を明らかにすることで解釈性を高める。
- 思考連鎖推論の各ステップをトークン埋め込みのスペクトル分析により状態として抽象化する手法を提案。
- 推論過程の状態遷移をマルコフ連鎖としてモデル化し，構造化された解釈を可能にした。
- 提案手法により，推論におけるセマンティックな役割の特定や一貫性評価などが実現可能となった。
遅延モーメンタム集約：部分的参加による耐バイザンチン連合学習の通信効率化 [cs.LG, math.OC]目的：部分的参加下における耐バイザンチン連合学習の通信効率改善
- 大規模な連合学習において通信コスト削減は重要課題であり，部分的参加はその有効な手段となる。
- 既存の耐バイザンチン手法は完全な参加を前提としており，部分的参加下ではバイザンチンクライアントの支配により性能が低下する。
- サンプリングされたクライアント群におけるバイザンチンクライアントの多数決を防ぎ，サーバー側で少数派に維持することを目指す。
- 提案手法DeMoAは，非サンプリングクライアントのキャッシュされたモーメンタムを活用し，通信効率と耐バイザンチン性を両立する。
- 理論的解析により，DeMoAが部分的参加下で耐バイザンチン性を持つことが示された。
- 実験結果から，DeMoAは既存手法が失敗する条件下でも高い精度を達成することが確認された。
LLMはどのように行動するか：ホームレス問題の緩和策策定における大規模言語モデルの評価 [cs.AI]目的：ホームレス問題緩和策に関する政策提言の評価
- 社会問題解決において，データ駆動型アプローチの重要性が高まっている。
- 政策立案における専門家間の意見の不一致や，迅速な状況変化への対応が課題である。
- LLMを活用し，政策立案の意思決定プロセスを支援することを目指す。
- LLMの政策提言は専門家とばらつきがあるものの，新たな視点を提供する可能性が示唆された。
- Capability Approachを計算フレームワークに実装し，人間の尊厳に焦点を当てたホームレス問題解決策を検討した。
- LLMと専門家による政策提言をエージェントベースモデルで比較し，社会への影響を評価した。
ロバストフィルタアテンション：自己注意を並列状態推定器として [cs.LG, cs.AI]目的：自己注意メカニズムの新たな定式化
- 近年，大規模言語モデルの性能向上に伴い，長文脈を効率的に処理する手法が重要視されている。
- 従来の自己注意機構は，文脈長が伸びるにつれて計算量が増大し，安定性が損なわれるという課題がある。
- 潜在的確率微分方程式に基づくロバストフィルタリングにより，長文脈における安定性と性能を向上させる。
- ロバストフィルタアテンションは，回転位置埋め込み（RoPE）の構造を維持しつつ，明示的に拡散と減衰をモデル化することで，長文脈の安定性を実現した。
- 不確実性を考慮した重み付けにより，各ヘッドが異なるフィルタリングに特化し，時間的な一貫性と外挿能力が向上した。
- 計算量とメモリ使用量は，標準的な注意機構と同程度の $O(N^2 d)$ および $O(N^2 + Nd)$ を維持している。
プロンプトからプロキシへ：コンパクトなLLMアンサンブルによる人間選好の模倣 [cs.CL, cs.HC, cs.CY, cs.AI, cs.CY]目的：人間選好の再現
- 社会科学研究において，LLMを人間プロキシとして利用する重要性が増している。
- LLMプロキシが対象となる人間の集団の選好を忠実に反映しているかどうかが課題である。
- LLMアンサンブルを用いて，人間集団の選好と整合性の高い応答分布を再現することを目指す。
- 提案手法P2Pは，ファインチューニングや機密性の高い人口統計データへのアクセスを必要としない。
- アメリカのトレンドパネルの14回のデータを用いて検証した結果，平均テストMSEは0.014であった。
- 世界価値観調査でも汎化可能性が示され，SFTベースラインと比較して同等の性能をわずか3%のデータで達成した。
高労力，低収益：線形動的システムに対する能動学習の根本的な限界 [eess.SY, cs.LG, cs.SY, stat.ML]目的：線形動的システムの同定における，励起入力のサンプル複雑度への影響
- 動的システムの同定は，制御，予測，およびシステム理解において不可欠である。
- 最適な実験設計が難しい場合，効率的な学習が阻害される。
- 励起条件を明確化し，効率的な能動学習アルゴリズムを開発すること。
- サンプル複雑度の理論的限界が，励起入力の選択に依存することを示した。
- 無限の仮説クラスの場合よりも弱い持続的励起条件を提案し，モジュール的に励起入力を分析できるようにした。
- 提案する能動学習アルゴリズムは，シミュレーションにより有効性が確認された。
ECG基礎モデルの性能向上：後学習戦略 [cs.LG, cs.AI, stat.AP]目的：ECG基礎モデルの性能改善
- 心電図解析は，不整脈診断や心疾患の早期発見に不可欠であり，医療現場での重要性が高い。
- 既存のECG基礎モデルは，特定タスクのモデルと比較して性能が劣ることが課題となっていた。
- 後学習戦略を用いることで，ECG基礎モデルの性能を向上させ，臨床応用を促進することを目指す。
- 本研究で提案する後学習アプローチは，複数のECGタスクにおいて，ベースラインのファインチューニングを上回る性能を示した。
- PTB-XLベンチマークにおいて，マクロAUROCは0.7%-8.9%，マクロAUPRCは23.3%-77.9%改善された。
- 訓練データ量を30%に削減しても，フルデータセットで訓練したベースラインを上回る結果が得られ，データ効率の向上も確認された。
大規模ビジョンモデルはメンタルローテーション問題を解決できる [cs.CV, cs.AI]目的：メンタルローテーションタスクにおけるビジョンモデルの能力評価
- 空間認識能力は人間にとって重要であり，認知科学の基盤となる。
- 既存のビジョンモデルが人間の空間認識能力をどの程度獲得しているかは不明である。
- ビジョンモデルにおける空間認識能力の獲得状況と制約を明らかにすること。
- 自己教師あり学習のViTは，教師あり学習のViTよりも幾何学的構造をより良く捉えている。
- 中間層の方が最終層よりも良い性能を示す。
- タスクの難易度は回転の複雑さや遮蔽の程度に応じて増加し，人間の反応時間と類似した傾向が見られる。
大規模言語モデルにおける後学習構造変化の理解 [cs.LG, cs.AI]目的：大規模言語モデルにおける後学習による構造変化の解明
- 大規模言語モデルは自然言語処理の基盤であり，その性能向上は様々な応用を可能にするため重要である。
- 後学習はモデルの性能を改善するが，その内部パラメータの変化は未解明な点が多い。
- 後学習がパラメータ空間に引き起こす規則性に着目し，モデルの挙動をより深く理解することを目指す。
- 後学習において，層間で特異値がほぼ均一に幾何学的にスケールすること，そして左/右特異ベクトルに一貫した直交変換が適用されることが明らかになった。
- これらの発見に基づき，後学習におけるパラメータの協調的なダイナミクスを記述するフレームワークを提案した。これにより，後学習が事前学習時に獲得された基盤能力に依存する理由が説明できる。
- 特異値のスケーリングは後学習における温度制御のメカニズムの基盤であり，特異ベクトルの回転は意味的アライメントを符号化していることが示唆された。
MOMEMTO：時系列基礎モデルにおけるパッチベースのメモリーゲートモデル [cs.LG]目的：時系列異常検知のためのメモリーゲートモデル
- 時系列データは様々な分野で重要であり，異常検知はシステムの信頼性や安全性を確保する上で不可欠である。
- 深層学習モデルは汎化能力が高い反面，未知の異常を過剰に適合させ，正確に再構築してしまう問題がある。
- 本研究は，過剰な汎化を抑制し，少ないデータでも高精度な異常検知を可能とするモデルの構築を目指す。
- MOMEMTOは，パッチベースのメモリーモジュールを導入することで，時系列基礎モデルの過剰汎化を軽減する。
- 複数のドメインから正常パターンを抽出し，多ドメイン学習戦略を通じて単一モデルを効率的にファインチューニングする。
- 23の単変量ベンチマークデータセットでの実験により，MOMEMTOが既存手法よりも高いAUCおよびVUSスコアを達成し，特にFew-shot学習において性能が向上することが示された。
広告がプロファイルとなる時：LLMを用いた大規模ウェブ広告における見えないリスクの解明 [cs.HC, cs.AI, cs.CR, cs.CY]目的：ウェブ広告から個人属性を推測する手法の検討
- ウェブ広告は多くのユーザーにリーチするため，プライバシー侵害のリスクが常に存在する。
- 明確なターゲティング規制があるにも関わらず，アルゴリズムによるプロファイリングは残存している。
- LLMを用いて，ウェブ広告の表示履歴から個人属性をいかに正確に推測できるかを検証する。
- オフザシェルフのLLMが，個人の党派性，雇用状況，教育レベルなどの複雑な属性を高精度に再構築できることが示された。
- 本手法は，国勢調査データや人間の社会的認識よりも高い精度で，低コストかつ迅速に個人属性を推測することが可能である。
- 短い期間の広告観察だけでもプロファイリングが可能であり，長期間のトラッキングは必須ではないことが明らかになった。
GNARLyな問題への取り組み：強化学習によるグラフニューラルアルゴリズム推論の再構築 [cs.LG, cs.AI]目的：ニューラルアルゴリズム推論におけるアルゴリズムの軌跡学習
- 複雑な問題解決において，従来のアルゴリズムでは限界があり，機械学習による新しいアプローチが求められている。
- 既存のニューラルアルゴリズム推論は，解の妥当性や複数解の探索，NP困難問題への対応が課題となっていた。
- 強化学習を用いることで，アルゴリズム推論の構造化と性能向上を図り，より広範な問題への適用を目指す。
- 提案手法GNARLは，複数のCLRS-30問題において高いグラフ精度を達成し，既存のニューラルアルゴリズム推論の手法を上回る性能を示した。
- 特にNP困難問題において顕著な成果が得られ，専門家アルゴリズムが存在しない問題にも適用できる可能性を示唆している。
- 問題定式をニューラルアルゴリズム推論から強化学習へ変換する手法と，グラフベースの問題に適した学習アーキテクチャを確立した。
学習カーネルを用いたスペクトルアルゴリズムに対するアラインメント感受性ミニマックスレート [cs.LG, math.ST, stat.TH]目的：データから学習されたカーネルを用いるスペクトルアルゴリズムのミニマックスレートの解析
- 機械学習においてカーネル法は重要な役割を担う。性能はカーネルの選択に大きく依存する。
- 最適なカーネルの選択は困難であり，特に高次元データにおいては過学習のリスクがある。
- スペクトルアルゴリズムにおける汎化性能の上限を，カーネルの学習状況を考慮して明らかにすること。
- 有効スパン次元(ESD)を導入し，信号，スペクトル，ノイズレベルに依存する複雑性指標を定義した。
- ESDがK以下である系列モデルにおいて，ミニマックス過剰リスクはσ^2 Kとしてスケーリングされることを証明した。
- 過パラメータ化された勾配フローがESDを削減し，適応的特徴学習がスペクトルアルゴリズムの汎化性能を向上させることを示した。
決定論的離散ノイズ除去 [cs.CL, cs.LG, nlin.CD]目的：離散状態拡散モデルにおける決定論的ノイズ除去手法
- 拡散モデルは，高品質なデータ生成において重要な役割を担っている。
- 拡散モデルの生成過程は確率的であるため，再現性や効率性に課題がある。
- 確率的過程を決定論的に変換し，効率と品質を向上させること。
- 提案手法は，ハーディングアルゴリズムを導入することで，決定論的な状態遷移を実現している。
- テキストと画像生成タスクにおいて，効率とサンプル品質の双方で一貫した改善が確認された。
- 拡散に基づく組合せ最適化問題においても，より良い解が得られている。
DeFacto：画像を用いた反事実的思考による証拠に基づいた忠実な推論の強化 [cs.AI]目的：画像を用いた反事実的思考による，証拠に基づいた忠実な推論の実現
- マルチモーダル言語モデルの発展は，画像と言語の連携による推論能力の向上に貢献している。
- モデルが誤った画像領域に依存し，先入観やデータセットの偏りに影響される可能性がある。
- 画像に対する理解度を高め，より正確かつ根拠のある推論を可能にすることを目的とする。
- DeFactoは，正解率と推論の忠実性を大幅に向上させることに成功した。
- このフレームワークは，質問に関連する証拠を自動的に特定し，様々なバリエーションのデータセットを構築する。
- GRPOに基づく強化学習を用いて，モデルを正確な回答と証拠に基づいた推論へと導く。
不確実性下における選択の科学：機械学習 [cs.LG, stat.ML]目的：不確実性下での選択に関する理論的保証を得るための統計的ツール
- 機械学習は，現代社会の様々な分野で活用され，その重要性は増している。
- データサンプリングのランダム性により，予測精度の経験的推定値はノイズを含む。
- 不確実性下での選択における理論的な保証を確立することを目的とする。
- 集中測度の不等式は，経験的推定値と真の期待値の乖離を制御するための主要な統計的ツールである。
- オッカムの剃刀，Vapnik-Chervonenkis分析，PAC-Bayes分析などのツールを用いて，汎化誤差の上界を導出する。
- オンライン学習における後悔（regret）の概念を定義し，確率的および敵対的環境下での後悔の上界を導出する。
任意のデータモダリティを持つ偏微分方程式の基盤モデルMORPH [cs.CV, cs.AI, cs.LG, physics.comp-ph]目的：偏微分方程式のためのモダリティに依存しない自己回帰型基盤モデル
- 科学技術の発展には，複雑な物理現象のシミュレーションが不可欠であり，その効率化が求められている。
- 既存のモデルは，特定のデータ形式や空間次元に限定され，汎用性に欠ける場合が多い。
- 多様なデータ形式と次元に対応し，科学技術計算の効率化を目指す。
- MORPHは，多様な時空間データ（1D～3D）やスカラー・ベクトル場を扱える。
- 事前学習と転移学習により，既存モデルを上回る予測性能を示した。
- この柔軟性は，科学的観測データの異質性と多様性から学習するための強力な基盤となる。
単純化されたベクトルの量子化におけるコード崩壊に対する簡潔な解決策：単体頂点への押し込み [cs.HC, cs.CY, cs.CL, cs.LG, cs.AI]目的：ベクトルの量子化におけるコード崩壊の抑制
- 機械学習において，連続ベクトル空間を離散化するベクトル量子化は広く用いられている。
- ベクトル量子化では，量子化ステップの非微分可能性が勾配逆伝播を妨げるという課題がある。
- 単体頂点への距離最小化により，近似精度とコードブックの利用率を同時に向上させる。
- 提案手法は，既存手法と比較して，より信頼性の高いコードブック利用を実現する。
- 離散画像自動符号化やコントラスト音声表現学習を含む代表的なベンチマークにおいて，性能が向上する。
- 単純かつ直感的な正則化により，近似精度とコードブック利用率の両立を促進する。
グラフに対するロータリー位置エンコーディング [cs.LG, cs.AI]目的：グラフ構造データの表現学習における性能向上
- グラフ構造データは，社会ネットワークや分子構造など，多様な分野で現れるため重要である。
- 既存のグラフ表現学習法は，大規模グラフにおける計算効率や表現能力に課題がある。
- グラフの構造情報を効率的に捉え，表現能力を向上させる新たな手法の確立を目指す。
- ロータリー位置エンコーディング（RoPE）をグラフデータへ適用するWave-Induced Rotary Encodings (WIRE)を提案。
- グラフラプラシアンのスペクトルに基づくトークンの回転により，注意機構へ構造情報を効率的に注入。
- 提案手法は，グリッド構造上では通常のRoPEと一致し，グラフの有効抵抗に依存する理論的性質を持つ。
JointDiff：マルチエージェント軌道生成における連続データと離散データの統合 [cs.LG, cs.CV]目的：マルチエージェント軌道と離散イベントの同時生成
- 複雑なシステムのモデル化には，連続データと離散データの同時考慮が不可欠である。
- 既存の手法では，連続データと離散イベントを別々に扱うため，相互作用を捉えきれない。
- 連続データと離散イベントを同時に生成することで，より現実的なシミュレーションを実現する。
- JointDiffは，連続データと離散イベントを同時に生成する新しい拡散フレームワークである。
- スポーツドメインにおいて，マルチエージェントの軌道とキーとなるボールポゼッションイベントのモデル化に有効性が示された。
- テキストによる誘導や，ボール保持者の指定など，多様な制御シナリオが可能であり，最先端の性能を達成した。
SINQ：キャリブレーション不要な低精度LLM重みのシンコーン正規化量子化 [cs.LG]目的：低精度LLM重みの量子化による性能劣化の抑制
- 大規模言語モデルの低精度化は，計算コストとメモリ使用量を削減し，実用化を促進する上で重要である。
- 従来の量子化手法では，4ビット以下の低ビット幅において性能が低下する問題が存在する。
- 外れ値を含むパラメータのスケーリング問題を解決し，低ビット幅量子化における性能劣化を抑制することを目指す。
- SINQは，既存の量子化手法に第二軸のスケール因子とシンコーン・ノップ法を導入することで，精度劣化を50%以上削減した。
- SINQは層間の相互作用がなく，新しいアーキテクチャへの適用が容易であり，計算オーバーヘッドも無視できる程度である。
- 活性化を意識した量子化を近似し，Qwen3モデルファミリーを含む様々なモデルで有効性を確認した。
バイアス反転によるLLMウォーターマーク回避 [cs.CR, cs.AI]目的：LLM生成コンテンツ検出のためのウォーターマーク回避手法
- LLMの普及に伴い，生成された文章の真偽性の確認が重要になっている。
- 既存のウォーターマークは，クエリなし（ブラックボックス）環境下での回避攻撃に弱い。
- 文意を損なわずに，ウォーターマーク回避の成功率を高めることを目指す。
- 本研究では，書き換えベースの回避攻撃が，特定のトークンの出現確率をわずかに減少させるだけで検出確率を指数関数的に低下させることを理論的に示した。
- 提案手法BIRAは，トークンの驚き度を利用して抑制セットを特定し，負のロジットバイアスを適用することで，高い回避率（>99%）を達成した。
- BIRAは既存手法と比較して，文意の保持性能が大幅に向上している。現在のウォーターマーク手法の脆弱性が明らかになった。
SafeSearch：LLMベース検索エージェントの自動敵対的テスト [cs.AI, cs.CL, cs.CR]目的：LLMベース検索エージェントの安全性評価
- LLMとインターネットを接続し，最新情報を活用する検索エージェントの重要性が高まっている。
- 検索結果の信頼性不足が，エージェントによる有害な出力の生成リスクとなる。
- 検索エージェントの安全性評価を自動化し，脆弱性を明らかにすること。
- SafeSearchフレームワークを開発し，スケーラブルかつ低コストで検索エージェントの安全性を評価した。
- 300件のテストケースで17のLLMを評価した結果，GPT-4.1-miniでは最大90.5%の攻撃成功率(ASR)が確認された。
- 一般的な防御策であるリマインダープロンプティングは，限定的な保護効果しか提供しないことが示された。
デバイスとクラウドLLMの協調推論：ローカルルーティングとポストトレーニングのための統一的な手法 [cs.LG]目的：デバイスとクラウドLLMの協調推論における，クエリのローカル処理またはクラウドへのオフロードの決定方法
- LLMの性能向上と効率的な展開には，デバイスとクラウドの連携が不可欠である。
- 既存のルーティング手法は，複雑な推論タスクにおいて，プロンプト自体の難易度を正確に判断できない。
- デバイス側のLLMが，クラウド支援を内部的に判断する能力を付与し，推論性能を向上させる。
- 本手法は，強化学習を用いたポストトレーニングにより，デバイス側のLLMにクラウド支援の判断能力を学習させる。
- 階層的な報酬設計とグループレベルのポリシー勾配により，最適化の安定化とポリシーの崩壊を抑制する。
- 実験結果から，本手法は既存手法を凌駕し，クラウドLLMとの性能差を大幅に縮小することが示された。
FS-KAN：関数共有による置換不変Kolmogorov-Arnoldネットワーク [cs.LG]目的：置換対称性を持つデータに対するKolmogorov-Arnoldネットワークの構築手法
- データに存在する対称性を活用することで，モデルの汎化性能と計算効率を向上させることは重要である。
- 従来のMLPベースのアーキテクチャでは解釈性や表現力に課題があり，効率的な対称性処理が困難である。
- 任意の置換対称性群に対して，等方的なKA層を構築するための原理的な枠組みを提供する。
- FS-KANは，標準的なパラメータ共有層と同等の表現力を持つことが理論的に示された。
- 複数のデータタイプと対称性群に対する実験評価で，FS-KANは標準的なパラメータ共有層と比較してデータ効率が優れていることが示された。
- FS-KANは，KANの解釈性と適応性を維持しつつ，特に低データ環境下で優れたアーキテクチャ選択肢となる。
ニューラルネットワーク埋め込みが心理測定調査項目から人間のデータと同等の価値次元を再現する [cs.AI, cs.CL]目的：心理測定調査項目の価値次元の再現
- 人間の価値観理解は，社会科学研究や行動分析において不可欠である。
- 従来の価値観測定は，コストや時間，文化的な偏りが課題であった。
- 大規模言語モデルを用いた埋め込み表現により，効率的かつ客観的な価値観測定を目指す。
- SQuIDを用いた埋め込み表現は，人間の評価と同等の価値構造を再現できることが示された。
- 次元間の類似性において，人間のデータと比較して55%の分散を説明できた。
- 他の性格検査への適用性も示され，SQuIDは汎用性の高い手法であることが示唆された。
量子化への動的適応：効率的な量子化LLMのファインチューニングのための設定認識型LoRA [cs.LG, cs.AI]目的：量子化されたLLMの効率的なファインチューニング
- 大規模言語モデルの利用拡大に伴い，リソース制約のある環境での展開が重要になっている。
- 量子化はモデルサイズを削減するが，精度低下を招く可能性がある。
- 様々な量子化設定に対応可能なLoRAアダプタの動的な調整手法を開発すること。
- 提案手法CoA-LoRAは，再ファインチューニングなしに任意の量子化設定に対応できる。
- 設定認識型モデルが，各設定を低ランク調整にマッピングする。
- 実験により，既存手法と同等またはそれ以上の性能を，追加の時間コストなしに達成できることが示された。
思考の連鎖と潜在的思考の形式的比較 [cs.AI, cs.CL, cs.LG]目的：思考の連鎖と潜在的思考の比較能力
- 大規模言語モデルの推論能力向上は，AI研究における重要な課題である。
- 思考の連鎖と潜在的思考の特性の違いが明確に理解されていない。
- 両者の形式的分析により，適切な推論パラダイムの選択を支援する。
- 潜在的思考は，思考の連鎖に比べて並列計算において効率的であることが示された。
- 思考の連鎖は，確率的デコーディングを通じて近似的な計数とサンプリングを可能にする。
- この分離は，深層再帰に適したタスクを特定し，実践的な指針を提供する。
エントロピーに基づく動的パッチ分割による時系列Transformer [cs.CV, cs.AI, cs.LG]目的：時系列モデリングにおける，エントロピーをガイドとした動的パッチ分割手法
- 時系列データ分析は，金融，気象，医療など幅広い分野で不可欠である。
- 従来のパッチ分割は時間的 coherence を無視し，自然な遷移を断ち切ってしまう。
- エントロピーに基づいて動的にパッチ境界を決定し，時間構造を保持することを目指す。
- 提案手法 EntroPE は，条件エントロピーを用いて遷移点を検出し，動的にパッチ境界を配置する。
- EDP と APE の 2 つのモジュールで構成され，時間的シフトを捉え，パッチ内の依存関係を学習する。
- 長期的予測，分類，異常検知の実験で，提案手法は精度と効率を向上させることを示した。
順序不変強化学習を用いたブラックボックス組合せ最適化 [cs.LG]目的：ブラックボックス組合せ最適化のための順序不変強化学習フレームワーク
- 組合せ最適化は，現実世界の複雑な問題を解決するための重要な手法である。
- 従来のEDAは変数依存グラフの学習にコストがかかり，複雑な相互作用を捉えきれない場合がある。
- 変数順序に依存しないモデルを学習し，探索空間の多様性を高め，効率的なサンプル学習を目指す。
- 提案手法は，多くのベンチマークアルゴリズムと問題インスタンスにおいて，最良の性能を達成することが多い。
- 従来のアルゴリズムで発生しうる破滅的な失敗を回避する一貫性がある。
- GRPOを適用することで，スケール不変なアドバンテージに基づく安定した方策勾配更新を実現した。