arXiv雑要約
AI - 2026/02/02 公開
XAI-CF：サイバーフォレンジクスにおける説明可能な人工知能の役割の検証 [cs.CR, cs.AI]目的：サイバーフォレンジクスにおける説明可能な人工知能（XAI-CF）の意義と利点
- サイバーデバイスの複雑化に伴い，サイバーフォレンジクスの新たな課題解決が求められている。
- AI技術のフォレンジクスへの応用において，結果の説明責任と信頼性の確保が課題となっている。
- XAI-CFを構築し，AIシステムの透明性，解釈可能性，理解度を高めることを目指す。
- 本研究は，XAI-CFの定義，既存研究のレビュー，そして課題と解決策を提示する。
- XAI-CFの重要性を強調し，実用的かつ成功するシステム構築の要件を議論した。
- XAI-CFの将来の研究方向性を示し，今後の研究の基盤を提供する。
TorchCP：確証予測のためのPythonライブラリ [cs.LG, cs.CV, math.ST, stat.TH]目的：深層学習モデルにおける確証予測の実現
- 機械学習モデルの信頼性向上は，安全性や意思決定の質に不可欠である。
- 既存の確証予測ライブラリは，大規模深層学習のモデルや計算量に対応できていない。
- 深層学習モデルへの確証予測の統合と，大規模データでの効率的な処理を実現する。
- TorchCPは，PyTorchネイティブな確証予測ライブラリであり，DNN，GNN，LLM等に対応する。
- ユニットテスト100%カバー率と詳細なドキュメントを備え，LGPL-3.0ライセンスで公開されている。
- 大規模データセットにおいて，推論時間を最大90%削減するGPUアクセラレーションを可能にする。
蒸留は事前学習済みエンコーダにおけるバックドア攻撃を軽減できるか？ [cs.CL, cs.LG]目的：事前学習済みエンコーダに対するバックドア攻撃の軽減
- 自己教師あり学習は，汎用的な表現学習に不可欠であり，多様なダウンストリームタスクで利用されている。
- 自己教師あり学習は，悪意のあるエンコーダが流通し，ダウンストリームモデルを汚染されるリスクがある。
- 蒸留技術を用いて，バックドア攻撃を受けたエンコーダから悪意のある知識を取り除くことを目指す。
- 蒸留によって，バックドア攻撃の成功率を80.87%から27.51%に大幅に低減できることが示された。
- モデル精度への影響はわずか6.35%であり，実用的な防御策となりうる。
- 教師ネットワークのファインチューニング，ウォームアップベースの学生訓練，アテンションベースの蒸留損失が最適な性能をもたらす。
ノード分類のための事後ラベル平滑化 [cs.SI, cs.LG, cs.AI]目的：ノード分類におけるラベル平滑化の有効性
- グラフ構造データにおけるノード分類は，ソーシャルネットワーク分析等に応用され重要である。
- グラフ構造の多様性に対応したノード分類手法は未だ十分とは言えない。
- グラフ構造に適応可能なラベル平滑化手法を開発し，分類精度向上を目指す。
- 提案手法は，ホモフィリックからヘテロフィリックなグラフに対し，一貫して分類精度が向上することを示した。
- 事後ラベル平滑化が，訓練時の過学習を抑制し，汎化性能を高める効果が確認された。
- 疑似ラベリングが，グラフ全体のラベル統計を効果的に改善することが示された。
開腹手術器具の単眼姿勢推定 -- 現実環境下で [cs.CV, cs.LG, cs.RO]目的：開腹手術器具の単眼6D姿勢推定手法
- 医療現場でのロボット支援や拡張現実の実現には，手術器具の正確な位置・姿勢の把握が不可欠である。
- 手術器具は関節を持ち，光沢や遮蔽物が多いなど，姿勢推定が困難な状況が生じやすい。
- 現実環境における手術映像への姿勢推定手法の適用を可能にすること。
- 本研究では，3Dスキャンと物理ベースレンダリングによる合成データ生成パイプラインを構築した。
- 手術器具の検出と姿勢・関節推定を組み合わせた姿勢推定フレームワークを開発した。
- 合成データとラベルなし実データを用いたドメイン適応による学習戦略が有効性を実証した。
Navier-Stokes方程式と大気力学におけるDLWPバックボーンの比較対照 [cs.LG]目的：深層学習天気予報(DLWP)モデルの性能比較と評価
- 気象予測の精度向上は，社会経済活動への影響が大きく，重要な研究分野である。
- DLWPモデルは多様なバックボーンを持ち，最適なモデル選択が課題となっている。
- 異なるバックボーンを持つDLWPモデルの性能を公平に比較し，最適なモデルを特定する。
- 合成データではFNOが好成績を示し，実データではConvLSTMとSwinTransformerが短期・中期予報に適していることが示された。
- 50年までの長期予報では，球形データ表現を用いるGraphCastとSpherical FNOが安定性と物理的妥当性で優れていることが示された。
- 本研究の結果は，将来的なDLWPモデル開発の指針となる。
FC-KAN：コルモゴロフ・アーノルドネットワークにおける関数結合 [cs.LG, cs.CL]目的：関数結合によるコルモゴロフ・アーノルドネットワークの性能向上
- 機械学習モデルの表現力向上は，複雑なデータ解析において不可欠である。
- 既存のコルモゴロフ・アーノルドネットワークは，関数選択の自由度に限界がある。
- 多様な関数を組み合わせることで，より強力な表現力を持つネットワークを構築する。
- FC-KANは，Bスプライン，ウェーブレット，RBFなどの関数を組み合わせることで高性能を実現した。
- MNISTおよびFashion-MNISTデータセットにおいて，FC-KANは他のKANモデルやMLPを上回る性能を示した。
- 特に，BスプラインとDoG，およびBスプラインと二次関数変換の組み合わせが顕著な成果を上げた。
大規模言語モデルの推薦におけるバイアスの解明と軽減：公平性への道 [cs.IR, cs.AI, cs.ET, cs.LG]目的：大規模言語モデルに基づく推薦システムにおけるバイアスの影響と軽減策
- 推薦システムは情報過多な現代において，ユーザーに適切な情報を提供する上で不可欠である。
- 学習データに偏りがある場合，推薦システムは特定の内容を過度に推奨し，多様性を損なう可能性がある。
- 本研究は，バイアスの影響を明らかにし，公平な推薦を実現するための解決策を探求する。
- 大規模言語モデルの推薦システムには，顕著なバイアスが内在していることが明らかになった。
- バイアスは，モデル（GPT，LLaMA，Gemini）を問わず，推薦結果に深く影響を及ぼしている。
- プロンプトエンジニアリングや検索拡張生成などの介入により，バイアスを大幅に軽減できることが示された。
ARB-LLM：大規模言語モデルのための交互洗練二値化 [cs.HC, cs.CV, cs.AI, cs.CL, cs.LG]目的：大規模言語モデルにおける効率的な二値化手法の開発
- 大規模言語モデルは自然言語処理を大きく前進させたが，その高い計算コストが課題となっている。
- 既存の二値化手法では，二値化とフル精度重みの分布差を狭めることが困難である。
- 本研究は，大規模言語モデルにおける計算コストとメモリ使用量を大幅に削減することを目指す。
- 提案手法ARB-LLMは，二値化パラメータを段階的に更新することで，量子化誤差を大幅に削減する。
- ARB-LLMは，最先端の二値化手法と比較して，大幅な性能向上を実現した。
- ARB-LLM$_\text{RC}$は，同じサイズのFP16モデルを上回る性能を達成し，二値化PTQ手法として初めての成果である。
電極空間配置と時間窓遷移を考慮した時空間融合ネットワークによるうつ病検出 [cs.LG, cs.AI]目的：うつ病検出のための時空間融合ネットワーク
- 脳波を用いたうつ病の客観的診断が求められており，深層学習による手法が注目されている。
- 既存手法では，電極間の空間的位置関係や時間窓間の連続性を考慮していない点が課題である。
- 電極の空間配置と時間窓遷移の情報を活用し，特徴抽出能力の向上を目指す。
- 提案手法SET-TIMEは，公開データセットPRED+CTで92.00%，MODMAで94.00%の検出精度を達成した。
- SET-TIMEは，既存の最先端手法と比較して高い性能を示した。
- 各モジュールの効果検証により，脳波信号の内在する時空間情報の活用がうつ病検出に貢献することが示された。
狭い門：ネイティブマルチモーダルモデルにおける画像とテキストの局所的なコミュニケーション [cs.CV, cs.LG]目的：画像とテキストのコミュニケーション様式の比較
- 画像とテキストを統合するマルチモーダルモデルは，多様な応用において重要性が増している。
- 既存モデルでは，画像情報がテキスト生成にどのように影響しているかの理解が不十分である。
- ネイティブマルチモーダルモデル特有の画像情報伝達メカニズムを解明すること。
- ネイティブマルチモーダルモデルでは，画像とテキストの埋め込みがresidualストリーム内で分離されていることが明らかになった。
- 非ネイティブモデルは分散的なコミュニケーションパターンを示す一方，ネイティブモデルは単一のpost-imageトークンを頼る傾向がある。
- この単一のトークンを削除すると画像理解性能が低下し，トークンレベルでの介入により画像の意味とテキストを制御できることが示された。
ニューラル演算子学習のためのライブラリ [cs.LG, cs.AI]目的：ニューラル演算子学習のためのPythonライブラリ
- 機械学習の応用範囲拡大が期待されており，関数空間上の演算を扱う重要性が高まっている。
- 従来のニューラルネットワークは有限次元空間に限定され，関数空間への適用が課題となっていた。
- 関数空間上の演算を効率的に学習・推論できるツールを提供し，研究開発を促進すること。
- NeuralOperatorは，PyTorchのエコシステムの一部として，高品質でテスト済みのオープンソースパッケージを提供する。
- 様々な離散化に対応し，離散化収束性を持つニューラル演算子モデルの学習・展開を可能にする。
- 最先端のモデルとカスタマイズ性を備えつつ，初心者でも容易に利用できるインターフェースを実現している。
ソフトプラス注意機構と再重み付けによる大規模言語モデルの長さ外挿性能の向上 [cs.CL, cs.AI, cs.LG]目的：大規模言語モデルにおける長さ外挿性能の改善
- 自然言語処理の発展において，大規模言語モデルは重要な役割を担っている。
- 従来のソフトマックス注意機構は，推論トークン数増加に伴い数値的不安定性と性能低下が課題となっていた。
- 数値的安定性を確保し，長さ外挿性能を大幅に改善することを目指す。
- ソフトプラス注意機構とl1正規化の組み合わせにより，数値的安定性が向上した。
- 動的なスケールファクタの導入により，さらに性能が向上した。
- 提案手法は，従来のソフトマックス注意機構や代替手法よりも優れた性能を示し，長文脈検索や下流タスクで優れた結果を達成した。
Transformer最適化の理解：勾配の不均一性に着目して [cs.LG, cs.AI, cs.NE]目的：Transformerモデル最適化における勾配の不均一性の分析
- Transformerは自然言語処理や画像認識で重要な役割を担う基盤モデルである。
- Transformerの最適化は難しく，Adamなどの適応型最適化手法に依存している。
- 勾配の不均一性が最適化に与える影響を解明し，より効率的な最適化手法の指針を示す。
- 勾配の不均一性とヘッセ行列の不均一性が，SGDの収束を阻害することが理論的に示された。
- Adamは座標ごとの正規化により，勾配の符号に依存した更新を行うSignSGDのソフトな変種と解釈できる。
- Post-LN構造のTransformerでは，勾配の不均一性が特に顕著であり，層正規化の位置が不均一性に影響を与えることが示された。
専門家観測可能および観測不可能な交絡下における因果模倣学習 [cs.LG, cs.AI]目的：隠れた交絡因子の存在下における因果模倣学習の枠組み
- ロボットの自律学習において，人間の専門家の行動を模倣する技術は重要である。
- 交絡因子の影響により，単純な模倣学習では最適な行動を学習できない場合がある。
- 専門家が観測できる情報とそうでない情報，両方の交絡因子を考慮した学習手法を開発する。
- 提案手法DML-ILは，軌跡履歴を道具変数として利用し，因果模倣学習を条件付きモーメント制限問題として再構成する。
- DML-ILは，道具変数回帰を用いてこの問題を解き，模倣ギャップの上限を導出する。
- Mujocoタスクを含む連続状態行動環境における実験により，DML-ILが既存の因果模倣学習手法を上回ることが示された。
曖昧性克服のための対話型エージェント：ソフトウェアエンジニアリングにおける不特定性の克服 [cs.AI]目的：ソフトウェアエンジニアリングにおける指示の不特定性に対するエージェントの対応能力の評価
- AIエージェントの活用が広がる中，ソフトウェア開発の効率化と品質向上が期待されている。
- 不完全な指示に対するエージェントの誤った推測や質問不足が，問題や安全性のリスクに繋がる。
- 曖昧な指示に対するエージェントの質問と対話による性能改善の可能性を検証する。
- 大規模言語モデルは，指示の特定性の有無を区別することが困難であることが示された。
- 対話的な指示によって，エージェントは必要な情報をユーザーから効果的に取得し，性能が大幅に向上した。
- 対話的な設定では，性能が最大74%向上し，効果的な対話の重要性が浮き彫りになった。
PSDNorm：睡眠段階判定におけるテスト時の一時的正規化 [cs.LG]目的：睡眠段階判定における深層学習モデルの性能向上
- 生体データは個人差や計測環境により分布が変化しやすく，機械学習の精度低下を招くため，頑健性が重要である。
- 既存の正規化手法は，時間的な依存関係を考慮せず，信号の自己相関を無視してしまうという課題があった。
- PSDNormは，時間的文脈とモンジュ写像を活用し，分布の変化に対応した深層学習モデルの性能向上を目指す。
- PSDNormは，U-NetやTransformerをベースとしたモデルにおいて，10のデータセットと1万件の被験者データで最先端の性能を達成した。
- 未知のデータセットに対しても高い汎化性能を示し，データ不足にも強いという結果が得られた。
- 提案手法は，テスト時に時間的な正規化を行うことで，分布のずれに対するロバスト性を高める。
若きデジタル市民のための倫理的AI：プライバシーガバナンスへの提言 [cs.CY, cs.AI, cs.LG]目的：若年層のデジタル環境におけるプライバシー保護，自律性，データ保護に関する倫理的なAIガバナンスの枠組み
- デジタル化が進む現代社会において，若者の健全な成長を支えるための倫理的なAI利用は不可欠である。
- AIの急速な発展により，若者のプライバシー侵害やアルゴリズムによる偏見が生じる可能性が懸念されている。
- 若者がデジタルアイデンティティを制御し，公正で責任あるAIエコシステムを構築するための具体的な戦略を提示する。
- 本研究は，若者中心のプライバシー保護，透明性の高いデータ慣行，規制による監督を求める。
- アルゴリズムの透明性，プライバシー教育，親によるデータ共有倫理，説明責任の確保が喫緊の課題として挙げられる。
- 政策立案者，AI開発者，教育者に対し，若者のデジタル権利を保護するための具体的な行動を促す。
LLMにおける事実レベルの幻覚検出手法: FactSelfCheck [cs.LG, cs.AI, cs.CL]目的：大規模言語モデルの幻覚検出
- LLMの応用拡大に伴い，その生成する情報の信頼性が重要視されている。
- 既存手法は文や段落レベルでの検出が主であり，詳細な事実レベルでの検証が困難である。
- 事実レベルでの幻覚検出により，より正確な情報修正を目指す。
- FactSelfCheckは，外部リソースや学習データを用いずに，LLMの応答の一貫性から事実レベルの幻覚を検出する。
- 本手法は，既存の文レベル手法と同等の性能を示しつつ，より詳細な幻覚の特定と解釈を可能にする。
- 事実レベルの検証により，ベースラインと比較して35.5%の事実に基づいたコンテンツ増加を実現した。
事故Sim：現実世界の事故報告から物理的に現実的な衝突軌跡を持つ車両衝突動画の生成 [cs.CV, cs.AI]目的：車両衝突動画生成のための物理的リアリズムの実現
- 自動運転研究において，実世界の事故データは不可欠だが，収集は困難である。
- 既存の動画生成手法は視覚的なリアリズムは高いが，物理的な正確さに欠ける場合がある。
- 事故報告書から物理的情報を活用し，現実的な衝突後の軌跡を生成することを目指す。
- AccidentSimは，事故報告書から物理的・文脈情報を抽出し，物理シミュレーターを用いて衝突後の車両軌跡を再現する。
- 生成された軌跡データセットを用いて言語モデルをファインチューニングし，多様なシナリオで物理的に整合性の取れた軌跡予測を可能にする。
- NeRFを用いて高品質な背景をレンダリングし，物理的に現実的な軌跡を持つ車両と合成することで，高画質の衝突動画を生成する。
フーリエニューラル演算子と拡散モデルを統合し，合成地震動応答のスペクトル表現を改善する [cs.LG]目的：合成地震動の生成手法
- 原子力発電所の設計には，地震動による動的負荷への耐性評価が不可欠である。
- 観測データ不足の地域では合成地震動が利用されるが，物理モデルの不確実性や計算コストが課題となる。
- ニューラル演算子と拡散モデルを組み合わせ，より現実的な合成地震動を効率的に生成すること。
- ニューラル演算子で生成された地震動に対し，拡散モデルが中周波数帯域の減衰を補正し，スペクトル表現を改善する。
- 拡散モデルの適用により，地震動の周波数特性の偏りが軽減され，適合度も向上した。
- 本手法は，異なる地盤条件や震源条件下での高速かつ低コストな推論を可能にする。
スタイル共有による分散ドメイン汎化：形式モデルと収束解析 [cs.LG, cs.AI]目的：分散環境におけるドメイン汎化の実現
- 機械学習の応用範囲拡大のため，未知の環境への適応能力向上が重要である。
- 連合学習において，学習時とテスト時でデータ分布が異なる問題が存在する。
- 分散環境下でのドメイン汎化手法の理論的保証と性能向上を目指す。
- 本研究で提案するStyleDDGは，ピアツーピアネットワーク上でスタイル情報を共有することにより，ドメイン汎化を実現する。
- 既存の中央集権型ドメイン汎化アルゴリズムを本フレームワークに統合し，形式化を通じてStyleDDGのモデル化を行った。
- StyleDDGの収束が保証される解析的な条件を導出し，実験によりその有効性を検証した。
影響関数を用いた指示ファインチューニング攻撃の検出 [cs.LG, cs.CR]目的：指示ファインチューニング攻撃の検出
- 大規模言語モデルの安全性確保は重要であり，攻撃に対する堅牢性が不可欠である。
- ファインチューニングデータへの巧妙な毒物データの混入は検出が困難である。
- 攻撃手法の事前知識なしに，毒物データを特定し，モデルの安全性を回復すること。
- 提案手法は，意味変換下の影響関数を利用し，意味反転前後での影響分布を比較することで毒物データを特定する。
- 感情分類において，F1スコア79.5～95.2％，精度66～100％を達成し，単一変換法を大幅に上回る。
- 検出された少量の毒物データ（1～3％）を除去することで，モデルの性能をほぼクリーンなレベルまで回復できる。
言語モデルの線形化において重要な要素：アーキテクチャ，スケール，タスク適応の比較研究 [cs.CL, cs.CL, cs.AI]目的：言語モデルの線形化におけるアーキテクチャ，スケール，タスク適応の影響の比較
- 大規模言語モデルの効率化は，計算資源の制約下での応用を可能にする上で不可欠である。
- 線形化手法は多様化しているが，どの手法がTransformerの能力を最も引き継げるかは不明である。
- 線形化におけるアーキテクチャの重要性を検証し，スケーリングの影響を明らかにすることを目的とする。
- 性能の階層構造は1億4千万パラメータから17億パラメータの間で安定しており，エラー訂正更新則が優れたスケーリング指数を示すことが明らかになった。
- 性能差は学習初期に確立され，100億トークンでの漸近的な成熟期まで持続し，状態解像度が蒸留予算よりも根本的なボトルネックであることが示唆された。
- ゲート付きデルタ則に基づくモデルのみが長文脈検索に必要な精度を維持し，加法モデルは不可逆的な状態飽和に苦しむことがわかった。
通信効率の良い連合蒸留のためのソフトラベルのキャッシュとシャープ化 [cs.LG]目的：連合学習における通信コスト削減とモデル精度の維持
- データプライバシー保護と分散環境での機械学習の重要性が高まっているため。
- 従来の連合学習は通信コストが高く，モデルの異質性に制限があるという課題がある。
- ソフトラベルの冗長な伝送を削減し，通信効率を向上させることを目指す。
- SCARLETは，ソフトラベルのキャッシュとEnhanced ERA機構を統合することで，通信コストを最大50%削減する。
- Enhanced ERAは，従来の温度ベース集約の不安定性を解消し，多様なクライアントシナリオで高い性能を発揮する。
- 実験により，SCARLETが最先端の蒸留ベース連合学習手法と比較して，精度と通信効率の両方で優れていることが示された。
カルマンフィルタ強化GRPOによる強化学習ベースの言語モデル推論 [cs.LG]目的：言語モデル推論における強化学習のための，カルマンフィルタ強化GRPOモデル
- 言語モデルの性能向上には，報酬の推定精度の改善が不可欠である。
- GRPOは出力グループの平均報酬をベースラインとするが，報酬優位性の推定誤差が大きい場合がある。
- カルマンフィルタを用いて動的にベースラインと不確実性を推定し，優位性推定の精度向上を目指す。
- 提案手法KRPOは，GRPOと比較して，より適応的な優位性正規化を実現する。
- 数学の問題解答と推論実験の結果，KRPOはGRPOよりも高い性能と安定したリターン曲線を示す。
- 追加の学習パラメータを必要とせず，シンプルな手法でグループレベルの不確実性を組み込むことができる。
伝達の喪失：LLMがグローバルな推論に失敗するタイミングと理由 [cs.AI, cs.FL, cs.LG]目的：大規模言語モデルにおける情報伝達の限界
- LLMは目覚ましい成果を挙げているが，複雑な推論が求められる場合に課題が残る
- LLM内部の注意機構における情報伝達能力に限界が存在する
- LLMの推論失敗の原因を明確にし，改善策を提示すること
- 大規模言語モデルの注意機構における情報伝達帯域幅の制約をモデル化したBAPOを提案
- グラフ到達可能性問題など，高い通信帯域幅を必要とする問題（BAPO-hard）を特定
- 思考の連鎖（CoT）を用いることで，BAPO-hardな問題をBAPO-easyな問題に変換できることを証明
大規模言語モデルによるアセンブリコードの超最適化: SuperCoder [cs.CL, cs.AI, cs.PF, cs.PL, cs.SE]目的：アセンブリコードの超最適化
- 現代の計算機システムにおいて，プログラムの実行速度は重要な性能指標である。
- 既存のコンパイラによる最適化には限界があり，さらなる高速化が求められている。
- 大規模言語モデルを活用し，コンパイラでは達成できないレベルの最適化を目指す。
- 本研究では，大規模言語モデルがアセンブリコードの超最適化に利用可能であることを実証した。
- 特に，強化学習によりファインチューニングされたSuperCoderは，gcc -O3を1.46倍上回る平均速度向上を達成した。
- この結果は，プログラム性能最適化の新たな可能性を示唆するものである。
SAINT：離散的な組合せ行動空間のためのAttentionに基づく方策 [cs.LG, cs.AI]目的：離散的な組合せ行動空間における有効な方策
- 現実世界の多くの問題は組合せ的な行動空間を持つため，その解決は重要である。
- 従来の強化学習アルゴリズムは，組合せ行動空間の指数的な増加に対応できない。
- SAINTは，複雑な相互作用を捉え，大規模な組合せ行動空間での学習を可能にする。
- SAINTは，Transformerを用いて部分行動間の相互作用を捉える新しい方策アーキテクチャである。
- SAINTは，順列不変性，サンプル効率，標準的な方策最適化アルゴリズムとの互換性を有する。
- 18の組合せ環境において，SAINTは既存の強化学習手法を凌駕する性能を示した。
LightRetriever：極めて高速なクエリ推論を実現するLLMベースのテキスト検索アーキテクチャ [cs.IR, cs.AI, cs.CL]目的：LLMベースのテキスト検索における高速なクエリ推論
- 情報検索の精度向上は，大量のデータから必要な情報を効率的に得る上で不可欠である。
- LLMをクエリエンコーダに利用すると，推論速度が低下し，計算資源を圧迫する。
- クエリエンコーディングの負荷を軽減し，高速な検索を実現すること。
- LightRetrieverは，文書エンコーディングにフルサイズのLLMを使用し，クエリエンコーディングを埋め込みルックアップに削減する。
- A800 GPU上でのフルLLM利用と比較して，クエリエンコーディング速度が1000倍以上，エンドツーエンドの検索スループットが10倍以上向上する。
- 大規模な検索ベンチマークにおいて，多様なタスクで高い汎化性能と，平均95%の検索性能を維持する。
対話する言語モデル：形式的な公平性証明のためのフレームワーク [cs.AI]目的：大規模言語モデルのロバスト性と公平性を形式的に保証する手法
- 大規模言語モデルは重要性の高い応用において不可欠であり，その信頼性が求められる。
- わずかな摂動で予測が変化しやすく，公平性や安全性に関するリスクが存在する。
- 形式的な検証により，公平性と一貫性を保証し，信頼性の高い言語モデルを構築する。
- 本研究では，Transformerベースの言語モデルのロバスト性を検証する包括的なフレームワークを提案した。
- 特に，ジェンダーの公平性と，ジェンダー関連用語間の一貫性を保証することに焦点を当てた。
- また，有害性検出への応用も示し，形式的な保証を通じて，有害な入力が適切に検知・検閲されることを確認した。
堅牢なオフラインモデルベース強化学習のためのポリシー駆動型ワールドモデル適応 [cs.LG, cs.AI]目的：オフライン環境におけるワールドモデルの適応
- データ効率と汎化性能向上のため，モデルベース強化学習が重要視されている。
- 既存手法では，ワールドモデルとポリシーの目的が一致せず，ロバスト性に課題がある。
- ポリシーと連動してワールドモデルを適応させ，ロバスト性を向上させることを目指す。
- 提案手法は，ワールドモデルとポリシーを統合的に学習することで，ロバスト性を高める。
- スタッケルベルグ学習ダイナミクスを用いることで，効率的な最適化を実現した。
- D4RLとTokamak Controlタスクにおいて，最先端の性能を示した。
訓練前にウォームアップ：リソース制約下での汎用的な推論能力の解放 [cs.AI, cs.CL]目的：リソース制約下における推論能力を持つLLMの開発
- LLMの推論能力は重要であり，その性能向上は様々な応用分野を促進する。
- 高性能なLLMの学習には大量の高品質なデータが必要であり，データ不足が課題となる。
- 限られたデータでも推論能力を獲得できる学習戦略を確立すること。
- まず，玩具問題であるKnights & Knavesパズルでウォームアップすることにより，汎用的な推論能力が向上することが示された。
- ウォームアップ済みモデルは，少ないデータ量（≤100例）でのRLVR学習において，ベースモデルよりも一貫して高い性能を発揮した。
- ウォームアップは，特定のドメインでの学習後も，汎用的な推論能力を維持する上で有効であることが確認された。
Transformersと状態空間モデルのメカニズム的評価 [cs.CL, cs.AI]目的：Transformersと状態空間モデルの記憶メカニズムの比較分析
- 自然言語処理においてTransformerが主流だが，計算コストが高いという課題がある。
- 状態空間モデルはTransformerの代替案として期待されるが，文脈からの情報想起に課題がある。
- 各アーキテクチャの失敗・成功要因をメカニズムレベルで解明し，改善に繋げる。
- TransformerとBased SSMは，連想記憶タスクにおいて完全に成功する一方，他のSSM（H3, Hyena）は失敗する。
- TransformerとBased SSMは，文脈中でキーと値の関連付けを帰納的に学習するのに対し，他のSSMは最終状態でのみ学習する。
- MambaはSSMではなく，短畳み込みによって帰納的学習を実現しているという証拠が得られた。
因果関係確率の同定：再帰的アプローチから閉形式の境界へ [cs.AI]目的：因果関係確率の閉形式の境界
- 反事実分析や個別化された意思決定において，因果関係確率は重要な概念である。
- 既存の研究は主に二値の場合に限定されており，多値の治療や結果に対する拡張が課題であった。
- 構造因果モデル内で，離散的な因果関係確率の境界を閉形式で導出し，問題解決を目指す。
- 本研究では，因果関係確率の同値類という概念を導入し，任意の離散的な因果関係確率を代表的なファミリーに還元した。
- 導出された境界は，全ての次元において健全性が証明され，低次元の場合にはBalkeの線形計画法を用いてタイトネスが実証された。
- シミュレーションの結果，提案手法は最近の再帰的な境界よりもタイトでありながら，計算が容易であることが示された。
コンセプトボトルネックモデルの分析：ノイズの多い注釈の影響の測定，理解，軽減 [cs.CL, cs.LG, cs.AI]目的：コンセプトボトルネックモデルにおけるノイズの影響
- 機械学習モデルの解釈可能性は重要であり，人間の理解を助ける。
- コンセプトボトルネックモデルの訓練データにはノイズが含まれる場合が多く，その影響が不明確である。
- ノイズに強いコンセプトボトルネックモデルの構築を目指す。
- ノイズは予測性能，解釈可能性，介入効果を同時に低下させる。
- 特定のコンセプト群は，ノイズの影響を受けやすく，性能低下の大部分を占める。
- シャープネスアウェア最小化と予測エントロピーに基づく推論で，ノイズに対するロバスト性を向上させる。
NeUQI：低ビットLLMのためのほぼ最適な均一量子化パラメータ初期化 [cs.LG, cs.CL]目的：低ビットLLMの均一量子化における，ほぼ最適なパラメータ初期化手法
- LLMは高性能だが，メモリ消費量と推論コストが高く，エッジデバイスへの展開が課題。
- 量子化はメモリ削減に有効だが，均一量子化のパラメータ初期化はMin-Max法に依存し改善の余地がある。
- Min-Max法の限界を克服し，均一量子化のほぼ最適な初期化手法を提案することで，性能向上を目指す。
- 提案手法NeUQIは，LLaMAおよびQwenファミリーにおいて，既存手法を安定的に上回る性能を示す。
- NeUQIは，スケールとゼロ点の同時最適化を簡略化し，ゼロ点をスケールから導出することで，最適化問題をスケールのみに削減する。
- 軽量な知識蒸留と組み合わせることで，リソース集約的なPV-tuningを超える性能を達成する。
大規模言語モデルの推論における強化学習のサンプリング基準の再考：能力と難易度の整合性の視点 [cs.LG, cs.AI]目的：大規模言語モデルの推論能力向上を目指す強化学習におけるサンプリング戦略
- 大規模言語モデルの推論能力向上は，自然言語処理の発展に不可欠である。
- 従来の強化学習はサンプル効率が悪く，問題難易度の推定も不安定である。
- モデルの能力と問題難易度の整合性を考慮した効率的なサンプリング手法の開発。
- 提案手法CDASは，過去のパフォーマンス差異を集約することで，問題難易度を正確かつ安定的に推定する。
- CDASは，固定点システムを用いてモデルの能力を定量化し，その能力に合致する難易度の問題を適応的に選択する。
- 数学的ベンチマークにおいて，CDASは既存手法と比較して，精度と効率の両方で大幅な改善を達成した。
不整地におけるボールボットナビゲーションのための強化学習 [cs.CL, cs.RO, cs.AI, cs.LG]目的：不整地におけるボールボットナビゲーションの実現
- ボールボットは，移動ロボットとして高いポテンシャルを持つが，制御が困難である。
- 従来の制御理論に基づく手法は，環境の複雑さへの対応に限界がある。
- 強化学習を用いることで，複雑な環境においても適応的なナビゲーションが可能となる。
- 本研究では，MuJoCoに基づいたオープンソースのボールボットシミュレーターを開発した。
- 外観からの情報と報酬設計により，古典的な強化学習手法で不整地を効率的にナビゲートできることを示した。
- 比較的少ないデータ量（500hzで動作するシステム上で4～5時間）で効果的なナビゲーションを実現した。
モデルに依存しない差分プライバシー因果推論 [cs.CL, cs.LG, stat.ML]目的：観測データからの因果効果推定
- 医療，経済，社会科学などにおいて，因果効果の推定は重要な課題である。
- 個人情報保護の観点から，データ利用に制約が伴う場合がある。
- 差分プライバシーを保護しつつ，柔軟なモデルを用いた因果推論を可能にすること。
- 提案手法は，構造的な仮定を必要とせず，汎用的に平均処置効果を推定できる。
- 差分プライバシーは，予測と集約段階のみを摂動することで実現している。
- G-Formula，IPW，AIPWといった古典的な推定器に対して有効性を示す。
3D大規模カーネル最適化のための空間適応勾配再パラメータ化 [cs.CV, cs.LG]目的：3D大規模カーネル最適化における最適化安定性の向上
- 高解像度3Dボリューメトリック解析において，Transformerに代わる効率的な手法として大規模カーネル畳み込みが注目されている。
- 大規模カーネルサイズを単純に増加させると，最適化が不安定になるという課題が存在する。
- 有効受容野に着目し，空間的に変化する学習率を導入することで，最適化の安定化を目指す。
- Rep3Dは，軽量なモジュールネットワークを用いて受容野バイアスを考慮したスケーリングマスクを生成し，カーネル更新を適応的に重み付けする。
- この手法は，複雑なマルチブランチ設計を避けつつ，局所から全体への安定した収束を保証する。
- 5つの3Dセグメンテーションベンチマークにおいて，最先端のTransformerや固定事前分布ベースラインと比較して一貫して高い性能を示した。
状態空間モデルにおける文書の「スープ可能性」の研究 [cs.CL, cs.CE, cs.LG]目的：文書のスープ化による，ダウンストリーム推論の支援
- 大規模言語モデルの性能向上には，効率的な情報統合が不可欠である。
- 従来の単一の文脈符号化では，大規模な文書群の処理にコストがかかる。
- 文書を独立に符号化し，それらを統合することで計算コストを削減する。
- ファインチューニングされたMamba2モデルにおいて，スープ化された表現は，従来の単一の符号化アプローチと比較して，マルチホップQA，疎な検索，長文書推論タスクで競争力のある，あるいはそれ以上の性能を達成した。
- RACEおよびQuALITYのベンチマークにおいて，この方法は従来の連結アプローチを大幅に上回った。
- このモジュール設計は数百の文書に拡張可能であり，推論コストを大幅に削減し，大規模なコーパス推論の新たな可能性を拓く。
多言語LLMにおけるパキスタン言語を通じた政治的偏りのフレーム化 [cs.CL, cs.AI]目的：パキスタン言語における大規模言語モデルの政治的偏りの評価
- 言語は政治，宗教，地域イデオロギーと密接に関連し，多言語地域における情報形成に影響を与える。
- 既存の偏り評価は欧米言語に偏っており，低リソース言語や多言語地域での偏りは未解明である。
- パキスタンの文化的背景に特化した政治的偏りを多言語LLMで評価し，言語依存的な偏りの実態を明らかにする。
- LLMは主に西洋の学習データに一貫した自由主義・左派の傾向を示す。
- 地域言語においては，より権威主義的なフレーム化が見られ，言語によるイデオロギーの調整が示唆される。
- モデル固有の偏りパターンが言語を跨いで一貫して認められ，多言語バイアス監査の必要性が示された。
学習の盲点：過剰なアンラーニングとプロトタイプ再学習攻撃 [cs.LG, cs.AI]目的：機械アンラーニングにおける盲点の特定と対策
- プライバシー保護の重要性が高まり，モデルからのデータ削除技術が求められている。
- 既存のアンラーニング手法では，忘却対象周辺データの劣化や知識の再学習攻撃が問題となっている。
- 過剰アンラーニングの抑制と再学習攻撃への耐性向上を目指す。
- 過剰アンラーニングの評価指標OU@epsilonを新たに定義し，忘却対象周辺における影響を定量化した。
- プロトタイプ再学習攻撃という新たな脅威を発見し，少量のサンプルで忘却された知識を復元可能であることを示した。
- Spotterというプラグアンドプレイ可能な目的関数を提案し，過剰アンラーニングの抑制と再学習攻撃への耐性を両立した。
ナビゲーションタスクのための継続的オフライン強化学習ベンチマーク [cs.LG]目的：ナビゲーションタスクにおける継続的オフライン強化学習アルゴリズムの評価
- ロボティクス等で，タスクの変化に適応しつつ，過去の知識を忘れない能力が重要である。
- 継続的強化学習では，破滅的忘却の防止とスケーラビリティが課題となっている。
- 破滅的忘却，タスク適応，メモリ効率という課題に対応するベンチマークを提供する。
- ビデオゲームのナビゲーションシナリオを用いたベンチマークを構築し，継続的強化学習の課題を網羅した。
- 評価プロトコルと指標を定義し，最先端のベースラインアルゴリズムとの比較を可能にした。
- 研究の再現性と，実用的なパイプラインへの応用を促進するフレームワークを提供する。
フィッシャー・ラオ幾何におけるPPO [cs.LG, math.OC]目的：強化学習における方策改善と収束の形式的保証
- 強化学習は，複雑な意思決定問題を解決する強力な手法であり，その応用範囲は広い。
- PPOは実用性が高いが，方策改善と収束に関する形式的な保証が不足している点が課題である。
- フィッシャー・ラオ幾何を利用し，より厳密な保証を持つPPOアルゴリズムを開発すること。
- 提案手法FR-PPOは，単調な方策改善の理論的保証を提供する。
- 直接パラメータ化設定において，FR-PPOは状態空間や行動空間の次元に依存しない亜線形収束を達成する。
- 数値実験により，FR-PPOが様々な強化学習タスクで良好な性能を示すことが示された。
非凸グラフニューラルネットワークにおけるエッジ編集に対する影響関数 [cs.CL, cs.CL, cs.LG, cs.AI]目的：グラフニューラルネットワークにおけるエッジの影響度評価
- グラフニューラルネットワークの解釈可能性と頑健性を向上させる上で，エッジの影響理解は不可欠である。
- 既存手法は凸性条件に依存し，エッジの挿入を考慮せず，メッセージ伝播の変化を捉えられない。
- 非凸な状況下でも正確な影響度を予測し，エッジの挿入と削除の両方を扱える手法を開発する。
- 提案手法は，グラフニューラルネットワーク向けに調整された近接ブレグマン応答関数を用いることで，凸性条件を緩和し，正確な影響度予測を実現する。
- エッジの削除と挿入の両方に対し，整合性のある影響度予測が可能であり，メッセージ伝播の影響も考慮されている。
- 実世界のデータセットを用いた実験により，提案手法の有効性が確認された。グラフの再配線や敵対的攻撃への応用も示唆されている。
変分オートエンコーダによる潜在的アラインメントを用いた準粒子干渉カーネル抽出 [cs.LG]目的：準粒子干渉カーネルの抽出
- 量子材料の電子状態を調べる上で，準粒子干渉イメージングは強力な手法である。
- 多重散乱画像から単一散乱カーネルを抽出することは，本質的に逆問題として解けない。
- 複雑な散乱条件下でも，ロバストにカーネルを推論することを可能にする。
- 提案手法は，既存手法と比較して有意に高い抽出精度と，未知のカーネルに対する汎化性能を示す。
- AgおよびFeSeサンプルの実際の準粒子干渉データに対し，複雑な散乱条件下でも意味のあるカーネルを確実に抽出できる。
- 物理的に妥当なカーネル空間をモデル化し，その知識を逆マッピングに活用するAIベースのフレームワークを提示する。
Ravan：連合ファインチューニングのためのマルチヘッド低ランク適応 [cs.LG, cs.AI]目的：連合学習における大規模言語モデルのファインチューニング手法
- エッジデバイスの大量データを活用する重要性があり，プライバシー保護が求められる。
- クライアント間のデータや計算資源の不均一性が，LoRAの精度低下を引き起こす。
- 分散環境下でのモデル精度を維持しつつ，効率的なファインチューニングを実現する。
- Ravanは，複数のLoRAヘッドを適応的に組み合わせることで，パラメータ効率とモデル表現力のバランスをとる。
- スケーリング因子を学習することで，重要なヘッドに最適化を集中させ，フルアップデートに近い近似を実現する。
- ビジョンおよび言語ベンチマークにおいて，既存手法と比較して2-8%の精度向上を達成した。
拡散モデルにおける反向ノイズ [cs.LG, cs.NA, math.NA, stat.CO, stat.ML]目的：拡散モデルにおける反向ノイズの相関性
- 拡散モデルは画像生成において高い性能を示すが，その生成過程の理解は十分ではない。
- 拡散モデルにおける不確実性の定量化は課題であり，信頼性の高い評価が求められている。
- 反向ノイズの負の相関を利用し，不確実性の定量化の精度向上を目指す。
- 拡散モデルにおいて，ノイズと反ノイズを組み合わせることで強い負の相関が常に現れることが確認された。
- この負の相関により，信頼区間が最大90％狭まり，不確実性の定量化が大幅に改善される。
- 本手法は追加学習や計算コストを必要とせず，様々なモデルやタスクに適用可能である。