arXiv雑要約
AI - 2026/02/03 公開
大規模言語モデルのための自己生成敵対的微調整 [cs.LG]目的：大規模言語モデルのアライメント
- 言語モデルの性能向上は，自然言語処理の発展に不可欠である。
- 高品質なアノテーションデータの不足が，アライメントのボトルネックとなっている。
- 自己評価の偏りを抑制し，安定的なアライメントを実現すること。
- SGALMは，単一の言語モデル内で生成と識別能力を同時に進化させる。
- 外部の報酬モデルに依存せず，最先端の性能を達成した。
- SGALMは，効果的なアライメントアルゴリズムとロバストな合成データエンジンとして機能する。
グラフ機械学習の主要原則：表現，頑健性，および一般化 [cs.LG]目的：グラフニューラルネットワークの表現学習，頑健性，一般化に関する研究
- 構造化データ処理において，グラフニューラルネットワークの重要性が高まっている。
- GNNは，一般化性能，敵対的摂動への頑健性，表現学習能力に課題を抱えている。
- GNNの限界を克服し，その潜在能力を最大限に引き出すことを目指す。
- グラフシフト演算子に基づいた新たな表現学習手法を開発し，様々な状況下での性能向上を目指した。
- グラフデータ拡張による一般化性能の向上手法を提案し，過学習の抑制を図った。
- 直交化技術やノイズベース防御を活用することで，敵対的攻撃に対するGNNの頑健性を高めた。
汎化半径と統合コードブック変換による微分可能なベクトル量子化 [cs.LG]目的：微分可能なベクトル量子化の実現
- 現代の生成モデルや表現学習の基盤技術であり，効率的なデータ圧縮と表現が可能。
- 従来の近似微分法では勾配が不安定で，コードブックの利用効率が低いという課題があった。
- 勾配の安定化とコードブックの効率的な利用を可能とする新しい手法を提案し，その理論的根拠を確立する。
- 提案手法GRIT-VQは，前方パスでハードアサインメントを維持しつつ，ベクトル量子化を完全に微分可能にする。
- GRIT-VQは，直通推定器の代わりに半径ベースの更新手法と，コードブックへの統合変換を導入することで，勾配の安定化と協調的なコードブック進化を実現する。
- 画像再構成，生成，レコメンデーションのベンチマークにおいて，既存のベクトル量子化手法と比較して，性能向上とコードブック利用率の向上が確認された。
PersistBench：LLMはいつ長期記憶を忘却すべきか [cs.AI]目的：LLMにおける長期記憶の安全性リスクの評価
- 対話型アシスタントにおいて，長期記憶による個別化が重要視されている。
- 長期記憶の保持は，意図しない情報の漏洩や偏見の強化といった安全上のリスクを招きうる。
- 長期記憶利用における潜在的なリスクを定量的に評価し，より安全なシステム開発を促す。
- PersistBenchを用いて18のLLMを評価した結果，クロスドメイン漏洩で中央値53%，おべっか行為で97%という高い失敗率が確認された。
- LLMは，長期記憶の内容を不適切に会話に挿入したり，ユーザーの偏見を助長したりする傾向が強いことが示された。
- 本研究は，長期記憶を利用する対話システムにおける安全性向上を促すためのベンチマークを提供する。
個体レベル戦略多様性による差分進化の潜在能力の解放 [cs.NE]目的：差分進化における個体レベル戦略多様性の影響と性能向上
- 最適化問題解決において，差分進化は広く用いられる手法であり，その性能改善が重要視されている。
- 既存の差分進化変種は適応機構に依存する傾向があり，静的な戦略多様性の利点が十分に検討されていない。
- 本研究は，個体レベルでの戦略多様性を導入し，差分進化の探索性能を向上させることを目指す。
- 提案手法iStratDEは，各個体に独立した変異および交叉戦略を初期化時に割り当て，固定することで個体レベルの多様性を実現している。
- 大規模な集団において，iStratDEは優れた行動の多様性を維持し，高い性能を発揮することが示された。
- CEC2022ベンチマークおよびロボット制御タスクの実験により，iStratDEが既存の適応型差分進化変種と同等またはそれ以上の性能を示すことが確認された。
潜在的思考連鎖の能力と基本的限界 [cs.AI, cs.IT, cs.LG, math.IT, math.OC]目的：潜在的思考連鎖モデルにおける探索と実行のトレードオフの解明
- 大規模言語モデルの推論能力向上は，多様な課題解決に不可欠である。
- 潜在的思考連鎖モデルは，探索と実行において性能の矛盾が見られる。
- 決定的な確実性が，探索と実行のトレードオフを支配することを明らかにすること。
- 潜在的思考連鎖モデルにおける探索・実行のトレードオフは，決定的な確実性によって制御されることが理論的に示された。
- シンボリックインデックスという指標が，このトレードオフの核心的なメカニズムであり，実行の安定性と探索能力に因果関係があることが確立された。
- カリキュラム学習が理論的に必要であり，直接的な学習は分布の不一致により失敗することが証明された。
統計的MIA：信頼性の高いアンラーニング監査のためのメンバーシップ推論攻撃の再考 [cs.LG, cs.AI, cs.CR, cs.CV, math.OC]目的：機械学習における忘れられた権利の実現に向けた機械アンラーニングの信頼性評価
- プライバシー保護の重要性が高まり，機械学習モデルからのデータ削除が求められている
- 既存のアンラーニング監査手法は，メンバーシップ推論攻撃(MIA)に依存しており，その信頼性に課題がある
- MIAの統計的限界を克服し，より信頼性の高いアンラーニング監査フレームワークを提案すること
- 従来のMIAでは，メンバーシップ推論の失敗が真の忘却を意味しないことを理論的に証明した
- 学習不要で効果的な新しい監査フレームワークである統計的MIA(SMIA)を提案し，分布比較による忘却率の算出を可能にした
- 実験により，SMIAは既存手法よりも信頼性が高く，計算コストも低いことが示された
自動車におけるエラーパターンルール自動化のためのマルチエージェント因果推論システム [cs.AI, cs.SE]目的：エラーパターンルールの自動生成
- 自動車の複雑化に伴い，故障診断の効率化と安全性確保が重要課題となっている。
- エラーパターンルールは専門家による手作業で作成されており，コストとエラーの課題がある。
- 高次元なDTCイベント系列からエラーパターンルールを自動的に発見し，診断を効率化すること。
- CAREPは，DTCとエラーパターン間の潜在的な関係を特定し，メタデータや記述情報を統合する。
- 大規模な自動車データセットにおいて，CAREPは未知のエラーパターンルールを高精度に自動発見した。
- LLMのみのベースラインと比較して性能が向上し，透明性の高い因果関係の説明を提供した。
PolicyFlow：連続正規化フローを用いた強化学習における方策最適化 [cs.LG, cs.RO]目的：連続正規化フローに基づく強化学習アルゴリズムの開発
- 強化学習は，複雑な問題を自律的に解決する能力を持つため，ロボティクスやゲームなど幅広い分野で重要視されている。
- 従来のPPOは高容量の方策モデルへの拡張が難しく，計算コストや数値的な不安定性が課題となっていた。
- PolicyFlowは，計算効率と安定性を向上させ，より表現力豊かな方策を学習することを目指している。
- PolicyFlowは，CNFの方策とPPOスタイルの目的関数を統合することで，フロー経路全体での尤度評価を必要とせずに方策最適化を実現した。
- 重要度比の近似に速度場変動を利用することで，計算オーバーヘッドを削減し，学習の安定性を維持することに成功した。
- MultiGoal環境における実験では，PolicyFlowがより多様な行動分布を捉える能力を示し，PPOや既存のフローベースラインと比較して同等または優れた性能を達成した。
深層学習を用いたオーストラリア国立電力市場における多時間軸電力価格予測 [cs.LG, cs.AI]目的：電力価格予測の精度向上
- 自由化された電力システムにおいて，電力の運用計画，取引，柔軟な資産のスケジュールに不可欠である。
- 電力価格は変動が激しく，極端な価格変動や頻繁な状態変化が起こりやすく，予測が困難である。
- 深層学習モデルを用いた多時間軸予測の有効性を検証し，時間帯ごとの予測誤差を分析する。
- 単一のモデルが全ての地域，指標，予測期間において常に優位性を示すわけではない。
- 標準的な深層学習モデルは多くの地域で優れた性能を示し，最先端の時系列深層学習モデルは予測期間の延長に対するロバスト性を示す。
- 時間帯ごとの評価では，夕方の価格上昇時や昼間のネガティブ価格帯で誤差が大きくなる傾向が見られた。
リモートセンシング画像とマルチモーダル大規模言語モデルによる意味論的認識を用いたUAV着陸地点評価 [cs.CL, cs.CL, cs.CV, cs.AI]目的：UAVの緊急着陸地点の評価手法
- UAVの利用拡大に伴い，安全な緊急着陸地点の自動評価が重要となっている。
- 従来の幾何学的センサーでは，人混みや仮設構造物などの意味的なリスクを検知できない。
- リモートセンシング画像と大規模言語モデルを用いて，より安全な着陸地点を特定すること。
- 提案手法は，従来の幾何学的手法と比較して，リスクの識別精度が大幅に向上した。
- 視覚的特徴とPOIデータを融合することで，潜在的な危険をより正確に検出することが示された。
- 生成された説明は人間が理解しやすいものであり，自動化された意思決定への信頼性を高める。
視覚言語モデルにおけるタスク干渉層：実証的研究 [cs.RO, cs.AI]目的：視覚言語モデルの各層がタスクに与える影響の解明
- 近年，視覚言語モデルは多様なマルチモーダルタスクで高い能力を示すが，計算コストが高い。
- 事前学習済みモデルでは，全ての層が利用されることが一般的であり，不要な層が存在する可能性がある。
- タスク干渉層を特定し，それらを回避することで，モデルの性能向上を目指す。
- 特定の層を介入（パラメータをゼロにする）することで，一部のタスクにおいて性能が向上することが確認された。
- タスク-層相互作用ベクトルを導入し，各層の介入がタスクに与える影響を定量化した。
- 学習不要なテスト時適応手法TaLoを提案し，タスク干渉層を動的に特定して回避することで性能向上を実現した。
ASP-Bench：自然言語から論理プログラムへ [cs.CL, cs.CL, cs.AI, cs.CL, cs.LO]目的：自然言語の問題記述から論理プログラムへの翻訳能力の評価
- ニューロシンボリックエンジニアリングにおいて，自然言語による仕様を自動的に論理プログラムに変換することは重要な課題である。
- 自然言語を論理プログラムに変換する際の，問題の複雑さや論理プログラムの機能網羅性が課題となっていた。
- 自然言語の問題記述のモデリング難易度を多角的に評価し，より信頼性の高い翻訳手法を確立することを目指す。
- ASP-Benchは，128個の自然言語問題インスタンスと，それぞれに簡単なバリアントと難しいバリアントを含む64個の基本問題を網羅するベンチマークである。
- ReActフレームワークに基づくエージェントアプローチを用いたテストの結果，ベンチマークは完全に飽和し，ソルバーからのフィードバックを活用した反復的な改善が有効であることが示された。
- 複数のエージェント実行にわたる分析から，問題のモデリング難易度に影響を与える要因に関する知見が得られた。
多忠実度物理情報ニューラルネットワーク：ベイズ不確実性定量化と適応的残差学習によるパラメトリック偏微分方程式の効率的な解法 [cs.LG, cs.NA, math.NA, physics.comp-ph]目的：パラメトリック偏微分方程式の効率的な解法
- 偏微分方程式は自然科学や工学の基礎であり，様々な現象のモデリングに不可欠である。
- 高精度な偏微分方程式の解法は計算コストが高く，特にパラメトリック問題では課題となる。
- 低忠実度シミュレーションと高忠実度データを効果的に活用し，計算コストを削減する。
- 提案手法MF-BPINNは，多忠実度フレームワーク，ベイズ不確実性定量化，適応的残差学習を組み合わせる。
- 階層的ニューラルアーキテクチャにより，忠実度レベル間の非線形相関を学習する。
- 適応的残差ネットワークは，線形および非線形忠実度間の差異を動的に調整する。
フローベースの段階的ドメイン適応の再考：半二重最適輸送の視点 [cs.LG]目的：段階的ドメイン適応における中間ドメイン構築の新たな枠組み
- ドメインシフトは機械学習モデルの性能を大きく低下させるため，その緩和策が重要である。
- 有効な中間ドメインの入手が困難であり，合成された中間サンプルが性能を損なう場合がある。
- サンプルに基づいた中間ドメイン構築により，GDAの性能低下を防ぐことを目指す。
- エントロピー正則化された半二重アンバランス最適輸送(E-SUOT)フレームワークを提案し，中間ドメインを構築する。
- フローベースのGDAをラグランジュ双対問題として再定式化し，尤度推定を回避する半二重目的関数を導出する。
- 双対問題の不安定性を緩和するため，エントロピー正則化を導入し，安定した最適化手続きを実現する。
時系列データ補完のための拡散モデルの分析と改善：近接再帰的視点 [cs.NI, cs.LG]目的：時系列データ補完における拡散モデルの性能向上
- 時系列データは，金融，医療，環境など幅広い分野で不可欠であり，その完全性が重要である。
- 既存の時系列データ補完手法は，データの非定常性や，拡散モデルの多様性生成との矛盾に課題がある。
- 拡散モデルの近接演算子視点に基づき，非定常性へのロバスト性を向上させ，補完精度を高めることを目指す。
- 本研究では，拡散モデルに基づく時系列データ補完プロセスにおける問題点を，近接演算子視点から分析した。
- 提案手法SPIRITは，Wasserstein距離の制約緩和により，非定常性に対するロバスト性を理論的に保証する。
- 実験結果から，SPIRITが既存手法と比較して，より効果的な時系列データ補完を実現することが示された。
カリキュラム選択と反カリキュラム促進による文脈連動型コンテンツセグメンテーションの改良 [cs.CV, cs.LG]目的：文脈連動型コンテンツセグメンテーションにおける表現の信頼性向上
- 生物学的学習の原理に基づき，困難なタスクへの段階的な適応が重要である。
- 従来のセグメンテーションネットワークは，アーキテクチャの改良に偏りがちで，頑健性の学習ダイナミクスが不十分である。
- 絡み合ったデータ分布下での頑健性を高めるための学習過程を改善すること。
- CurriSegは，サンプル損失の時系列統計に基づいて訓練データを動的に選択し，安定した能力向上を実現する。
- スペクトル盲目化微調整により，高周波成分を抑制し，低周波の構造的・文脈的特徴への依存を強化することで，汎化性能を高める。
- CurriSegは，多様なCECSeベンチマークにおいてパラメータ増加や学習時間増加なしに一貫した性能向上を達成した。
分散型システムにおけるセグメントゴシップ学習のためのブロックチェーンアプローチ：FedBGS [cs.CR, cs.AI, cs.DC, cs.LG]目的：分散型機械学習におけるプライバシー保護とセキュリティの向上
- データプライバシーが重要な分野において，共有モデルの学習が求められている。
- 従来の連合学習では，中央サーバーが単一障害点となり，セキュリティとスケーラビリティに限界がある。
- ブロックチェーンとゴシップ学習を用いて，プライバシー，セキュリティ，非IIDデータの処理を強化する。
- 本研究では，分散型ブロックチェーンベースのフレームワークFedBGSを提案する。
- FedBGSは，セグメント化されたゴシップ学習を通じて，ブロックチェーンの利用効率を最適化する。
- FedBGSは，あらゆる種類の攻撃に対する包括的な保護を提供し，プライバシーとセキュリティを確保する。
ガウスヘッドOFLファミリー：クライアントのグローバル統計に基づくワンショット連合学習 [cs.LG, cs.AI]目的：クライアントのグローバル統計からのワンショット連合学習手法
- 連合学習は，分散データを活用しつつプライバシーを保護する技術であり，その重要性が高まっている。
- 従来の連合学習は通信コストやプライバシーリスクが高い。ワンショット連合学習はこれを軽減するが，実用性や制約がある。
- 事前学習済みの埋め込み表現のクラス条件付きガウス性に着目し，実用的かつ堅牢なワンショット連合学習を実現する。
- 提案手法(GH-OFL)は，クライアントが十分統計量のみを送信し，サーバーがガウスヘッドを構築することで，通信コストを削減。
- GH-OFLは，NB，LDA，QDA，FisherMix，Proto-Hyperという3つのヘッド構成により，高い精度とロバスト性を実現。
- 実験結果から，GH-OFLは強い非IID偏り下でも最先端の性能を示し，データフリーでありながら堅牢であることが確認された。
自己回帰的でありながら修正可能：セキュアなコード生成のためのデコーディング時の修正 [cs.SE, cs.AI]目的：セキュアなコード生成におけるデコーディング時の修正メカニズム
- 近年のLLMを用いたコード生成技術は，ソフトウェア開発の効率化に大きく貢献している。
- 既存のコード生成手法は，一度生成したコードを修正することが難しく，誤りや脆弱性の修正に手間がかかる。
- LLM自身が自身の生成結果を修正することで，より安全で効率的なコード生成を実現することを目指す。
- Stream of Revisionは，LLMが自身の生成過程を遡り，コードを直接修正する新しいパラダイムを提案する。
- 特定の行動トークンを用いることで，モデルは外部ツールに依存することなく，内部で修正ループを活性化できる。
- 実験結果から，Stream of Revisionは脆弱性を大幅に削減し，推論オーバーヘッドは最小限に抑えられることが示された。
再帰型ニューラルポリシーにおける隠れた動力学的構造の解明 [cs.LG]目的：再帰型ニューラルポリシーの隠れ状態における動力学的構造
- 部分観測制御やメタ強化学習において，再帰型ニューラルポリシーの活用が広がっているため。
- 再帰型ニューラルポリシーの優れた汎化性能やロバスト性のメカニズムが未解明である。
- 多様な学習方法，モデル構造，タスクで学習されたポリシーの隠れ状態を分析し，その構造を解明する。
- 再帰型ニューラルポリシーの隠れ状態において，安定した環状構造が常に現れることが明らかになった。
- この環状構造は，ポリシーと環境を組み合わせたハイブリッド動力学系における極限サイクルと類似性を示す。
- 極限サイクルの形状はポリシーの振る舞いと構造的に対応しており，環境不確実性の抑制やスキル適応を促進する。
効率的なLLM推論のための状態遷移フレームワーク [cs.AI]目的：LLMの効率的な推論
- LLMは複雑な推論タスクで高い性能を示すが，計算資源の制約がある。
- 長大なCoTシーケンスの生成コストが高く，効率性と実用性に課題がある。
- 状態遷移として推論をモデル化し，効率性と性能を向上させる。
- 提案手法は，推論過程を状態遷移として捉え，線形アテンション機構を用いることで，計算複雑性を削減した。
- 状態遷移を用いることで，過去の推論情報を効率的に利用し，計算コストを大幅に改善した。
- 実験結果から，提案手法は推論効率と性能の両方を向上させることが示された。
Workflow-R1：多段階ワークフロー構築のためのグループ部分系列ポリシー最適化 [cs.HC, cs.AI]目的：エージェントワークフローの最適化
- 複雑な推論タスクにおいて，LLMベースのエージェントワークフローが強力な性能を示すことが明らかになっている。
- 既存のワークフロー最適化手法は，ワークフロー合成を静的かつ一度限りのコード生成問題として捉えがちである。
- 動的な問題解決に必要な柔軟性を確保するため，ワークフロー構築を多段階の自然言語による逐次決定プロセスとして再構築する。
- Workflow-R1は，多段階インタラクションにおける最適化粒度ミスマッチを解消するため，グループ部分系列ポリシー最適化（GSsPO）を導入した。
- GSsPOは，Think-Actionサイクルを最適化単位として再調整することで，複雑な推論タスクにおける堅牢な学習を可能にした。
- 複数のQAベンチマークにおける実験により，Workflow-R1は競合するベースラインを上回り，GSsPOの汎用性が確認された。
アテンションシンクがアテンション層でネイティブMoEを形成：ヘッド崩壊に対処するシンクアウェアな学習 [cs.CL, cs.LG]目的：アテンション層におけるMoE機構の形成とヘッド崩壊の軽減
- 大規模言語モデルの性能向上には，アテンションメカニズムの理解と改善が不可欠である。
- アテンションシンクにより，最初の方策に注意が集中し，他のヘッドが有効活用されない問題がある。
- アテンションシンクの特性を利用し，ヘッドの負荷分散を促すことでヘッド崩壊を抑制する。
- バニラアテンションやシンクアテンションは，自然にアテンション層内にMoE機構を構築することが示された。
- この知見は，ヘッド崩壊が一部のヘッドのみが生成に貢献する原因であることを説明する。
- シンクアウェアな学習により，アテンション層のヘッド負荷を効果的に平衡化し，モデル性能が向上した。
生成AIの説明可能性への取り組み：SMILE（統計モデル非依存型解釈可能性と局所的説明）に基づく手法 [cs.CL, cs.AI]目的：生成AIモデルの説明可能性の向上
- 生成AIの発展は目覚ましいが，その意思決定プロセスは不透明であり，信頼性確保が課題である。
- 既存手法では，生成AIモデルの挙動を詳細に解釈し，影響要因を特定することが困難である。
- プロンプトや指示の要素がモデル出力に与える影響を定量化し，可視化することを目指す。
- gSMILEは，テキスト入力の制御された摂動，Wasserstein距離，重み付き代理モデリングを用いて，モデル出力への影響を評価する。
- 大規模言語モデル(LLM)や画像編集モデルへの適用により，トークンレベルでの貢献度や重要なトークンを特定する。
- gSMILEは，安定性，忠実度，精度等の評価指標で検証され，堅牢で人間と整合性の取れた説明を提供することが示された。
全ての好みが均等に作られるわけではない：推論モデルのための安定性と勾配効率を考慮したアライメント [cs.AI]目的：推論モデルのアライメントにおける安定性と効率性の向上
- 大規模言語モデルの性能向上には，人間のフィードバックを用いたアライメントが不可欠である。
- 既存手法では，全ての好みを均等に扱うため，学習効率や安定性に課題がある。
- モデルの信頼度に基づいたデータ選択により，効率的かつ安定的なアライメントを実現する。
- SAGEは，モデルの能力に応じて候補プールを更新する粗い粒度のカリキュラム機構を導入した。
- SAGEは，確信度の高い誤りを優先し，不安定なサンプルをフィルタリングする安定性を考慮したスコアリング関数を組み込んだ。
- 数学的推論ベンチマークにおいて，SAGEは収束を大幅に加速し，静的なベースラインよりも優れた性能を示した。
SimpleGPT：単純な正規化戦略によるGPTの改善 [cs.CL, cs.LG, cs.CL, cs.CV]目的：GPTモデルの最適化安定性と性能向上
- 大規模言語モデルは，その性能から重要性が増している。
- Transformerの最適化は，学習率の選択が難しく不安定になりやすい。
- 活性化関数のスケールを安定化させ，学習率を向上させること。
- 提案手法SimpleNormは，活性化関数のスケールを安定化させる。
- SimpleGPTは，従来のGPTモデルよりも3〜10倍高い学習率で安定した学習が可能。
- 7Bモデルの学習において，SimpleGPTはLLaMA2よりも0.08低い損失を達成した。
匿名化・不完全な表形式データからの学習 [cs.HC, cs.LG, cs.AI, cs.CR, cs.DB]目的：匿名化された表形式データからの機械学習における有用性の回復
- プライバシー保護の重要性が高まる中で，データ共有のあり方が変化している。
- 一般化や欠損を含むデータは，機械学習モデルの性能を低下させる可能性がある。
- 異種匿名化されたデータの適切な処理方法を確立し，学習の有用性を向上させる。
- データの一般化は，単純な欠損値処理よりも有用性が高いことが示された。
- 最適なデータ準備戦略は，状況によって異なることが明らかになった。
- 一貫性のあるデータ表現が，下流タスクの有用性を維持するために重要である。
MiTAアテンション：上位$k$活性化の混合による効率的な高速重みスケーリング [cs.LG, cs.CV]目的：Transformerにおけるアテンション機構の効率化手法
- Transformerは自然言語処理や画像認識など様々な分野で広く利用されており，高性能なモデル構築に不可欠である。
- Transformerのアテンション機構は，系列長が長くなるにつれて計算コストが増大し，大規模データへの適用が困難となる。
- 高速重みスケーリングの効率化を通じて，Transformerの長系列データへの適用可能性を高める。
- 提案手法MiTAアテンションは，ランドマーククエリと上位$k$活性化されたキーバリューペアを活用することで，高速重みスケーリングを効率的に実現する。
- MiTAアテンションは，アテンション機構を狭い幅のMLPに圧縮し，変形可能なエキスパートを構築することで計算量を削減する。
- 画像認識タスクにおける予備実験で，MiTAアテンションの有効性が示され，更なる最適化と応用が期待される。
FutureMind：アダプティブ知識蒸留による戦略的思考パターン事前知識の小型言語モデルへの付与 [cs.FL, cs.AI]目的：戦略的思考パターン事前知識の付与
- 資源制約下での効率的な推論が求められるため，小型言語モデルの活用が重要である。
- 複雑な知識集約型タスクにおいて，構造化された推論や効果的な情報検索が課題となっていた。
- 大型言語モデルからの知識蒸留により，小型言語モデルの思考能力向上を目指す。
- FutureMindは，問題分析，論理的推論，戦略計画，検索ガイダンスの4つのモジュールで構成される動的な推論パイプラインを導入した。
- 実験の結果，FutureMindは複数のマルチホップQAベンチマークにおいて，Search-o1などの強力なベースラインを上回り，最先端の結果を達成した。
- 思考パターン蒸留は，教師モデル（LLM）と生徒モデル（SLM）間の認知バイアスのボトルネックによって制限されることが明らかになった。
トークン優先度により，教師ありファインチューニングの潜在能力を解き放つ必要性 [cs.RO, cs.HC, cs.CL, cs.AI, cs.LG]目的：トークン優先度の重要性
- 言語モデルの性能向上には，データと人間の意図との整合が不可欠である。
- 既存のファインチューニング手法では，きめ細かい生成と粗い教師信号の不一致が問題となる。
- 本研究は，トークン優先度を導入することで，この不整合を解消し，モデルの性能を最適化することを目指す。
- トークン優先度は，ノイズ除去と有害なモードの学習解除という2つの異なる体制に分類できる。
- 教師ありファインチューニングを，単なる最適化ではなく，データ分布を理想的な整合マニホールドに再形成するプロセスとして捉える。
- 既存の進捗と限界を再検討し，今後の研究方向性を示す。
効率的なLLM学習：ランダム低ランク勾配射影と適応的サブスペース切り替えによるLotus [cs.LG, cs.AI]目的：大規模言語モデルの効率的な学習手法
- 大規模言語モデルの発展は，AI技術の進歩に不可欠であり，その学習効率が重要視される。
- 既存手法は，メモリ消費量，学習時間，モデル性能のトレードオフに陥りやすく，最適化が困難である。
- メモリ消費と学習時間の両方を改善し，モデル性能を維持することを目指す。
- 提案手法Lotusは，既存手法と比較して，学習時間を30%削減し，勾配とオプティマイザの状態に必要なメモリ消費量を40%削減することに成功した。
- Lotusは，単に射影プロセスを変更するだけで，このトレードオフを解消する。
- 事前学習およびファインチューニングの両タスクにおいて，ベースライン手法を上回る性能を示した。
大規模言語モデルにおける効率的な推論時推論のための予測的スケジュール [cs.AI]目的：大規模言語モデルの推論時の計算資源配分最適化
- 大規模言語モデルは複雑な推論で高精度を示すが，計算コストが高い。
- 固定された計算量では，容易な問題では無駄が生じ，困難な問題では不十分となる。
- クエリごとに最適な推論量を予測し，計算資源を効率的に配分すること。
- 軽量な予測器を用いて，クエリの推論長または難易度を事前に推定する枠組みを提案。
- GSM8Kベンチマークで，予測的スケジュールは，均一な予算配分と比較して最大7.9%の精度向上を実現。
- Transformerの中間層(12-17層)が推論量の推定に最も有効であることが判明。
脳から音声へのモデルにおけるメカニズム解釈：音声モード間の比較 [cs.CL, cs.IR, cs.CL, cs.CL, cs.CL, cs.IR, cs.LG, cs.AI]目的：脳から音声へのモデルの内部表現におけるメカニズムの解明
- 脳活動から直接音声を復元する技術は，コミュニケーション支援や脳機能理解に貢献する重要な研究分野である。
- 異なる音声モード（発話，模倣，想像）間での情報伝達メカニズムは未だ十分に解明されていない。
- 各音声モードにおける内部表現の構造と，モード間の情報伝達メカニズムを明らかにすること。
- 異なる音声モード間で，内部活性化を局所的に修正する（パッチング）ことで，モード間の情報伝達が可能であることを示した。
- 音声モードは，共通の連続的な因果多様体上に存在し，その伝達は拡散的な活動ではなく，層特有のコンパクトな部分空間を介していることが明らかになった。
- 少数の，分散していないニューロンの集合が，モード間の情報伝達に影響を与えることが判明した。
オフライン強化学習におけるサンプル効率の良い能動的アルゴリズム [cs.LG, cs.AI]目的：オフライン強化学習のサンプル複雑性分析
- 強化学習は，複雑な意思決定問題を解決する強力な手法であり，様々な分野で応用が期待されている。
- オフライン強化学習はデータ効率が良いが，状態行動空間のカバー率が低く，分布シフトの問題を抱える場合がある。
- 本研究では，限られたオンラインインタラクションで不確実な領域を洗練することで，この問題を解決することを試みる。
- ガウス過程を用いた不確実性モデリングにより，ActiveRLのサンプル複雑性解析を行った。
- ε-最適な方策が${\mathcal{O}}(1/\epsilon^2)$回の能動的遷移で学習可能であることを高確率で保証した。
- ActiveRLは，オンラインデータが最小限で済む，情報効率がほぼ最適であることが示された。
BicKD：双方向対照的知識蒸留 [eess.SY, cs.SY, cs.HC, cs.LG]目的：知識蒸留における性能向上
- 機械学習モデルの軽量化・高速化が重要であり，知識蒸留はその有効な手法の一つである。
- 従来の知識蒸留はサンプル間の確率アライメントに偏り，クラス間の比較や確率空間の構造的な制約が不足している。
- サンプルとクラスの両面から予測パターンを比較し，確率分布の幾何学的構造を正則化することで，知識伝達を改善する。
- 提案手法BicKDは，異なるクラスの一般化空間間の直交性を高め，同一クラス内の一貫性を維持する双方向対照損失を導入する。
- BicKDは様々なモデルアーキテクチャとベンチマークにおいて，最先端の知識蒸留技術を安定的に上回る性能を示す。
- 本研究は，確率的直交性を強調することで，予測分布の幾何学的構造をさらに正則化し，知識伝達を強化する。
クロネッカーアダプターの探求：コンポーネント設計の重要性 [cs.RO, cs.LG]目的：クロネッカーアダプターのコンポーネント構造と性能の関係
- 大規模言語モデルのファインチューニングは計算コストが高く，効率的な手法が求められている。
- 既存のアダプター手法では，コンポーネント構造の設計が経験則に頼ることが多く，最適化の余地がある。
- コンポーネント構造を最適化することで，アダプターの性能向上と効率化を目指す。
- 本研究では，クロネッカーアダプターの性能がコンポーネント構造に大きく依存することを示した。
- コンポーネントの次元数と数が，フルファインチューニングとの整合性に影響を与えることを明らかにした。
- 提案手法CDKAは，パラメータ予算を考慮したコンポーネント設計と安定化戦略により，様々なNLPタスクで有効性を示した。
多様な世界モデルの混合：モジュール型潜在ダイナミクスによるマルチタスク強化学習のスケールアップ [cs.LG]目的：マルチタスク強化学習におけるサンプル効率の向上
- 視覚的環境ではタスク間変動が大きく，効率的な学習が課題である。
- 従来の単一構造のモデルでは多様なタスクダイナミクスを捉えきれない。
- タスク適応的なモデル構造により，多様なタスクを効率的に学習すること。
- MoWは，タスクに適応する視覚的圧縮，タスク条件付きエキスパートを含むダイナミクスモデル，勾配ベースのタスククラスタリングを組み合わせる。
- Atari 100kベンチマークで，MoWは人間の正規化スコア110.4%を達成し，STORMと同等の性能を示した。
- Meta-Worldでは，平均成功率74.5%を達成し，新たな最高水準を確立した。
意図から行動へ：自律型ネットワークにおけるエージェントAI [cs.LG]目的：意図駆動型自律ネットワークのためのエージェントAIシステム
- 通信ネットワークは多様なサービスを支え，自律運用が求められているため，その重要性は増している。
- 高レベルな意図を具体的な制御アクションに変換する既存の手法には限界がある。
- 多様な意図やネットワーク状態に適応し，自律的に解釈・推論・行動するシステムを開発する。
- 提案するエージェントAIシステムは，意図を最適化テンプレートに解析し，ネットワーク状況に応じて洗練する。
- 最適化エージェントはテンプレートを解ける最適化問題に変換し，目的間のトレードオフを分析する。
- 嗜好駆動型コントローラは，多目的強化学習を用いてネットワーク性能のパレート最適解近傍で動作する。
PACER：適応長を用いた推測デコーディングのためのブロック単位事前検証 [cs.CL, cs.AI]目的：推測デコーディングにおけるデコーディング速度の向上
- 大規模言語モデルの推論速度向上は，実用化において重要な課題である。
- 従来の推測デコーディングでは，固定長のドラフトトークンを使用するため，効率が制限される。
- ドラフト長を動的に制御することで，デコーディング速度を最大限に高めることを目指す。
- PACERは，軽量な学習可能な事前検証層を用いてドラフト長を動的に制御する。
- ブロック単位での事前検証により，ターゲットモデルへの不要な検証を削減する。
- 実験の結果，PACERは自己回帰デコーディングと比較して最大2.66倍の高速化を達成した。
企業知識グラフのためのLLM駆動型オントロジー構築 [cs.AI]目的：企業知識グラフの基盤となるオントロジーの生成
- 企業内の多様なデータを統合し，セマンティックガバナンスを強化する上で不可欠である。
- オントロジー構築は，専門知識を必要とするリソース集約的な手作業プロセスである。
- 非構造化データからドメイン固有のオントロジーを迅速に生成することを目指す。
- 提案手法OntoEKGは，コアクラスとプロパティの抽出，そしてそれらを階層構造化する推論の2段階で構成される。
- Dataドメインにおいて，ファジーマッチF1スコア0.724を達成し，潜在能力を示した。
- 一方で，スコープ定義と階層的推論における課題も明らかになった。
サブサンプリングされたNTK特徴量を用いた，より豊かなベイズ最終層 [cs.LG]目的：ニューラルネットワークにおける不確実性の推定方法の改善
- 深層学習の信頼性向上は，安全性が重要な応用分野において不可欠である。
- 従来のベイズ最終層は，計算効率が高いが，不確実性を過小評価する傾向がある。
- ニューラル正接核の特徴量を活用し，ネットワーク全体の変動を考慮した不確実性推定を目指す。
- 提案手法は，従来のベイズ最終層よりも高い，または同等の事後分散を与えることが証明された。
- サブサンプリングにより計算コストを削減しつつ，不確実性推定の精度を維持する近似境界が導出された。
- UCI回帰，文脈バンディット，画像分類などの実験で，従来のベイズ最終層と比較して，校正性能と不確実性推定が向上した。
信頼性の高いLLM応答のためのマルチLLM適応的適合性推論 [cs.LG, cs.AI, stat.ML]目的：大規模言語モデルの応答の信頼性確保
- 医療や法律など，高い信頼性が求められる分野でLLM利用が拡大しているため。
- 既存の適合性推論は保守的すぎるか，複雑な構造を捉えきれない問題がある。
- より正確な事実性スコアによる信頼区間推定と，高い保持率の実現を目指す。
- マルチLLM適応的適合性推論（MACI）は，アンサンブル学習により事実性スコアを向上させる。
- 実験の結果，MACIは既存手法よりも高い保持率と低い計算コストで指定されたカバレッジを達成した。
- グループ条件付きキャリブレーションにより，有効性を維持している。
EDIS：エントロピーダイナミクスによるLLMの推論診断 [cs.LG]目的：大規模言語モデルの推論過程におけるエントロピーダイナミクスの不安定性指標
- LLMの性能向上には，推論の信頼性評価が不可欠であり，そのための効率的な指標が求められている。
- 既存の手法では，信頼性を静的な量として扱っており，推論過程の動的な変化を捉えられていない。
- 推論過程におけるエントロピーの変動パターンを分析し，誤りの原因を特定すること。
- 推論過程において，誤った解答は不安定なエントロピーダイナミクスを示すことが明らかになった。
- 特に，持続的な不確実性の増加や，一時的な信頼度の急回復といったパターンが特徴的である。
- 提案手法であるEDISは，推論時の精度向上に貢献し，また，学習時のサンプル選定にも応用可能である。
拡散モデルのポストトレーニング量子化のための勾配アラインメントキャリブレーション [cs.LG, cs.CV]目的：拡散モデルのポストトレーニング量子化における性能向上
- 画像生成において，拡散モデルは卓越した性能を示す。実用化には高速化と低メモリ化が不可欠。
- 従来の量子化手法では，各タイムステップへの影響が異なるにも関わらず，均一な重み付けが一般的であった。
- タイムステップごとの勾配方向を考慮したキャリブレーションにより，量子化による性能劣化を抑制する。
- 提案手法は，キャリブレーションサンプルに適切な重みを付与し，タイムステップ間の勾配アラインメントを実現する。
- CIFAR-10，LSUN-Bedrooms，ImageNetにおける実験により，既存手法を上回る性能が確認された。
- 本手法は，拡散モデルの量子化における有効性が示された。
ベイズ信頼度伝播ニューラルネットワークを用いた動的ヒューリスティックニューロモーフィックエッジユーザ割り当てソルバー [cs.NE]目的：エッジユーザ割り当て問題に対する解決策
- エッジコンピューティングの普及に伴い，効率的なリソース割り当てが重要となっている。
- NP困難な問題であり，計算コストが高いことが課題である。
- 動的ヒューリスティックを用いてリアルタイムな割り当てを可能にし，計算効率の向上を目指す。
- 本ソルバーは，アトラクタネットワークとWinner-Takes-All（WTA）メカニズムを組み合わせ，ベイズ信頼度伝播ニューラルネットワーク（BCPNN）フレームワーク上で実装されている。
- 動的ヒューリスティックバイアスを用いることで，割り当てをリアルタイムに誘導し，時間ステップ数を経験的に上限で抑えることで，ほぼ最適な性能を実現する。
- 本アプローチはニューロモーフィックアーキテクチャとの互換性を持ち，エネルギー効率の向上に貢献する可能性がある。
重い裾を持つMDPに対するBoBWアルゴリズム [cs.LG]目的：重い裾を持つフィードバックを持つエピソード型マルコフ決定過程における最適な意思決定
- 強化学習は，報酬を最大化する最適な行動戦略を学習する重要な手法である。
- 従来の重い裾を持つMDPに対する手法は，確率的環境下で保守的であり，敵対的環境下での適応性に欠ける。
- 本研究は，敵対的環境と自己限定的な環境の両方で最適な性能を発揮するアルゴリズムの開発を目指す。
- 提案手法HT-FTRL-OMは，敵対的環境下でインスタンスに依存しない後悔量を，自己限定的な環境下で対数的なインスタンス依存後悔量を達成する。
- HT-FTRL-OMは，既知の遷移設定において，占有測度に対するFTRLフレームワークと新しいスキッピング損失推定器を用いることで，優れた性能を示す。
- 未知の遷移設定に対応するHT-FTRL-UOBは，悲観的なスキッピング損失推定器を採用し，より複雑な環境下でも有効に機能する。
RE-MCDF：知識に基づいた臨床診断のための閉ループ多専門家LLM推論 [cs.AI]目的：知識に基づいた臨床診断のための多専門家LLM推論フレームワーク
- 電子カルテの活用は，医療の質向上に不可欠である。しかし，その複雑性からLLMの活用が困難である。
- 既存のLLMは，電子カルテの不均一性，疎性，ノイズに弱く，誤った診断に陥りやすい。
- 疾患間の論理的依存関係を考慮し，より正確で信頼性の高い臨床診断を可能にすること。
- 提案手法RE-MCDFは，生成・検証・修正の閉ループ構造を採用し，多専門家の協調による診断を実現した。
- 医療知識グラフを活用し，証拠の重み付けと診断の論理的一貫性を高めた。
- NEEMRsおよびXMEMRsデータセットにおける実験で，最先端手法を上回る診断性能を実証した。
ニューラルネットワーク最適化における特異性の呪いを払う [cs.LG, cs.AI]目的：深層ニューラルネットワークの最適化不安定性の解明と緩和
- 深層学習は強力だが，最適化が不安定で学習が困難になる場合がある。
- パラメータ空間における特異点の発生と増幅が，学習の不安定性を招く要因となっている。
- パラメータ空間と表現空間における特異性の相互作用を抑制し，学習安定性を改善する。
- パラメータ行列の特異値を平滑化するParametric Singularity Smoothing (PSS)を提案した。
- PSSは，多様なデータセット，アーキテクチャ，最適化手法において，学習の不安定性を軽減し，学習効率と汎化性能を向上させた。
- PSSは，学習失敗後でも学習を回復させることが可能である。
不完全な影響度，順位の維持：データ帰属のためのTRAK理論 [cs.LG]目的：データ帰属の理論的解析
- 高度なAIモデルの解釈は重要であり，そのためにデータ帰属が不可欠である。
- TRAKアルゴリズムの近似精度に関する理論的条件が未解明であった。
- TRAKアルゴリズムの近似誤差を定量化し，性能を特徴づける。
- TRAKの近似は大きな誤差を伴うものの，影響度の推定値と真の値は高い相関を示す。
- データポイントの相対的な順位はTRAKによってほぼ維持されることが示された。
- 理論的結果は，広範なシミュレーションと実証研究によって裏付けられている。