arXiv雑要約
AI - 2026/06/03 公開
貪欲は良い：誘導生成に対する統一的視点 [cs.LG, cs.AI, stat.ML]目的：誘導生成手法の理論的統合
- 生成モデルは多様な応用を可能にする重要な技術である。
- 誘導生成において，計算コストと精度がトレードオフとなる課題がある。
- 既存の誘導手法を統一的に捉え，その性能を向上させることを目指す。
- 事後誘導とエンドツーエンド誘導は，実質的に貪欲戦略に基づく同一の枠組みで説明できることが示された。
- 両手法間の補間により，計算コストと精度のバランス調整が可能となることが明らかになった。
- 逆画像問題や特性指向型分子生成といった応用において，提案手法の有効性が確認された。
可逆指数型(確率的)ルンゲ・クッタ解法のファミリー：Rex [cs.LG, cs.AI, stat.ML]目的：ニューラル微分方程式に基づく深層生成モデルにおける数値解法の開発
- 深層生成モデルの性能向上には，微分方程式の数値解法が不可欠である。
- 標準的な解法は離散化誤差により逆方向への正確な積分を妨げる。
- 高精度な逆積分を可能にする可逆な数値解法を提案し，安定性と収束性を改善する。
- Rexは，拡散ODEおよびSDEに対して，機械精度に近い再構成を達成した。
- フローモデルを用いたボルツマンサンプリングの性能を向上させた。
- 拡散モデルを用いた画像生成および編集の精度を高めた。
脱獄攻撃初期化におけるコンプライアンス指示抽出 [cs.CR, cs.LG]目的：安全性を重視した大規模言語モデルの脱獄攻撃における初期化手法
- 大規模言語モデルの安全性確保は，その社会実装において不可欠である。
- 安全対策を施されたモデルでも，巧妙な攻撃によって意図しない応答を引き出される脆弱性が存在する。
- 脱獄攻撃の効率化と，そのメカニズム解明を通じて，モデルの安全性を高めることを目指す。
- 脱獄攻撃の初期化が，モデルの活性化空間におけるコンプライアンス方向へと徐々に収束することが示された。
- 提案手法CRIは，未知のプロンプトをコンプライアンス方向に射影することで，攻撃成功率を向上させる。
- 本研究は，安全性を重視した大規模言語モデルの脆弱性を浮き彫りにし，その改善の必要性を示唆する。
WISE：テキストから画像生成のための世界知識に基づいた意味的評価 [cs.CV, cs.AI, cs.CL]目的：テキストから画像生成モデルにおける世界知識の統合と応用能力の評価
- 画像生成技術は急速に進歩しており，多様なコンテンツ作成に貢献している。
- 既存の評価基準は，写実性や単純なテキスト-画像対応に偏重し，複雑な意味理解が不足している。
- 世界知識の統合と応用能力を評価することで，次世代の画像生成モデルの改善を目指す。
- 本研究では，世界知識に基づいた意味的評価のためのベンチマーク「WISE」を提案した。
- 「WISE」は，文化常識，時空間推論，自然科学など25の分野で，モデルの知識活用能力を評価する。
- 実験の結果，既存モデルは世界知識の統合・応用において課題を抱えており，改善の余地があることが示された。
R2DN：縮約性とリプシッツ性の連続深層ネットワークのスケーラブルなパラメータ化 [cs.LG, cs.SY, eess.SY]目的：強健な再帰型ニューラルネットワークのスケール可能なパラメータ化
- 機械学習やデータ駆動制御において，システムの安定性やロバスト性が重要な課題となっている。
- 既存手法では，再帰型平衡ネットワーク(REN)のように計算コストが高く，スケーラビリティに課題があった。
- 安定性とロバスト性を設計段階で保証しつつ，計算効率の高いネットワーク構造を実現すること。
- R2DNは，線形時間不変システムと1-リプシッツ深層フィードフォワードネットワークのフィードバック接続により構成される。
- 従来のRENと比較して，推論と逆伝播が最大で一桁高速化され，モデルサイズ，バッチサイズ，入力シーケンス長の拡張が可能となった。
- 非線形システム同定，オブザーバ設計，学習に基づくフィードバック制御の3つの問題で，同等の性能を維持しつつ，高速な学習と推論が確認された。
時空間予測のための分布と関係適応ネットワークDRAN [cs.LG]目的：時空間システムの予測精度向上
- 社会インフラ管理，制御，危機予防など多くの分野で，正確な時空間予測が不可欠である。
- 多くの時空間システムは時間変動が激しく，定常性が保証されない状況下での予測が困難である。
- 時間変化する関係性と分布に動的に適応することで，非定常時空間システムの予測精度向上を目指す。
- 提案手法DRANは，SFLモジュールにより，時間正規化操作時における空間関係の維持に有効であることが示された。
- DSFLモジュールは，動的・静的関係性を適応的に融合し，ノード間の局所的・遠隔的な関係性を捉えることができる。
- 天気予報と交通流予測の実験において，最先端手法を上回る性能が確認された。
自律型車両を用いた水中音響追跡のためのマルチエージェント強化学習のスケーリング [cs.HC, cs.RO, cs.AI, cs.DC, cs.PF]目的：水中音響追跡におけるマルチエージェント強化学習のスケーリング手法
- 水中追跡は科学調査において重要であり，コスト効率の良いソリューションが求められている。
- マルチエージェント強化学習はサンプル効率が悪く，大規模なシミュレーションが困難である。
- 大規模な車両群による追跡を可能にする，高速かつ現実的なシミュレーション環境を開発すること。
- GPU加速環境を開発し，Gazeboと比較して最大3万倍の高速化を実現した。
- Transformerベースのアーキテチャ（TransfMAPPO）を導入し，車両群の規模やターゲット数に依存しないポリシー学習を可能にした。
- Gazeboでの評価により，複数の高速移動ターゲットに対しても5m以下の追跡誤差を維持できることを示した。
皮膚癌診断のためのニューロファジーとコロニアル競争アルゴリズムの最適化 [cs.CV, cs.LG]目的：皮膚癌診断におけるニューロファジーおよびコロニアル競争アルゴリズムの最適化
- 皮膚癌の罹患率増加と専門医不足から，迅速かつ正確な診断支援システムの必要性が高まっている。
- 既存のAIシステムは，臨床現場への導入が遅れており，実用的な診断支援システムへの発展が課題である。
- 皮膚癌の早期発見と診断精度向上に貢献できる，実用的なAI診断システムの構築を目指す。
- ISICデータベースの皮膚画像に対し，本手法は94%の診断精度を達成した。
- この結果は，臨床医によるメラノマの早期発見を支援する可能性を示唆している。
- 画像処理技術と機械学習アルゴリズムの融合が，皮膚癌診断に貢献することが示された。
不変性に着目したモデルステッチングによる機能的類似性の検証 [cs.LG]目的：機能的類似性の評価手法
- 深層学習モデルの性能評価において，類似性の定量化は重要である。
- 従来のモデルステッチングは，異なる情報に依存するモデル間でも適合性を示すことがある。
- モデルの不変性に着目し，より正確な機能的類似性の評価を目指す。
- 前方・後方適合性の両立により，不変性を考慮したモデルステッチングを提案した。
- キーとなるステッチング構成を分析し，前方・後方適合性の関係性を明らかにした。
- 不変性を考慮することで，従来では見過ごされていた機能的な差異を検出可能となった。
専門家の協力：大規模マージンによる異種情報の融合 [cs.LG, cs.AI]目的：異種情報の融合手法
- 現代データ分析において，多様な情報源からのデータ活用が不可欠であるため。
- 従来の融合手法では，異なる意味空間における対象パターンの異質性を十分に考慮できていない。
- 意味空間の差異を克服し，複雑なデータの構造を捉えるための新たな枠組みを提案する。
- 提案手法CoEは，異種多重ネットワークとして多種類の情報を統合し，高い表現力を実現した。
- 各専門家が特定の意味空間で関係パターンを学習し，大規模マージンメカニズムにより協力することで，ロバスト性と知識の補完性を高めている。
- 理論的解析により，CoEの実行可能性と安定性が保証され，多様なベンチマークで優れた性能が確認された。
MuLoCo：DiLoCoの効率的な内部オプティマイザとしてのミューオン [cs.LG]目的：大規模言語モデルの分散学習における性能向上
- 大規模言語モデルの学習には，計算資源の効率的な利用が不可欠である。
- DiLoCoは高性能だが，ワーカー数が増加すると性能が低下する問題がある。
- ミューオンを内部オプティマイザとして用いることで，DiLoCoの性能劣化を抑制する。
- MuLoCoは，DiLoCoと比較して，ワーカー数が多くなるほど精度の高い擬似勾配を生成する。
- MuLoCoは，様々なモデル規模でDiLoCoよりも優れた性能を発揮し，特にワーカー数が多い場合にその差が顕著である。
- 150億パラメータモデルの学習において，MuLoCoは16ワーカーでも単一ワーカーと同等の性能を達成し，大規模バッチサイズを有効活用する。
専門家に任せる：スパース性進化によるスパースファインチューニングで，スパースLLMを修復する [cs.AI]目的：スパースLLMの効率的なタスク適応
- LLMの効率的な展開が重要視される中で，モデルの軽量化は不可欠である。
- 既存のファインチューニング手法は，スパースLLMの効率性を損なうか，互換性がない。
- スパース性を進化させ，タスク固有の更新を再配分することで効率性を維持する。
- 提案手法SEFTは，LLaMA，DeepSeek，Mistralモデルで既存手法を上回る性能を示す。
- SEFTは，メモリと時間の効率性においても優れた結果を提供する。
- スパース構造を動的に進化させることで，タスク適応を効果的に行う。
TIDFormer：時間的・相互作用的ダイナミクスを活用する優れた動的グラフTransformer [cs.LG]目的：動的グラフTransformerにおける時間的・相互作用的ダイナミクスの効率的な活用
- グラフ構造が時間とともに変化する動的グラフは，様々な現実世界の現象をモデル化する上で不可欠である。
- 既存の動的グラフニューラルネットワークはTransformerを用いるが，その効果や効率にばらつきがあり，SAMの定義が課題となっている。
- 時間的・相互作用的ダイナミクスを効率的に捉え，動的グラフにおけるSAMの解釈可能性を高めることを目指す。
- TIDFormerは，時間に基づいた分割情報と近傍ノードの情報を用いて，時間的・相互作用的ダイナミクスをモデル化する。
- 提案手法は，過去の相互作用パターンの変化を捉えるシンプルな分解手法を導入し，時間的・相互作用的特徴を同時にモデル化する。
- 実験結果から，TIDFormerは多くのデータセットや実験設定において最先端モデルを上回り，効率性にも優れていることが示された。
一般化されたフーリエ表現によるDNF学習 [cs.DS, cs.IT, cs.LG, math.IT]目的：DNF学習における一般化されたフーリエ表現
- ブール関数学習は，機械学習の基礎であり，複雑な関数を効率的に近似・学習する方法を追求する。
- 従来のフーリエ表現は，積分布に限定され，より広範な分布への適用が困難であった。
- 積分布以外の分布下でのDNF学習を可能とする一般化された表現を確立すること。
- 一般化されたフーリエ表現を導入し，ベイズネットワークを用いて任意の分布を表現可能となった。
- 差制約付き木構造のベイズネットワークにおいて，連言の$L_1$スペクトルノルムが有界であることが証明された。
- この結果を利用し，このような分布下におけるDNFおよび決定木の学習可能性が確立された。
FlashMLA-ETAP：NVIDIA H20 GPUにおけるMLA推論加速のための効率的な転置注意パイプライン [cs.DC, cs.AI, cs.LG]目的：MLA推論の効率化
- 大規模言語モデルの利用拡大には，効率的な推論技術が不可欠である。
- 単一GPUサーバーでの大規模モデル（DeepSeek-R1 671B）の推論は，計算資源の制約を受ける。
- NVIDIA H20 GPU環境下でのMLA推論を高速化し，リソース制約を克服することを目指す。
- FlashMLA-ETAPは，64Kシーケンス長においてFlashMLAに対し2.78倍の高速化を実現した。
- FlashAttention-3やFlashInferと比較しても，それぞれ5.24倍，4.94倍の性能向上を示した。
- 数値安定性も維持し，FlashAttention-3と比較してRMSEを15.2倍低減した。
説明は決定ロジック漏洩のリスクを高めるか？説明誘導によるグラフモデルの盗用 [cs.CL, cs.LG, cs.AI]目的：グラフモデルの決定ロジック漏洩リスクの検証と，説明を用いたモデル盗用手法の開発
- グラフ構造データ分析は創薬や金融分析等，重要分野で不可欠であり，その応用は拡大の一途を辿っている。
- 説明可能なGNNは透明性を高める一方，説明メカニズムがモデルの意思決定ロジックを漏洩する可能性が指摘されている。
- 説明メカニズムを利用したモデル盗用攻撃に対する脆弱性を明らかにし，防御策の必要性を訴える。
- 提案手法{\method}は，説明アライメントとデータ拡張を組み合わせ，限られたクエリ数で効率的なモデル盗用を実現する。
- 分子グラフデータセットを用いた実験により，{\method}が従来のモデル盗用手法よりも優れていることが示された。
- 説明可能なGNNの機密性の高い分野への導入には，説明に基づいた攻撃に対するセキュリティ対策が不可欠である。
dLLM-Cache：適応キャッシュによる拡散大規模言語モデルの高速化 [cs.LG, cs.AI, cs.CL]目的：拡散大規模言語モデルの推論速度向上
- 近年，拡散に基づく大規模言語モデルが注目を集めており，その応用範囲は広い。
- 拡散型LLMは双方向アテンション機構のため，従来のKey-Valueキャッシュが利用できない。
- プロンプトと応答の安定性を利用し，キャッシュ効率を高めることで高速化を図る。
- dLLM-Cacheは，LongBench-HotpotQAにおいて最大9.1倍のFLOPs削減を達成した。
- 推論速度を従来の自己回帰型LLMに匹敵するレベルにまで改善した。
- トレーニングフリーであり，既存の拡散LLMに容易に適用可能である。
SO(3)不変ハミルトニアン行列の効率的な予測：SO(2)局所座標系を用いた手法 [cs.LG, physics.comp-ph]目的：ハミルトニアン行列の予測
- 物理，化学，材料科学において重要な電子構造計算の高速化に貢献する。
- SO(3)対称性を考慮したモデル構築は計算コストが高く，スケーラビリティが課題である。
- SO(2)局所座標系を利用し，SO(3)テンソル積を回避することで，効率的な予測を実現する。
- 提案手法QHNetV2は，SO(3)不変性を保ちつつ，SO(3) Clebsch-Gordanテンソル積のコストを削減した。
- QH9やMD17データセットを用いた実験で，様々な分子構造と軌道に対して優れた性能を示した。
- SO(2)局所座標系における演算は，電子構造学習のスケーラビリティ向上のための有望な方向性を示す。
因果フォレストにおける誠実性：それが役立つ場合と有害な場合 [cs.LG, stat.ML]目的：個別治療効果の推定精度向上
- 個別化介入の重要性が高まる中で，因果推論の精度向上が不可欠である。
- 既存手法では，過学習のリスク低減と真の異質性の検出・モデル化のバランスが課題である。
- 誠実性推定の適切な適用条件を明らかにし，性能改善に貢献することを目指す。
- 誠実性推定は，効果の異質性が大きい場合やデータセットが大きい場合に，個別治療効果の推定精度を低下させる可能性がある。
- これは，過学習リスクの低減と未学習リスクの増大というトレードオフによるものである。
- 誠実性推定のデフォルト使用は，モデルの性能を最大27%も低下させる可能性がある。
敵対環境下におけるUAV衝突回避のためのカリキュラム適応型ロバスト強化学習 [cs.LG, cs.AI]目的：敵対環境下でのUAV衝突回避におけるロバスト強化学習の性能向上
- UAVの自律飛行は高度化し，強化学習の活用が進んでいる。安全な飛行が不可欠なため，ロバスト性が重要となる。
- GNSSスプーフィング攻撃による観測データの変動は，強化学習の性能低下を引き起こす。既存手法は特定の攻撃に特化し，汎化性に課題がある。
- 本研究では，攻撃モデルに依存せず，TD誤差分布の一貫性を保つことで，様々な攻撃への汎化性能を高めることを目指す。
- カリキュラム適応型ポリシーは，固定されたスプーフィング条件下でほぼ完璧なミッション成功率を達成した。これは標準およびロバスト強化学習のベースラインの20-56%と比較して大幅な改善である。
- 動的な障害物誘導スプーフィング攻撃下では，最も高いエピソード報酬を達成し，航空交通密度の増加に伴い，ミッション完了までのステップ数を最大45%削減した。
- TD誤差空間における汎化性証明により，テスト時の攻撃によるTD誤差分布が最終カリキュラム段階に十分近ければ，性能劣化が制限されることが示された。
言語モデリングのための低ランクアダプターの多肢選択学習 [cs.LG, cs.AI, cs.CL, stat.ML]目的：言語モデルにおける多様で妥当な文章の続きの生成
- 言語モデルは自然言語処理の基盤であり，その性能向上は様々な応用分野に不可欠である。
- 言語モデルは文脈から複数の妥当な未来を予測し得るため，曖昧性の扱いが課題である。
- 低ランクアダプターと多肢選択学習を用いて，言語モデルの曖昧性を効率的に解決すること。
- 提案手法LoRA-MCLは，多様な文章生成において高い性能を示すことが，音声・画像キャプション，機械翻訳の実験で確認された。
- 多肢選択学習を言語モデリングに適用する理論的根拠を，混合分布からのデータ生成を仮定して示した。
- 幅広い言語モデルへのLoRA-MCL適用コードを公開し，再現性と拡張性を担保した。
訓練なしでの学習：文脈内学習の暗黙的ダイナミクス [cs.CL, cs.LG]目的：文脈内学習の暗黙的ダイナミクス
- 大規模言語モデルの性能向上は，自然言語処理の様々なタスクにおいて重要な進歩をもたらしている。
- 大規模言語モデルが文脈内学習をどのように実現しているかのメカニズムは未だ解明されていない。
- 文脈内学習のメカニズムを解明し，その能力向上に貢献すること。
- 自己注意層とMLPの積層により，Transformerブロックが文脈に応じてMLP層の重みを暗黙的に修正することが示された。
- 文脈を伴う標準的な順伝播は，文脈を伴わないが文脈による最小の低ランク更新によって更新されたMLP重みによる順伝播と数学的に同等である。
- この単純なメカニズムは，学習時に捉えきれないLLMの文脈内学習能力を説明するのに役立つ可能性がある。
CoMPAS3D：インタラクティブモーションのためのデータセットとベンチマーク [cs.LG, cs.AI, cs.CL, cs.CV]目的：インタラクティブモーションの評価のためのデータセットおよびフレームワーク
- 人間と協調するロボット開発には，相手の動きや意図を理解する能力が不可欠である。
- 既存の評価指標は，動きの意味や相手の熟練度を考慮できていない。
- サルサダンスを評価対象とし，客観的・主観的な指標を用いた評価枠組みを構築する。
- CoMPAS3Dは，18人のダンサーによる3時間のサルサダンスのモーションキャプチャデータセットである。
- データセットには，ムーブの種類，エラー，スタイルなどの専門家による注釈が2,800以上含まれる。
- 提案手法は，既存の指標では捉えきれない生成モーションの問題点を明らかにすることができた。
Assistax：支援ロボットのためのマルチエージェントハードウェア加速強化学習ベンチマーク [cs.AI, cs.LG, cs.RO]目的：支援ロボットのための強化学習研究促進
- ロボットの自律的な動作は，人々の生活を豊かにし，労働環境を改善する上で不可欠である。
- 従来の強化学習ベンチマークはゲームに偏っており，現実世界のロボット応用に直接結びつかない場合がある。
- 現実世界の支援ロボットタスクにおける複雑さを考慮した，新たなベンチマーク環境の必要性に応える。
- Assistaxは，JAXのハードウェア加速により，CPUベースの代替手法と比較して最大370倍の速度向上を実現している。
- マルチエージェント強化学習を用いて，支援ロボットと能動的な患者間の相互作用をモデル化し，多様なパートナーエージェントとの協調能力を評価する。
- 一般的な連続制御強化学習およびマルチエージェント強化学習アルゴリズムに対する広範な評価とハイパーパラメータ調整を行い，信頼性の高いベースラインを確立している。
OASIS：LLM推論高速化のためのデュアルサイド量子化による外れ値対応LUTベースGEMM [cs.LG, cs.AR]目的：LLM推論における効率と精度を両立するための新しいGEMMアーキテクチャ
- LLMは多様な応用で高い能力を示すが，推論時に膨大なメモリと計算資源を必要とする
- 既存の量子化手法は，効率と精度のトレードオフが存在し，特に低精度演算ユニットとの互換性が課題である
- 非一様量子化の利点を活かしつつ，既存手法の課題を克服し，推論速度とエネルギー効率を向上させる
- OASISは，非一様量子化された重みと活性化の間の効率的なGEMMを可能にするLUTベースのアーキテクチャである。
- OASISは，LUTサイズを64分の1に削減し，既存のLUTベースGEMM手法と比較して1024倍の並列処理を可能にする。
- OASISはFP16ベースラインと比較して平均1.98%の精度低下に抑えられ，Atomと比較して5.18%低い精度低下で済む。
UR$^2$：強化学習によるRAGと推論の統合 [cs.CL, cs.AI]目的：RAGと推論を動的に調整する強化学習フレームワーク
- 大規模言語モデルの性能向上には，知識獲得と複雑な推論能力が不可欠である。
- 既存手法は，特定のドメインに限定され，汎用性に欠けるという課題がある。
- 多様なドメインに対応可能な，汎用的なRAGと推論の統合を目指す。
- UR$^2$は，難易度に応じた情報検索と，オフラインデータとLLM生成要約の組み合わせにより，RAGと推論のバランスを改善する。
- Qwen-2.5およびLLaMA-3を基盤とした実験で，既存のRAGやRLベースラインを上回り，GPT-4o-miniやGPT-4.1-miniと同等の性能を示す。
- オープン領域QA，MMLU-Pro，医療，数学推論など，多様なタスクで有効性が確認された。
AlphaEval：数式アルファマイニングのための包括的かつ効率的な評価フレームワーク [cs.AI, cs.LG, q-fin.CP, stat.ML]目的：数式アルファマイニングモデルの評価
- 定量投資において，金融データからの予測シグナル生成は不可欠である。
- 既存の評価指標は，計算コストや市場への過敏性，網羅性の欠如といった課題を抱えている。
- 包括的かつ効率的な評価フレームワークを構築し，アルファの品質向上を目指す。
- AlphaEvalは，バックテストを必要とせず，既存のバックテストと同等の評価結果を得る。
- 予測能力に加え，安定性，堅牢性，論理性，多様性の5つの側面からアルファを評価する。
- AlphaEvalは，単一指標によるスクリーニングよりも優れたアルファを特定するのに有効である。
観光における推奨の均衡化のためのLLMベースのAgent的フレームワーク：Collab-REC [cs.AI]目的：観光地推奨における多様性向上と人気偏重の抑制
- 観光は経済や文化交流において重要な役割を担う分野であり，適切な情報提供が不可欠である。
- 既存の推奨システムは人気のある観光地ばかりを推奨する傾向があり，多様性が損なわれるという課題がある。
- LLMを活用した複数Agentによる協調的なフレームワークを通じて，よりバランスの取れた推奨を実現することを試みる。
- Collab-RECは，多様性と関連性の両方を向上させることがオフライン実験で示された。
- 特に，あまり知られていない観光地の推奨に貢献し，潜在的な魅力を引き出すことが確認された。
- LLM駆動型推奨システムにおけるマルチステークホルダー協調の可能性を示唆する。
動的集団サイズによるNSGA-IIの高速化 [cs.CL, cs.NE]目的：多目的最適化問題におけるNSGA-IIの計算効率向上
- 多目的最適化問題は複雑であり，複数のトレードオフを同時に考慮する必要があるため。
- 従来のMOEAは，最適な解を多数保持するために大きな集団サイズが必要となり，計算コストが増大する。
- 動的に集団サイズを変化させることで，計算速度を向上させ，集団サイズの決定問題を解決する。
- 提案手法である動的NSGA-IIは，初期集団サイズを小さく設定し，評価回数が指定値を超えると倍増させる。
- OneMinMaxベンチマークにおいて，動的NSGA-IIは従来のNSGA-IIよりも高速にパレートフロントを計算可能であることが証明された。
- 並列実行戦略を用いることで，パラメータ調整を不要としつつ，従来のNSGA-IIを上回る性能を維持する。
TalkPlayData 2：マルチモーダル対話型音楽推薦のためのエージェントによる合成データパイプライン [cs.IR, cs.AI, cs.MM, cs.SD, eess.AS]目的：マルチモーダル対話型音楽推薦のための合成データセット
- 音楽推薦システムは，ユーザーに最適な音楽を提案する上で重要な役割を担う。
- 対話型音楽推薦における学習データが不足しており，多様な対話パターンを学習することが困難である。
- 多様な対話シナリオを網羅した高品質な学習データを提供することで，推薦システムの性能向上を目指す。
- TalkPlayData 2は，複数のLLMエージェントを活用した合成データパイプラインによって生成された。
- 生成されたデータセットは，音楽推薦モデルの学習において様々な側面で目標を達成した。
- データセットと生成コードは公開されており，研究コミュニティへの貢献が期待される。
ウェーブレットフーリエ拡散器：強化学習のための周波数認識型拡散モデル [cs.RO, eess.SP, cs.LG, cs.AI, eess.SP]目的：強化学習における軌跡シーケンスのモデル化
- 強化学習は，複雑な意思決定問題を解決するための重要な手法であり，その性能向上は様々な分野で求められている。
- 従来のオフライン強化学習は，時間領域の特徴に偏っており，周波数領域の特徴が考慮されていないという課題があった。
- 本研究では，周波数領域の解析を取り入れ，周波数シフトによる性能劣化を抑制することを目指している。
- 提案手法Wavelet Fourier Diffuser (WFDiffuser)は，離散ウェーブレット変換を用いて軌跡を周波数成分に分解する。
- WFDiffuserは，短時間フーリエ変換とクロスアテンション機構により，周波数領域の特徴を抽出し，周波数間の相互作用を促進する。
- D4RLベンチマーク実験の結果，WFDiffuserは周波数シフトを効果的に軽減し，より安定した軌跡と意思決定性能の向上を実現した。
近傍の学習：コントラストなしマルチモーダル自己教師あり分子グラフ事前学習 [cs.RO, cs.LG, cs.AI]目的：分子表現の学習
- 分子の物性予測や分子設計において，高品質な分子表現が不可欠である。
- 大規模なラベル付きデータセットが不足していることが課題である。
- 3次元構造情報を活用し，より効果的な分子表現を獲得すること。
- C-FREEは，2次元グラフと3次元コンフォーマーを統合し，固定半径のエゴネットを用いて分子表現を学習する。
- GEOMデータセットでの事前学習により，MoleculeNetにおいて最先端の結果を達成した。
- 多様なデータセットでのファインチューニングにより，新しい化学領域への汎化性能が示された。
アラインメントを意識したデコーディング [cs.CL, cs.LG]目的：大規模言語モデルのアラインメント向上
- 自然言語処理において，言語モデルのアラインメントは重要な課題である。
- 既存のアラインメント最適化手法は，学習時またはプロンプトに依存する。
- 推論時に直接アラインメントを向上させる手法の確立。
- アラインメントを意識したデコーディング(AAD)は，特別な学習を必要とせずに，標準的なDPO設定で暗黙的な報酬最適化を実現する。
- 多様なアラインメントベンチマークとモデル規模において，AADは強力なベースラインを凌駕する性能を示す。
- データ制約のある状況下では，AADは標準的なデコーディングにおけるアラインメント改善のための高品質な合成データ生成に貢献する。
深層ReLU分類における勾配降下の汎化に関する最適レート [cs.LG]目的：深層ReLUネットワークにおける勾配降下の汎化レート
- 深層ニューラルネットワークの汎化性能理解は，機械学習の理論的基盤構築に不可欠である。
- 既存研究では，最適レートが達成されないか，滑らかな活性化関数に限定されており，深さへの指数依存性がある。
- 深層ReLUネットワークにおける最適汎化レートを導出し，深さへの依存性を抑えることを目指す。
- データがマージン$\gamma$でNTK分離可能であるという仮定の下，過剰リスクレート$\widetilde{O}(L^6 / (n \gamma^2))$を証明した。
- このレートは，深さ依存係数を除き，SVM型最適レート$\widetilde{O}(1 / (n \gamma^2))$と一致する。
- 参照モデル近傍の活性化パターンの制御により，深層ReLUネットワークに対するシャープなRademacher複雑度界を確立した。
自己確認ループの打破：自己報酬型強化学習における体系的な報酬バイアスの診断と軽減 [cs.LG, cs.CL]目的：体系的な報酬バイアスの診断と軽減
- 大規模言語モデルの推論能力向上に貢献する検証可能な報酬型強化学習の課題解決。
- 自己報酬型強化学習は不安定で，性能が低いという問題がある。
- 自己報酬型強化学習における自己確認ループによるバイアスを軽減する。
- 提案手法であるRLERは，既存の自己報酬型強化学習のベースラインを6.2%向上させた。
- RLERは，検証可能な報酬型強化学習の性能に3.6%以内に迫る結果を得た。
- RLERは，ラベルなしサンプルに対する安定したスケーリングを示した。
ReaLM：知識グラフ埋め込みと大規模言語モデルを繋ぐ残差量子化 [cs.CL, cs.AI]目的：知識グラフ埋め込みと大規模言語モデルの整合性向上
- 知識グラフは，様々な知識を構造的に表現し，推論や予測を可能にする重要な技術である。
- 従来の埋め込みベースのアプローチでは，知識グラフの構造的情報を十分に活用できないという課題があった。
- 知識グラフ埋め込みと大規模言語モデルの間の不整合を解消し，知識の融合を促進することを目的とする。
- ReaLMは，残差ベクトル量子化により知識グラフ埋め込みを離散化し，大規模言語モデルの語彙に統合する。
- これにより，記号的知識と文脈的知識のシームレスな融合が可能となり，性能が向上する。
- オンソロジーに基づいたクラス制約を導入することで，エンティティ予測の一貫性を高める。
意味的知識がイノベーションを導き，文化的進化を促進する [cs.MA, cs.AI, cs.CY, cs.NE]目的：イノベーションのメカニズム解明
- 文化進化は人類の発展に不可欠であり，社会の複雑性を高めている。
- 従来のイノベーション理論は，ランダム性を強調し，その複雑さを説明できない。
- 意味的知識がイノベーションを促進し，文化の累積的変化を加速させることを示す。
- 意味的知識は，意味のある解決策への探索を導き，イノベーションの成功率を高めることが示された。
- 意味的知識は，過去の発見からの一般化を可能にし，社会学習と相乗効果を発揮する。
- 意味的知識へのアクセスがない参加者は，偶然と同程度の成績しか収めず，表層的な探索戦略に頼っていた。
DTKG：二重トラック知識グラフ検証推論フレームワークによる多段QA [cs.CL, cs.AI, cs.IR]目的：多段質問応答のための知識グラフ検証推論フレームワーク
- 大規模言語モデルにおいて，質問応答の精度向上には，知識グラフの活用が不可欠である。
- 既存手法は，並列検証と連鎖推論のいずれか一方に特化しており，両方のタスクに対応できない。
- 並列検証と連鎖推論を両立し，多段質問応答の効率と精度を改善することを目指す。
- 本研究では，認知科学における二重過程理論に着想を得た，新しい二重トラック知識グラフ検証推論フレームワークDTKGを提案する。
- DTKGは，分類段階と分岐処理段階の二つの主要な段階で構成される。
- DTKGは，並列検証と連鎖推論の両方において，既存手法の限界を克服し，多段質問応答の性能向上に貢献する。
RGMem：言語エージェントのための再正規化群に着想を得たメモリ進化 [cs.AI]目的：長期的なユーザー状態のモデリング
- LLMベースの対話エージェントにおいて，パーソナライズと継続的な対話が重要である。
- 有限のコンテキストウィンドウと静的なパラメータメモリが，長期的なユーザー状態のモデリングを阻害する。
- 進化しうる対話から安定した嗜好とユーザー特性を抽出する手法を確立すること。
- RGMemは，再正規化群の視点に基づき，マルチスケールな進化プロセスとして長期的な会話メモリをモデル化する。
- RGMemは，SOTAメモリシステムと比較して，セッション間の継続性と進化するユーザーの嗜好への適応において，一貫して優れた性能を示す。
- RGMemは，変化しやすい証拠とゆっくりと変化する特性を明示的に分離することで，ロバストなパーソナライズを実現する。
ブン，選択，忘却：ミツバチのような意思決定のためのメタバンディットフレームワーク [cs.LG, stat.ML]目的：ミツバチのコンテキスト化された採餌タスクにおける個体ごとの意思決定の再現と予測
- 動物行動理解への貢献が期待される。採餌行動は生存戦略の中核であり，そのメカニズム解明は重要である。
- 既存モデルでは，ミツバチの限られた記憶容量や環境への適応を十分に考慮できていない。
- ミツバチの短期記憶の重要性をモデル化し，採餌行動をより正確に再現することを目指す。
- MAYAは，実際のデータ，シミュレーション，およびマウスのデータセットにおいて，既存の模倣学習モデルや統計モデルを上回る性能を示した。
- 最適な記憶窓（τ）は7試行程度であり，天候条件にわずかな依存性があることが示された。
- MAYAは個々の学習戦略の解釈可能性を提供し，将来の生態学的応用を見据えた現実的な軌道の推論を可能にする。
ProtocolBench：どのLLMマルチエージェントプロトコルを選択すべきか？ [cs.AI]目的：マルチエージェントプロトコルの体系的な比較と，最適なプロトコルの選択
- 大規模マルチエージェントシステムにおいて，プロトコル層は性能と信頼性に不可欠である。
- プロトコル選択は直感に頼ることが多く，標準化された指針が存在しない。
- プロトコル選択における客観的な評価基準と，状況に応じたプロトコル選択手法を提供する。
- ProtocolBenchにより，プロトコル選択がシステム性能に大きく影響することが示された。
- Fail-Storm Recoveryにおいて，プロトコル間の耐障害性に一貫した差が見られた。
- ProtocolRouterは，Fail-Storm復旧時間を最大18.1%短縮し，GAIAにおける成功率も向上させた。
生成AIによる人物描写における人種とジェンダー：41の職業に対するクロスモデル監査 [cs.HC, cs.AI, cs.CY]目的：大規模言語モデルが生成する職業上の人物像における人種とジェンダーの表現バイアス
- 生成AIは社会における人物描写に広く利用されており，その表現の公平性は重要である。
- 生成AIによる人物描写には人種やジェンダーに関するバイアスが含まれている可能性が指摘されている。
- 生成AIが生成する人物像が現実の労働市場の多様性を適切に反映しているか検証する。
- 4つの大規模言語モデルによって生成された150万人以上の職業上の人物像を分析した結果，モデルは現実のデータよりも多様性が低い傾向にある。
- 特に，白人や黒人の労働者は過小評価され，ヒスパニック系やアジア系の労働者は過大評価される傾向が確認された。
- これらのバイアスはモデル間で共通しており，構造的な要因が影響している可能性が示唆された。
LAMP：パラメータ制御された3D形状生成と外挿のためのデータ効率の良い線形アフィン重み空間モデル [cs.LG, cs.CE, cs.CV]目的：パラメータ制約下での高忠実度3D形状生成
- 工学設計において，パラメータ制御された3D形状生成は不可欠であり，効率的な手法が求められている。
- 既存手法は，大規模データセットを必要とし，学習範囲外の制御が困難であるという課題がある。
- LAMPは，データ効率性と安全性を高め，制御可能な3D形状生成を可能にすることを目指す。
- LAMPは，わずか50サンプルで制御された補間を実現し，学習範囲を100%超える安全な外挿を可能にする。
- LAMPは，条件付きオートエンコーダやDNIなどの既存手法と比較して，データ効率，パラメータ忠実度，外挿性能において優れている。
- LAMPは，設計探索，データセット生成，性能重視の最適化において，制御可能，データ効率的，かつ安全な3D生成を促進する。
現実的なサッカーシミュレーションにおける人間らしいゴールキーピング：サンプル効率の良い強化学習アプローチ [cs.AI, cs.LG]目的：人間らしいAI行動の実現
- ゲームAIの進化は，ゲーム体験の質を向上させる上で不可欠である。
- 従来の強化学習は，計算資源を多く必要とし，ゲーム業界での導入が困難であった。
- 限られたリソースでも，現実的かつ人間らしいAIをゲームに実装すること。
- 提案手法は，EA SPORTS FC 25のゴールキーパーAIのセーブ率を，ゲーム内AIより10%向上させた。
- 本手法は，標準的な強化学習手法と比較して，AIの学習速度を50%向上させた。
- 専門家による評価では，本手法によって生成されたAIは，手作りAIよりも人間らしいゲームプレイを実現していると判断された。
公平なグラフプロンプティングに向けて：属性と構造バイアスを軽減するデュアルプロンプトメカニズム [cs.LG]目的：グラフにおける属性および構造バイアスの軽減
- グラフニューラルネットワークは，多様なタスクに応用可能であり，その重要性は増している。
- 既存のグラフプロンプティング手法は性能向上に偏っており，公平性への配慮が不足している。
- 属性と構造の両面からバイアスを軽減し，公平なグラフ学習を実現することを目指す。
- 提案手法ADPromptは，適応的な特徴修正とメッセージ較正という二つの要素を組み合わせて，バイアスを軽減する。
- ADPromptは，入力レベルでの属性情報の抑制と，層ごとの構造プロンプトによる情報伝播の調整を行う。
- 複数のデータセットでの実験により，ADPromptが7つのベースライン手法を凌駕するノード分類性能を示すことが確認された。
オートマトン制約協調マルチエージェント強化学習 [cs.MA, cs.AI, cs.CL, cs.FL, cs.LG]目的：協調的かつ時間的な目的を持つマルチタスク，マルチエージェントポリシーの学習
- チームでの協調行動を可能にするため，エージェントのタスク割り当てと学習が重要である。
- 既存手法はサンプル効率が悪く，単一タスクに限定されており，新たなタスクごとに再学習が必要である。
- タスクに応じた分散チームポリシーを効率的に学習し，最適なタスク割り当てを実現すること。
- 本研究で提案するACC-MARLフレームワークは，タスクに応じた分散チームポリシーの学習を可能にする。
- 学習された価値関数を用いることで，テスト時にタスクを最適に割り当てることができる。
- 実験では，ボタンを押してドアを解錠したり，ドアを開けたままにしたりといった，タスクを意識したマルチステップ連携が確認された。
確率的回路を用いた高速かつ表現力豊かなマルチバイト予測 [cs.LG]目的：大規模言語モデルにおける生成速度向上策の探求
- 言語モデルの効率化は，より広範な応用を可能にする上で重要である。
- 従来のマルチトークン予測は，表現力か速度のどちらかを犠牲にする傾向がある。
- 確率的回路の枠組みを用いて，表現力と速度の最適なトレードオフを目指す。
- 提案手法MTPCは，既存のバイトレベルLLMやサブワードモデルに適用可能である。
- 推測デコーディングと組み合わせることで，独立性仮定を用いたMTPよりも大幅な高速化を実現する。
- オリジナルの検証用LLMの性能を維持しつつ，表現力を損なわないことを保証する。
フィッシングメール検出のための堅牢かつ解釈可能なTransformerベースのフレームワーク [cs.CR, cs.AI, cs.LG]目的：フィッシングメール検出のためのフレームワーク
- サイバー攻撃は巧妙化の一途を辿っており，メールを通じたフィッシング攻撃が最も一般的である。
- Transformerモデルは精度向上に貢献する一方，解釈可能性の低さが課題となっていた。
- 堅牢性と解釈可能性を両立させ，より信頼性の高いフィッシングメール検出を実現すること。
- 提案手法は，DistilBERTをベースに，勾配に基づく敵対的学習と確率的摂動を加えることで，ロバスト性を向上させた。
- LIME，SHAP，IGといったXAI手法を統合し，モデルの意思決定を解釈可能にした。
- モデルの予測とXAI特徴を組み合わせたプロンプトにより，根拠に基づいた自然言語の説明を生成する。
生理学的認識に基づくハイパースペクトル再構成：物体から人体へのドメイン適応 [cs.CV, cs.AI]目的：ハイパースペクトル情報の再構成
- 非侵襲的な生理学的洞察を提供するハイパースペクトルイメージングの臨床応用可能性向上。
- 既存手法は物体中心のシーン向けで，生理学的イメージング特有の課題に対応できていない。
- 生理学的状態の違いを考慮したハイパースペクトル再構成法の開発。
- PHASEは，生理学的チャネル再解釈と生理学的に妥当な解への制約により，再構成精度を向上。
- 2つの転送プロトコルにおいて，最先端手法をSSIMで最大+2.20，SAMで-3.06上回る性能。
- わずか1.5%のラベル付きデータで優れた性能を発揮。
ゲーム理論的強化学習による接吻数探索 [cs.LG, cs.AI]目的：接吻数の最大値を探索すること
- 離散幾何学における重要な未解決問題であり，幾何学，数論，情報理論に深い影響を与える。
- これまでの研究は孤立した最適解に限定され，背後にある幾何学的原理が不明確である。
- より広範な極値配置空間を探索することで，接吻数問題の新たな解決策を模索する。
- 強化学習システムPackingStarが，長年保持されていた15個の接吻数の強限界を改善する新しい幾何学的構造を発見した。
- 発見された構造は，自然な内積のもとで，いくつかの解が最適であることが証明されている。
- フィッシャー群Fi22の球面コード実現を初めて明示し，部分群構造の古典的なユークリッド表現を拡張し，数学者の画期的な進歩に貢献した。