arXiv雑要約
AI - 2025/12/17 公開
ガウス初期化を超えて：奇数シグモイド活性化のための信号保持型重み初期化 [cs.LG, cs.AI]目的：奇数シグモイド活性化のための活性化を意識した重み初期化
- 活性化関数は学習可能性と表現力に不可欠であり，近年多様な非線形性が探求されている。
- 広く用いられるガウス初期化は，広い幅または無限幅の仮定下で活性化分散を維持するように設計されている。
- 深い狭いネットワークにおける飽和と勾配消失を回避し，信号と勾配を保持する初期化手法を提案する。
- 提案手法は，深度，幅，活性化のスケールに依存する度合いがガウス初期化よりも低いことが実証された。
- 物理情報ニューラルネットワーク(PINNs)において，提案手法はガウス初期化よりも低い損失を達成した。
- 対角成分プラスノイズ型の重みは，ガウス初期化が機能しない場合に有効な代替手段となりうる。
ネットワーク・知識グラフの二元性：エージェント型サプライチェーンリスク分析における事例研究 [cs.AI, cs.MA, econ.TH, physics.soc-ph]目的：サプライチェーンリスク分析のためのエージェント型フレームワーク
- 金融リスク分析において，複雑なネットワーク構造データの活用が重要視されている。
- 従来のRAGは関係性を単純化し，専門モデルはコストと静的性が課題である。
- ネットワークと知識グラフの二元性を活用し，効率的なリスク経路抽出を目指す。
- LLMを中心としたエージェント型フレームワークにより，サプライチェーンリスク分析が可能となった。
- ネットワーク構造に基づいた情報検索と，数値データ・ニュースデータの組み合わせが有効である。
- 定量的データを自然言語に埋め込む「コンテキストシェル」が，LLMの理解を深めることに貢献する。
分岐系列 [cs.LG]目的：時系列予測における予測の安定性向上
- 時系列予測は重要であり，高い精度に加え，予測作成日ごとの予測の安定性が求められる。
- 既存手法では，予測作成日ごとに独立して予測を行うため，予測の変動が大きくなる場合がある。
- 分岐系列を用いて，予測の変動を抑制し，より安定した予測を可能にすることを目指す。
- 分岐系列は，すべての予測作成日における時系列を同時にエンコード・デコードすることで，予測の安定性を高める。
- 実験結果から，MLP，RNN，LSTM等のモデルにおいて，精度が平均24.7%～49.3%向上することが確認された。
- 分岐系列で学習したモデルに対し，予測時のアンサンブルを行うことで，予測安定性をさらに10.2%～13.2%向上させることができた。
HeSRN：スロット認識型保持ネットワークによる異種グラフ表現学習 [cs.LG]目的：異種グラフにおける効率的かつ表現力豊かな表現学習
- グラフ構造データ分析は，様々な分野で重要性を増しており，ノードや関係性の理解が不可欠である。
- 既存のグラフTransformerは計算コストが高く，異種グラフの複雑な意味構造を捉えるのが困難である。
- 計算効率を向上させつつ，異種グラフの意味構造を効果的に学習することを目指す。
- HeSRNは，ノードタイプごとの意味情報を分離し，スロット認識型エンコーダを用いて効果的に融合する。
- 保持ネットワークを用いることで，グラフ構造と文脈依存性を線形時間でモデル化し，計算効率を向上させた。
- 実世界の異種グラフデータセットを用いた実験により，HeSRNが最先端のモデルを上回り，高い分類精度と低い計算コストを両立することが示された。
RLHFのための拡散モデル学習におけるサンプラーの確率的変動の理解 [cs.LG, cs.AI, math.OC]目的：RLHFのための拡散モデル学習におけるサンプラーの確率的変動の影響の解明
- 人間からのフィードバックを用いた強化学習は，拡散モデルの性能向上に不可欠である。
- 学習時の確率的サンプラーと推論時の決定論的サンプラーの不一致が，性能低下の原因となる。
- 報酬ギャップを理論的に特徴付け，確率的変動を増やすことで推論品質を改善する。
- 報酬ギャップは，一般的な拡散モデルにおいて理論的に明確に定義され，収束率の上限が導出された。
- 実験的に，DDPOやMixGRPOを用いた大規模な画像生成モデルにおいて，学習が進むにつれて報酬ギャップが縮小することが確認された。
- 高確率的変動のSDEを用いた学習は，ODEサンプリングの品質を向上させることが示された。
建物エネルギー管理のための空間・時間的強化された安全なマルチエージェント協調 [cs.AI]目的：建物エネルギー管理における空間・時間的相関の活用と運用安全性の確保
- 地球温暖化対策やエネルギーコスト削減のため，建物エネルギー管理の重要性が高まっている。
- 既存システムは，空間・時間的情報の活用不足，厳密な安全性の保証欠如，システム複雑さの問題を抱えている。
- 空間・時間的相関を考慮しつつ，運用安全性を保証する協調制御を実現することを目指す。
- 提案手法STEMSは，既存手法と比較して，エネルギーコストを21%，排出量を18%削減する性能を示した。
- また，安全性の指標である違反率を35.1%から5.6%に大幅に低減し，快適性を維持した。
- さらに，異常気象時や異なる建物タイプへの適用においても，高い堅牢性と有効性を示した。
選択的な表現空間による時系列予測の強化：パッチの視点 [cs.LG]目的：時系列予測性能の向上
- 時系列データは，経済，気象，医療など幅広い分野で重要であり，正確な予測が不可欠である。
- 従来のパッチ分割法では，隣接するパッチのみを使用するため，表現力が限定されるという課題があった。
- 文脈情報の中から重要なパッチを動的に選択し，表現空間の柔軟性を高めることで予測精度を向上させる。
- 提案手法である選択的表現空間（SRS）モジュールは，学習可能な選択的パッチ分割と動的再構成により，文脈時系列から有益なパッチを適応的に選択・シャッフルする。
- SRSモジュールを組み込んだSRSNetは，複数の実世界データセットで最先端の性能を達成した。
- SRSモジュールは既存のパッチベースモデルに容易に組み込むことができ，性能向上に貢献する。
RAGRank：CTI LLMパイプラインにおける汚染対策としてのPageRankの利用 [cs.CR, cs.AI, cs.IR]目的：サイバー脅威インテリジェンス（CTI）LLMパイプラインにおける汚染攻撃への対策
- サイバー脅威対策において，LLMを活用した迅速な情報処理が重要視されている。
- 新たな攻撃手法や巧妙な偽装により，CTIシステムは汚染攻撃に脆弱である。
- 情報源の信頼性を評価し，悪意のある情報の影響を低減することを目指す。
- 提案手法RAGRankは，PageRankを用いて情報源の信頼性を評価する。
- MS MARCOデータセットを用いた実験で，悪意のある文書へのスコア低下と信頼できるコンテンツの促進が確認された。
- CTI文書およびフィードに対するPoC実験でも有効性が示された。
TempoPFN：ゼロショット時系列予測のための線形RNNの合成事前学習 [cs.LG, cs.AI, stat.ML]目的：ゼロショット時系列予測のための基礎モデル
- 時系列データは，金融，気象，医療など様々な分野で不可欠であるため，その予測は重要である。
- 既存の基礎モデルは，長期間予測の効率性や再現性に課題があり，合成データのみのアプローチは性能が低い。
- TempoPFNは，効率的かつ高精度なゼロショット時系列予測を可能にする基盤を確立することを目指す。
- TempoPFNは，線形RNNを基盤とし，合成データのみで事前学習することで，既存の合成データのみのアプローチを上回る性能を達成した。
- Gift-Eval，fev-bench，Chronos-ZSベンチマークにおいて，実データで学習したモデルの多くをも凌駕する競争力のある結果を得た。
- 並列化可能な学習と推論により，効率的な予測を実現し，データ生成パイプラインと学習コードを公開することで，再現性と将来の研究を促進する。
DART：難易度適応型推論の切り捨てによる効率的な大規模言語モデル [cs.AI]目的：大規模言語モデルにおける効率的な推論
- 大規模言語モデルの性能向上には，計算資源と精度とのバランスが重要である。
- 既存の推論方法は，問題の難易度に関わらず冗長な説明を生成し，非効率である。
- 問題の難易度に応じて推論の長さを調整し，効率性と精度を両立すること。
- DARTは，より強力なモデルから簡潔な推論パターンを蒸留することで，問題難易度に応じた推論長さを学習する。
- 実験結果から，DARTは精度を維持または向上させながら，推論を大幅に短縮し，計算速度を向上させることが示された（GSM8Kデータセットで81.2%の推論切り捨て，5.33倍の計算加速）。
- DARTは，大規模言語モデルにおける適応的知能の開発を促進する，安定した汎用的なパラダイムを提供する。
目的が一致しないエージェント間の相互作用の収束ダイナミクス [cs.RO, cs.CL, cs.SI, cs.MA, cs.AI]目的：エージェント間相互作用における収束挙動の理論的解析
- 大規模言語モデル(LLM)のマルチエージェントシステム応用の重要性が高まっている。
- 目的が一致しない場合，エージェント間の学習が不安定になり，最適な結果が得られない場合がある。
- 目的のずれが，収束時の安定性，偏り，ロバスト性に与える影響を明らかにすること。
- 目的が一致しない場合，両エージェントは目標に到達できず，残差誤差は目的のずれとプロンプトによって予測可能である。
- 補助エージェントが目的を更新することで，主エージェントの収束を加速し，停滞を解消できることが示された。
- 実験結果は，理論的予測と一貫しており，プロンプトの形状と目的のずれが，システムの安定性やバイアスに影響を与えることを裏付けている。
正規化フローを用いた条件付きVAEの改善 [cs.LG]目的：条件付き変分オートエンコーダによる画像生成の改善
- 画像生成技術は，様々な応用分野において重要な役割を担う。
- 従来のVAEは，生成画像の鮮明さや多様性に課題があった。
- 条件付きVAEにおける潜在空間の分布推定の精度向上を目指す。
- 正規化フローを用いることで，従来のCVAEよりもFIDを4%低減することに成功した。
- 生成画像の対数尤度を7.6%向上させることに貢献した。
- 条件付き潜在空間の分布をより正確に推定できることが示された。
単一ノードを超えるLLM推論：高速All-Reduce通信によるボトルネックと緩和策 [cs.DC, cs.LG]目的：大規模言語モデルのマルチノード分散推論における性能向上
- 言語モデルの巨大化に伴い，分散推論の重要性が増している。
- マルチノード環境下での効率的なモデル並列化が課題となっている。
- All-Reduce通信のボトルネックを解消し，推論速度を向上させる。
- 本研究では，高性能なAll-ReduceアルゴリズムNVRARを開発した。
- NVRARは，HPE SlingshotやInfiniBandにおいてNCCLよりも最大3.6倍低い遅延を実現した。
- YALISに統合したNVRARは，Llama 3.1 405Bモデルのバッチ推論レイテンシを最大1.72倍削減した。
限られたAPI呼び出しによる大規模言語モデルの高度なブラックボックスタンニング [cs.AI]目的：大規模言語モデルの適応
- 大規模言語モデルの活用は，多様なタスクにおいて高い性能を発揮し，重要性が増している。
- モデルパラメータへの直接アクセスがない場合，効果的な適応方法が課題であった。
- API呼び出し回数を抑制しつつ，高性能な適応を実現することを目標とする。
- 本手法は，事前にわずかなAPI呼び出しで得られたデータに基づき，ガウス過程モデルを構築する。
- このモデルが基盤モデルの出力を近似し，プロキシモデルの学習を効率的に導く。
- 実験の結果，モデルの精度を大幅に向上させ（55.92%から86.85%），API呼び出し頻度を1.38%に削減した。
マルチエージェントシステムの信頼性再考：ビザンチンフォールトトレランスからの視点 [cs.MA, cs.AI, cs.CL]目的：マルチエージェントシステムにおける信頼性の向上
- 近年，複雑な問題解決においてマルチエージェントシステムが注目されている。
- システム内の障害発生時の信頼性確保と問題のあるエージェントの特定が課題である。
- LLMベースのエージェントを用いたシステム信頼性の向上を目指す。
- LLMベースのエージェントは，誤ったメッセージの流れに対して懐疑的な態度を示す傾向があり，従来のシステムよりも高い信頼性を示すことが確認された。
- CP-WBFTという，信頼度に基づく重み付けビザンチンフォールトトレランスコンセンサス機構を設計し，LLMベースのエージェントの安定性を向上させた。
- CP-WBFTは，極端なビザンチン条件下（故障率85.7％）において，様々なネットワークトポロジーで優れた性能を発揮し，従来の方式を上回る高い精度を達成した。
SIGMMA：病理画像と空間トランスクリプトームの階層的グラフベースマルチスケールマルチモーダル対照的アライメント [cs.IR, eess.SY, cs.SY, cs.CV, cs.LG]目的：病理画像と空間トランスクリプトームプロファイルの表現学習
- 病理診断の精度向上と個別化医療の実現に貢献する計算病理学の重要性が高まっている。
- 既存手法では単一スケールでのアライメントに留まり，細胞構造や空間的組織の微細な情報を捉えきれていない。
- マルチスケールでのアライメントにより，細胞間相互作用を含む組織微小環境の理解を深めることを目指す。
- SIGMMAは，異なるスケールで学習された表現の一貫性を確保するマルチスケール対照的アライメントを導入した。
- 遺伝子発現予測タスクにおいて平均9.78%の性能向上，クロスモーダル検索タスクにおいては平均26.93%の性能向上を達成した。
- 下流解析において，組織の多層的な組織化を学習できることが示された。
電力効率に優れたニューラルネットワーク加速のための層ごとの重み選択 [cs.AR, cs.LG]目的：電力効率の改善
- 深層学習の普及に伴い，計算資源の消費が課題となっている。
- 既存手法では，ハードウェアの特性を十分に考慮できていない場合がある。
- 層ごとのエネルギー特性に基づいた圧縮により，電力削減を目指す。
- 提案手法は，層ごとの活性化統計とMSB-ハミング距離に基づくエネルギーモデルを構築する。
- 量子化認識学習とエネルギー優先の層ごとのスケジュールにより，高エネルギー層を積極的に圧縮する。
- 実験により，2-3%の精度低下で最大58.6%のエネルギー削減を達成した。
二重ワイルド・リフィッティング：凸損失下における高次元ブラックボックス予測のモデルフリー評価 [cs.LG, stat.ML]目的：凸損失関数下での経験的リスク最小化における過剰リスク評価
- 機械学習モデルの性能評価は，その実用化において不可欠であり，信頼性の高い評価手法の確立が求められている。
- 従来の学習理論は，仮説クラスの複雑さの事前知識を必要とするため，深層学習などの複雑なモデルには適用が困難である。
- モデルの複雑さに依存しない，モデルフリーな過剰リスク評価手法を開発し，現代的な不透明な機械学習システムの評価を可能とする。
- 本研究では，訓練アルゴリズムと単一のデータセットへのブラックボックスアクセスのみを仮定し，効率的なリフィッティング手順を提案した。
- 人工的に修正された疑似結果（ワイルド・レスポンス）を生成し，それを用いて２つのワイルド予測器を構築することで，過剰リスクの上限を効率的に導出した。
- 提案手法は，従来の容量ベースの学習理論では評価が困難な深層ニューラルネットワークや生成モデルなど，複雑な機械学習システムの理論的な評価に貢献する。
MSTN：高速かつ効率的な多変量時系列予測モデル [cs.LG]目的：多変量時系列の予測
- 現実世界の時系列データは，様々な分野で不可欠であり，その予測は重要な課題である。
- 既存モデルは，固定的な構造に依存し，急激な変化や長期的なトレンドへの適応が困難である。
- 様々な時間スケールに対応し，計算負荷を抑えつつ高精度な予測を可能にすること。
- 提案手法MSTNは，多変量時系列予測において，既存の最先端モデルを上回る性能を発揮した。
- 特に，24のデータセットで過去最高の結果を達成し，汎化性能の高さを示した。
- 軽量であり，高速な推論が可能であるため，エッジデバイスやリソースの限られた環境への展開に適している。
ニューラルネットワークにおけるスケールに依存しないコルモゴロフ・アーノルド幾何 [cs.CL, cs.LG, cs.AI]目的：ニューラルネットワークにおけるコルモゴロフ・アーノルド幾何構造の出現
- 深層学習の内部表現理解は，モデルの解釈可能性向上に不可欠である。
- 高次元データにおける幾何学的構造の明確な理解が不足している。
- 現実的な高次元データにおけるスケール不変な幾何構造の解明を目指す。
- MNISTの手書き数字分類において，2層MLPでKAG構造が出現することが確認された。
- このKAG構造は，局所的な7ピクセル領域から全体の28x28画像スケールまで，一貫して観察された。
- 標準的な訓練と空間拡張による訓練のいずれにおいても，同様のパターンが確認された。
AIに対する欺瞞検出器の評価における困難性 [cs.DC, cs.CL, cs.LG]目的：AIシステムの欺瞞検出信頼性評価
- 高度なAIのリスク軽減に不可欠であり，安全なAI開発の鍵となる分野である。
- 欺瞞を確実にラベル付けできる事例が不足しており，評価が困難である。
- 欺瞞検出器の評価方法に関する課題を明確化し，解決策の検討を促す。
- 信頼性のある欺瞞検出器を構築するには，欺瞞と誠実を区別できる事例が必要である。
- 現在の事例の収集には具体的な障害があり，既存の研究だけでは不十分である。
- 欺瞞検出の進歩には，これらの問題に対するさらなる検討が不可欠である。
ASTRO：ダイナミクス誘導型軌道ロールアウトによる適応的ステッチング [cs.LG, cs.AI]目的：オフライン強化学習におけるデータ拡張による性能向上
- 強化学習は，自律的な意思決定を可能にする重要な技術であり，ロボット工学やゲームなどの幅広い分野で応用されている。
- 既存のオフライン強化学習では，不完全なデータセットが報酬伝播を妨げ，価値推定やポリシー性能の低下を引き起こす。
- 本研究は，ダイナミクスを考慮した軌道ステッチングにより，データセットの質を改善し，より効果的なポリシー学習を実現する。
- ASTROは，時間距離表現を用いて最適なステッチングターゲットを特定し，ダイナミクス誘導型ステッチングプランナーにより実現可能な軌道を生成する。
- ロールアウト偏差フィードバックを用いることで，軌道の到達性と実行可能性を向上させ，効果的なデータ拡張を実現している。
- OGBenchやD4RLなどの標準的なベンチマークにおいて，既存のデータ拡張手法を上回る性能を示し，オフライン強化学習の性能向上に貢献する。
自然言語推論のための木構造マッチングネットワーク：依存構造解析木を通じたパラメータ効率の良い意味理解 [cs.CL, cs.AI, cs.LG]目的：自然言語推論における文埋め込みの効率的な学習手法
- 自然言語処理において，文の意味を捉えることは，機械翻訳や質問応答など様々なタスクの基礎となる。
- Transformerモデルは高精度だが，パラメータ数が膨大で学習コストが高いという課題がある。
- 依存構造解析木を用いることで，言語構造に関する事前知識を活用し，効率的な学習を目指す。
- 提案手法であるTree Matching Networks (TMN)は，SNLI推論タスクにおいて，BERTベースのモデルと比較して，大幅なメモリ削減と学習時間の短縮を実現した。
- TMNはSNLIタスクにおいて，同程度の規模のBERTモデルを上回る性能を示したが，SemEval類似度タスクでは両モデルとも十分な性能を発揮できなかった。
- 明示的な構造表現がシーケンスベースのモデルよりも優れている一方で，現在の集約手法がスケーラビリティを制限している。
軽量ベンチマークが明らかにする，ゼロショット表形式ファウンデーションモデルの隠れたハードウェアコスト [cs.LG, cs.AI]目的：ゼロショット表形式ファウンデーションモデルのハードウェアコストの定量化
- 表形式データ分析は，ビジネスや科学研究において重要な役割を担う。
- ファウンデーションモデルは計算資源を多く消費する傾向があり，実用上のボトルネックとなる。
- 効率的なモデル開発のための，ハードウェア要件と精度とのトレードオフを明らかにすること。
- ツリーアンサンブルモデルは，3つのデータセットでFMと同等以上の精度を達成し，大幅に低い計算資源で高速な予測を実現した。
- TabICLはHiggsデータセットでわずかな精度向上を示すものの，レイテンシとVRAM使用量において大きなコスト増を伴うことが判明した。
- 本研究は，現在の表形式FMにおけるハードウェアと精度のトレードオフを定量的に評価し，効率化研究の基盤を提供する。
メンタ：オンデバイスメンタルヘルス予測のための小規模言語モデル [cs.AI]目的：ソーシャルメディアデータに基づくメンタルヘルス予測のマルチタスク学習モデル
- 世界中で数億人がメンタルヘルスに問題を抱えており，早期発見が重要である。
- 大規模言語モデルは有望だが，サイズと計算コストが実用化の妨げとなっている。
- 本研究は，軽量な小規模言語モデルによるメンタルヘルス予測の可能性を探求する。
- メンタは，6つの分類タスクをLoRAフレームワークで共同学習することで，高性能を実現した。
- 既存の小規模言語モデルと比較して，平均で15.2%の精度向上を示し，大規模言語モデルと同等の精度を達成した。
- iPhone 15 Pro Max上でリアルタイムに動作し，約3GBのRAMしか必要としないことを示した。
LLMの推論のための意味的・トークンエントロピーを用いた効率的な強化学習 [cs.CL, cs.AI]目的：大規模言語モデルの推論能力向上
- 大規模言語モデルの推論能力は，様々な自然言語処理タスクにおいて重要であり，その改善は長年の課題である。
- 従来の強化学習では，エントロピーの崩壊が起こりやすく，探索が制限され，推論能力が低下する可能性がある。
- エントロピー崩壊を緩和し，大規模言語モデルの推論能力を向上させることを目指す。
- 意味的エントロピーに基づいたカリキュラム学習を導入し，容易なタスクから困難なタスクへ段階的に最適化を導く。
- トークンレベルでは，低エントロピーのトークンにKL正則化を適用し，探索を促進するとともに，高共分散部分に制約を強化する。
- データ構成とアルゴリズム設計を共同最適化することで，他のエントロピーベースの手法よりも優れた推論性能を達成した。
GraphBench：次世代グラフ学習ベンチマーク [cs.LG, cs.AI, cs.NE, stat.ML]目的：グラフ学習の包括的なベンチマーク
- グラフ構造データは，分子構造やソーシャルネットワークなど様々な分野で重要性が増している。
- 既存のベンチマークは，特定のタスクに偏り，評価基準が統一されていないため，再現性が低い。
- 多様なタスクとドメインを網羅し，汎化性能を評価できる標準化されたベンチマークを確立する。
- GraphBenchは，ノード，エッジ，グラフレベルの予測や生成タスクを含む多様なドメインを網羅するベンチマークスイートである。
- 一貫したデータセット分割と性能指標，および分布外汎化を考慮した評価プロトコルを提供することで，再現性を高める。
- メッセージパッシングニューラルネットワークとグラフTransformerモデルを用いた評価を行い，ベースラインと参照性能を確立した。
小規模データセットに対する適合予測器の信頼性のある統計的保証 [cs.LG, physics.data-an, stat.ML]目的：小規模データセットにおける適合予測器の保証に関する統計的枠組み
- 科学技術計算において，複雑な問題を近似する代替モデルの利用が重要である。
- 既存の適合予測の統計的保証は，小規模な較正データセットサイズでは信頼性が低い。
- 小規模データセットにおいても有効な適合予測器の保証を提供する。
- 本研究では，単一の適合予測器の網羅率に関する確率的情報を提供する新しい統計的保証を提案する。
- 提案手法は，大規模な較正データセットサイズでは従来の適合予測の保証に一致する。
- 小規模データセットにおいても，適合予測器の網羅率に関する有用な情報を提供する。
IdealTSF：非理想的なデータは時系列予測モデルの性能向上に貢献できるか [cs.LG, cs.AI]目的：時系列予測における非理想的なデータの活用
- 時系列データは様々な分野で重要であり，正確な予測は意思決定に不可欠である。
- 時系列データには欠損値や異常値が含まれることが多く，予測精度を低下させる。
- 非理想的なデータ（欠損値や異常値を含むデータ）を有効活用し，予測性能を向上させる。
- 本研究では，非理想的なデータを活用するIdealTSFフレームワークを提案した。
- IdealTSFは，負のサンプルによる事前学習，正のサンプルへの変換，敵対的摂動による最適化の3段階で構成される。
- 実験の結果，IdealTSFは基本的なAttention機構において，時系列予測の潜在能力を引き出すことが示された。
ゲート付き再帰型ニューラルネットワークにおける学習可能期間 [cs.LG, physics.data-an]目的：ゲート機構が再帰型ニューラルネットワークの学習可能期間を決定するメカニズム
- 深層学習における時間的依存関係の学習は，自然言語処理や時系列解析などに応用され重要である。
- 勾配消失や爆発といった問題が，長距離の時間的依存関係の学習を困難にしている。
- ゲート機構が勾配の伝播に与える影響を解析し，学習可能な時間範囲を明確にすること。
- ゲート機構によって生じるヤコビ行列積の一次近似展開から得られる有効学習率が，学習可能性を支配することが示された。
- 有効学習率のノルムが，依存関係を検出するために必要なサンプルサイズに影響し，学習可能期間を決定する要因となる。
- 有効学習率のスペクトルが時間スケールの構造に影響を与え，学習可能期間を拡大または圧縮することが明らかになった。
実現可能性を考慮した時分割論理とバリアネットによる，頑健で正確なコントローラーの学習 [eess.SY, cs.LG, cs.SY]目的：安全性確保と複雑なロボット行動の仕様駆動合成
- ロボットの安全性を保証することは，実用上の展開において不可欠である。
- 従来のCBF-STLアプローチは，パラメータ固定や近視眼的最適化により保守的になりやすい。
- 本研究は，時間変化するバリア関数を用いて，より頑健で実現可能な制御を実現する。
- 提案手法は，時間変化する高次バリア関数制約を微分可能な二次計画問題(dQP)に組み込む。
- STL充足度，QP実現可能性，制御制約遵守を統合的に捉えるロバスト性指標を導入した。
- シミュレーション結果は，複雑な環境下で高いSTLロバスト性を維持し，既存手法を上回ることを示した。
PrivORL：オフライン強化学習のための差分プライバシー保護合成データセット [cs.CR, cs.LG]目的：オフライン強化学習における差分プライバシー保護合成データセットの生成
- オフライン強化学習は環境とのインタラクションを削減し，ナビゲーション等の重要な分野で有効である。
- オフライン強化学習データセットからのプライバシー漏洩が懸念されている。
- 差分プライバシーを適用した合成データセットを生成し，安全なデータ公開を目指す。
- 拡散モデルと拡散Transformerを用いて，差分プライバシー下でのトランジションと軌道の合成を実現した。
- 公開データセットで事前学習し，感応データセットでDP-SGDを用いてファインチューニングすることで，高い実用性と忠実性を達成した。
- 好奇心駆動型事前学習により，合成データセットの多様性を高め，感応データセットとの類似性を向上させた。
単一層で十分：事前学習済み視覚エンコーダの画像生成への適応 [cs.CV, cs.AI]目的：事前学習済み視覚表現を画像生成に適応するための手法
- 画像生成モデルの性能向上は，コンピュータビジョンの重要な課題である。
- 理解のための特徴と生成のための潜在空間の間には，根本的な不整合が存在する。
- 事前学習済み表現を効率的に画像生成に活用することを目指す。
- 提案手法FAEは，単一のアテンション層で事前学習済み視覚表現を低次元潜在空間に変換する。
- FAEは，再構成と理解に必要な情報を保持しつつ，拡散モデルや正規化フローといった様々な生成モデルに適用可能である。
- ImageNet 256x256において，FIDが1.29（800エポック），1.70（80エポック）と高い性能を達成した。
戦略進化の理論：内生的なプレイヤーと戦略的複製子を持つゲーム [cs.GT, cs.AI, econ.TH]目的：戦略進化の解析
- ゲーム理論と自己複製オートマトンは，それぞれ独立して発展してきたが，両者の統合が重要である。
- 資源制約下で最適化と自己複製を行う戦略的複製子の進化を理解する上での理論的枠組みが不足している。
- 自己複製を行う主体（系統）を基本戦略単位とするゲームモデルを構築し，進化的に安定な分布を明らかにする。
- ゲームのプレイヤー数が進化的に決定される「内生的なプレイヤーを持つゲーム」を導入し，新たな均衡概念「進化的に安定な知能分布」を定義した。
- 小利得条件の下で，システムの各階層にグローバルな Lyapunov 関数が存在することを示し，メタ選択の下での閉包性（構造保存性）を証明した。
- 自己修正の制限なく行うと安定性が損なわれることを示し，安定した多エージェントシステムに必要な憲法上の制約を特定した。
単一エージェントのスケール拡大はマルチエージェント知能に失敗する：ネイティブなマルチエージェント知能を持つ基盤モデルに向けて [cs.DC, cs.AI, cs.MA]目的：マルチエージェント環境における基盤モデルの能力
- AIエージェントの頭脳となる基盤モデルの重要性が増している。
- 単一エージェントの性能向上だけでは，マルチエージェント知能が必ずしも向上しない。
- 基盤モデルにネイティブなマルチエージェント知能を付与するための研究方向性を示す。
- 単一エージェントのスケール拡大が，必ずしも堅牢なマルチエージェント知能をもたらさないことが実証された。
- 理解，計画，効率的なコミュニケーション，適応というマルチエージェント環境における基盤モデルの4つの主要な能力が特定された。
- データセット構築，評価，学習パラダイム，安全性に関する研究方向性が示された。
LLMの多角的整合性のための連合型RLHFにおける選好集約の体系的評価 [cs.CL, cs.AI]目的：大規模言語モデルと多様な人間の選好との整合性
- LLMの性能向上には，人間からのフィードバックが不可欠であり，多様な選好を反映させることが重要である。
- 連合学習環境では，データのプライバシー保護のため，各グループの選好を集約する際に公平性を確保することが課題となる。
- 多様な人間の選好を考慮した，公平で質の高いLLMの整合性を実現するための集約手法を確立すること。
- 提案手法は，従来の集約手法と比較して，整合性のスコアを維持しつつ，より高い公平性を達成した。
- 本研究で開発した評価フレームワークは，多様なグループ間でLLMの挙動を評価するための堅牢な方法論を提供する。
- 動的に選好の重みを調整する適応的スキームが，公平性と整合性のトレードオフにおいて優れていることが示された。
トポロジー最適化を用いた密度推定の教師なし学習 [cs.LG, stat.ML]目的：密度推定における最適なカーネル帯域幅の自動選択
- 機械学習や統計推論など，多岐にわたる分野で密度推定は不可欠な要素である。
- カーネル帯域幅の調整は重要だが，適切な値の設定が難しい。
- トポロジーに基づく損失関数を用いて，最適な帯域幅を自動的に決定することを目指す。
- 提案手法は，トポロジー的特徴を考慮した損失関数により，帯域幅を自動選択する。
- 様々な次元において，従来の技術と比較して良好な性能を示すことが確認された。
- 高次元データにおける密度推定の精度向上に貢献する可能性が示唆された。
エンドツーエンド強化学習によるマルチイメージビジョンエージェントの学習 [cs.HC, cs.CY, cs.CV, cs.AI]目的：複雑なマルチイメージタスクのためのビジョンエージェントの学習
- 画像とテキストを組み合わせた理解は，現実世界のタスクにおいて重要な役割を担う。
- 既存のオープンソース手法は単一の画像入力に制限されており，マルチイメージQAタスクに対応できない。
- マルチイメージQAタスクにおいて，VLMの潜在能力を最大限に引き出すことを目指す。
- 提案手法IMAgentは，エンドツーエンドの強化学習により，マルチイメージタスクにおいて安定したツール利用行動を達成した。
- IMAgentは，既存のシングルイメージベンチマークで高い性能を維持しつつ，新しいマルチイメージデータセットで大幅な改善を示した。
- モデルが推論中に視覚コンテンツへの注意を再配分するための，視覚的な反射と確認のためのツールを開発した。
CFLight：反事実学習による交通信号制御の安全性向上 [cs.CY, cs.LG, stat.ME]目的：交通信号制御における安全性向上
- 交通事故は世界中で多くの死傷者を出し，交差点での事故が深刻であるため，交通安全対策が重要である。
- 強化学習を用いた交通信号制御は効率性を優先しがちで，安全性とのバランスが課題となっている。
- 本研究は，反事実学習を用いて交通信号制御における安全性を高めることを目指す。
- 提案手法CFLightは，反事実学習に基づき，危険な状況下での代替行動を予測し，事故を未然に防ぐ。
- 実データおよび合成データを用いた実験により，CFLightが従来の強化学習手法やセーフRLモデルと比較して，衝突件数を大幅に削減できることが示された。
- 本手法は，安全性と効率性を両立する汎用的な枠組みを提供し，他の分野への応用も期待される。
地理空間土壌品質分析：統合システムのロードマップ [cs.CE, cs.LG]目的：土壌品質評価のための統合的なパイプラインの提案
- 持続可能な農業，環境保全，土地利用計画において，土壌品質は極めて重要な役割を果たす。
- 従来の土壌品質評価は，高コストで時間と労力を要し，空間的・時間的な網羅性に課題があった。
- GIS，リモートセンシング，機械学習の進歩を統合し，より透明性が高く，拡張性のある土壌品質評価システムを構築することを目指す。
- GIS，リモートセンシング，機械学習を統合したモジュール型のパイプラインを提案し，多種多様な土壌データを活用する。
- 既存研究が孤立した土壌パラメータや特定のモデリング手法に焦点を当てるのに対し，本研究は土壌品質評価パイプライン全体を統合する。
- 持続可能な土地管理に適合した，より透明性，適応性，拡張性の高い次世代土壌品質システムの実現を目指す。
エコー・コパイロット：心エコー解釈とレポート作成のためのマルチビュー・マルチタスクエージェント [cs.AI, cs.CV, cs.LG, eess.IV]目的：心エコー検査の解釈とレポート作成の自動化
- 心血管疾患の診断と治療において，心エコー検査は不可欠な役割を担っている。
- 心エコー検査の解釈は専門知識を要し，多角的な視点からの評価が必要である。
- 既存のモデルは個別のタスクに特化しており，臨床的に整合性のある包括的な評価が困難である。
- エコー・コパイロットは，大規模言語モデルを用いて複数の心エコーツールを統合し，クエリに応じた解析を行う。
- MIMIC-EchoQAベンチマークにおいて，汎用モデルやバイオメディカルモデルを上回る50.8%の精度を達成した。
- 定量的な測定値と生理学的情報を活用し，臨床的な判断が難しい症例の解決に貢献することが示された。
孔夫子コードエージェント：実世界コードベース向けのスケーラブルなエージェント構築 [cs.CL, cs.AI, cs.LG, cs.SE]目的：実世界規模のコードベースを対象とした，スケーラブルなソフトウェアエンジニアリングエージェントの開発
- ソフトウェア開発の効率化が求められており，AIエージェントによる自動化が期待されている。
- 既存のエージェントは，大規模コードベースへの対応や複数セッションにわたる継続学習が課題である。
- 研究と実用性を両立する，拡張性，解釈可能性，制御可能性に優れたエージェントを開発すること。
- 孔夫子コードエージェント（CCA）は，大規模コードベース上で動作するスケーラブルなエージェントである。
- SWE-Bench-Proにおいて，CCAはResolve@1で54.3%を達成し，既存の他のエージェントを上回った。
- 孔夫子SDKとCCAは，実用的な大規模展開を可能にする，汎用的で拡張性のある基盤を提供する。
スライディングウィンドウ注意機構の適応 [cs.CL, cs.AI]目的：Transformerベース大規模言語モデルにおける長文コンテキスト推論の高速化
- 大規模言語モデルの利用拡大に伴い，長文処理能力が重要課題となっている。
- Transformerの自己注意機構は計算量が大きいため，長文の推論に多大なコストがかかる。
- 事前学習済みのモデルを，スライディングウィンドウ注意機構に効果的に適応させる方法を模索する。
- 事前学習済みモデルをスライディングウィンドウ注意機構に直接適用すると性能が低下するが，複数の手法を組み合わせることで，元の性能を回復可能であることが示された。
- スライディングウィンドウ注意機構を事前入力段階のみに適用したり，特殊トークンを保持したり，全注意層と組み合わせるなどの手法が有効である。
- 提案手法により，大規模言語モデルの長文コンテキスト推論速度を最大100%加速できる可能性が示された。
予測による移住政策の支援：ヨーロッパにおける不法越境の混合アプローチ [cs.LG, cs.SI, stat.AP]目的：ヨーロッパにおける主要な移住ルートにおける不法越境の予測
- 移住は社会経済的発展に不可欠。効果的な政策立案には正確な予測が求められる。
- 従来のデータセットには限界があり，移住パターンの急変に対応できない場合がある。
- EU移住・難民パクトに基づき，政策決定を支援する信頼性の高い予測手法の提供。
- 機械学習と専門家の知見を組み合わせた混合アプローチにより，予測精度を向上させた。
- 本手法は，移住パターンの急変やデータセットの限界に対処する革新的な要素を含んでいる。
- 既存データを用いた検証により，本手法の適用可能性と信頼性が確認された。
特徴は離散状態として現れる：3D表現へのSAEの初の応用 [cs.HC, cs.LG]目的：3Dモデルの潜在表現における特徴分解のメカニズム解明
- 深層学習モデルの内部表現理解は，モデルの性能向上や解釈可能性を高める上で重要である。
- スパースオートエンコーダ（SAE）は主にテキストデータに適用されており，3Dデータへの応用は限定的であった。
- 3Dデータの潜在表現における特徴がどのように分解されるかを明らかにし，モデルの学習ダイナミクスを説明する。
- ネットワークが連続的な特徴ではなく離散的な特徴を符号化することが確認された。
- モデルは，特徴活性化からの位相のような遷移によって駆動される離散状態空間を近似していることが示唆された。
- この状態遷移フレームワークにより，位置エンコーディングへの傾斜や，特徴アブレーションによる再構成損失のS字カーブといった現象が説明可能となった。
バッテリー健全性推定のための物理情報を考慮した注意機構付き時間的畳み込みネットワークPace [cs.LG]目的：バッテリー健全性推定
- 電気自動車や電力グリッド等のエネルギーシステムにおいて，バッテリーは不可欠な要素である。
- バッテリーシステムの安全性，コスト効率，持続可能性のために，効果的なバッテリー健全性管理が求められている。
- 様々な使用条件下で，バッテリーの健全性を正確かつ効率的に予測することを目指す。
- Paceは，バッテリーの物理特性とセンサー測定値を統合し，高い予測精度を実現した。
- 公開データセットにおいて，既存モデルと比較して平均性能が6.5倍，2.0倍向上した。
- Raspberry Pi上でのリアルタイム実装により，実用的なバッテリー健全性分析ソリューションであることを示した。
LLMによる注意機構を活用したクラウドソーシング洪水画像のジオロケーションの向上 [cs.CL, cs.AI, cs.CV, cs.CY]目的：クラウドソーシング洪水画像に対するジオロケーション精度の向上
- 災害対応において，迅速かつ正確な状況把握が不可欠であるため，リアルタイムな画像情報の活用が重要である。
- クラウドソーシング画像はメタデータが不正確であることが多く，既存のジオロケーション手法では精度が低下する。
- LLMの知識と注意機構を活用し，画像中の位置情報を特定する精度を向上させる。
- 本研究で提案するVPR-AttLLMは，既存のVPRパイプラインにLLMの知識を組み込むことで，画像検索性能を向上させる。
- SF-XL，合成洪水シナリオ，HK-URBANデータセットなどを用いた評価により，VPR-AttLLMが3つの最新VPRモデルにおいて，検索性能を1～8%向上させることが確認された。
- VPR-AttLLMは，都市認識理論に基づく注意機構により，人間のような空間認識能力をVPRアーキテクチャに組み込む汎用的なパラダイムを確立する。
ChatGPT，Claude，Geminiを用いた緑地の魅力評価：AIモデルは人間の認識を反映しているか [cs.CY, cs.AI, cs.CV]目的：緑地の魅力評価能力の比較
- 都市環境の質の向上には，住みやすく包容的な環境設計が不可欠である。緑地の魅力評価はそのための重要な要素である。
- 既存の評価手法は，非公式な空間や一時的な空間を見落とし，大規模な主観的認識の把握にリソースが不足している。
- 大規模言語モデル（MLLM）による緑地の魅力評価の可能性と限界を明らかにすること。
- 魅力的な公式緑地と魅力の低い非公式緑地に関しては，AIと人間の評価が一致する傾向が見られた。
- 魅力的な非公式緑地と魅力の低い公式緑地については，AIと人間の評価にずれが生じた。
- AIモデルは，美的特徴を重視する傾向があり，安全性や機能性など，住民が重視する要素が十分に反映されていないことが示された。
ショートカットフローパスを通じた1ステップ拡散モデルの設計 [cs.LG, cs.CV]目的：1ステップ拡散モデルの設計に関する共通フレームワーク
- 拡散モデルは画像生成において高い性能を示すが，計算コストが高いという課題がある。
- 少ステップ拡散モデルは効率的だが，理論的根拠と実装が密接に関連し，設計の自由度が低い。
- ショートカットモデルの設計空間を明確にし，改善点を見出すことを目指す。
- 提案するフレームワークにより，既存のショートカットモデルの有効性が理論的に保証される。
- ImageNet-256x256において，FID50kが2.85を達成し，最先端性能を更新した。
- 学習ステップ数を2倍にすることで，FID50kは2.52に向上した。事前学習や蒸留は不要である。
まず愛し，後に知れ：LLMテキストワールドエンジンによるパーソナベースの恋愛適合性 [cs.HC, cs.CL, cs.LG]目的：恋愛適合性の評価手法
- 人間関係は社会の根幹であり，良好な関係構築は個人の幸福に不可欠である。
- 従来のマッチングは静的なプロフィール比較に頼り，関係性のダイナミズムを捉えきれない。
- LLMを活用し，対話を通じて関係性の適合性を評価する新しいパラダイムを提示する。
- LLMをパーソナエージェントと環境モデルとして活用し，恋愛関係における重要な瞬間への反応をシミュレーションする。
- シミュレーション結果から人間の選好を予測する報酬モデリング問題を提起し，数学的仮説を立てることで効果的なシミュレーションを実現した。
- LLMのポリシーが人間の行動に近づくほど，マッチングは最適な安定マッチングに収束するという理論的証明を得た。また，スピードデートデータと離婚予測データで有効性を検証した。