arXiv雑要約
AI - 2026/01/30 公開
条件付きフローマッチングを用いた船舶プロペラの生成設計 [cs.LG]目的：船舶プロペラの生成設計手法
- 船舶の燃費向上や環境負荷低減に貢献するため，プロペラ性能の最適化が重要である。
- 従来の設計手法では，高性能なプロペラ設計に多大な時間と専門知識が必要となる。
- GenAIを用いて，指定された性能目標を達成するプロペラ設計を効率的に生成する。
- 条件付きフローマッチングにより，設計パラメータと性能ラベルに基づいたノイズ間の双方向マッピングを確立した。
- これにより，同一の性能目標に対して複数の有効なプロペラ設計を生成することが可能となった。
- 渦格子法による数値シミュレーションと，前向きな代替モデルからの擬似ラベルを用いたデータ拡張により，モデル精度とデータ量のトレードオフを検討した。
セグメントMoE：時系列予測Transformerのためのマルチ解像度セグメント単位のMixture-of-Experts [cs.LG, cs.AI]目的：時系列予測におけるTransformerの効率的なスケーリングと長期的な時間的動態の捕捉
- 時系列予測は，経済，気象，医療など，多くの分野で重要な役割を果たす。
- Transformerモデルは計算コストが高く，長期的な依存関係の学習が課題となる。
- セグメント単位のMoEにより，効率性と予測精度の両立を目指す。
- Seg-MoEは，従来の密なTransformerやトークン単位のMoEモデルを上回り，最新の予測精度を達成した。
- セグメントレベルのルーティングが，性能向上に重要な役割を果たしていることが確認された。
- 時系列データの構造に合わせたMoEのルーティング粒度は，新たなアーキテクチャの可能性を示す。
識別可能な等変ネットワークは層ごとの等変性を持つ [cs.LG, math.CT, math.RT]目的：深層ニューラルネットワークにおけるエンドツーエンドの等変性と層ごとの等変性の関係
- 機械学習において，データの変換に対する不変性や等変性は，汎化性能向上に不可欠である。
- ニューラルネットワークが訓練を通じて等変性を獲得するメカニズムは，理論的に十分に解明されていない。
- モデルのパラメータの識別可能性という条件下で，層ごとの等変性の存在を数学的に証明する。
- エンドツーエンドで等変なネットワークに対し，層ごとに等変なパラメータ選択が存在することが示された。
- この結果は，モデルのパラメータが識別可能であることが前提となる。
- この理論は，ニューラルネットワークの訓練中に等変構造が出現する理由を数学的に説明する基盤となる。
マスク拡散言語モデルにおける推論時操舵法：ILRR [cs.CL, cs.AI, cs.LG]目的：マスク拡散言語モデルの推論時制御手法
- 自然言語生成における非自己回帰モデルの重要性が増しており，制御可能な生成が求められている。
- 既存手法では，生成制御が限定的であり，より柔軟で高精度な制御が課題となっている。
- 参照シーケンスを用いて，生成過程における内部活性化を動的に調整し，高水準な意味特性を伝達する。
- ILRRは，LLaDAとMDLMのアーキテクチャにおいて，属性操舵を効果的に実現し，わずかな計算コストで済む。
- 同等の計算量の下で，既存のベースラインと比較して，属性精度が10％から60％向上する。
- 生成品質を維持しつつ，センチメントなどの属性を柔軟に制御できる空間変調操舵も導入された。
SWE-Spot：リポジトリ中心型学習による小規模リポジトリ専門家の構築 [cs.LG, cs.AI, cs.CL, cs.SE]目的：小規模言語モデルにおけるリポジトリ特化型知識獲得
- プライバシー保護やリソース制約のある環境でコーディングエージェントの利用が進み，高性能な小規模言語モデルが求められている。
- 既存の小規模言語モデルは，複雑で未知のコードベースへの汎化能力が低いという課題がある。
- リポジトリ中心型学習を通じて，モデルが特定のソフトウェア環境の特性を内部化し，効率的な推論を可能にすること。
- リポジトリ中心型学習は，タスク中心型学習と比較して，より高い学習効率と低い推論コストを実現することが示された。
- SWE-Spot-4Bは，既存のオープンウェイトモデルや商用モデルを凌駕する性能を示し，スケーリングの従来の傾向を覆した。
- リポジトリの専門知識は，一般的なコーディング能力を補完する，効率的な知能構築における重要な要素であることが強調された。
AI がもたらすレモンの市場：AI システムの能力に関する情報の非対称性が市場結果と採用に及ぼす影響 [cs.HC, cs.AI]目的：AI システムの能力に関する情報の非対称性と開示設計が，AI システムのユーザー採用に与える影響の解明
- AI 技術の急速な発展は，社会の様々な領域に大きな変革をもたらす可能性を秘めている
- AI システムの複雑さから，品質や性能に関する情報の非対称性が存在し，市場の効率性を阻害する
- 情報の非対称性を解消し，AI システムの適切な採用を促進するための開示設計の有効性を検証する
- AI 市場における情報の非対称性は，AI システムの採用を阻害する要因であることが実験的に示された
- 部分的な情報開示設計は，人間の意思決定の効率性を向上させる可能性が示唆された
- 低品質な AI システムの存在密度が高い場合，情報の非対称性の影響はより顕著になることが確認された
ゲージ不変な表現ホロノミー [cs.LG, cs.AI]目的：表現の経路依存性評価
- 深層学習モデルの汎化性能や頑健性は，学習された表現の幾何学的構造に依存する。
- 既存の類似度指標は活性化の点ごとの重複しか捉えられず，経路に沿った変化を見逃す。
- 表現の「ねじれ」を定量化し，モデル間の隠れた幾何学的構造の違いを検出する。
- 表現ホロノミーは，入力空間内の小さなループに沿って特徴量を平行移動させた際に蓄積される「ねじれ」を測る。
- この指標は，CKAなどの指標で類似しているモデルでも，摂動や敵対的攻撃に対する応答の違いを検出できる。
- 表現ホロノミーは，学習の動態を追跡し，特徴量の形成と安定化を反映することが示された。
ScholarGym：学術文献検索における深層研究ワークフローのベンチマーク [cs.AI]目的：学術文献検索における深層研究ワークフローの評価
- 研究活動において，大規模言語モデルを活用した情報収集の重要性が増している
- APIの変動により，ワークフローの再現性やシステム間の比較が困難である
- 再現性のある環境下で，深層研究ワークフローの各段階を詳細に分析すること
- ScholarGymは，57万件の論文から構成される静的なコーパスを用いて，再現性のある評価環境を提供する
- 2,536件のクエリと専門家による正解データを提供し，詳細な分析を可能にする
- 実験により，推論能力，計画戦略，選択メカニズムが反復的な改善にどのように影響するかを明らかにした
TabClustPFN：テーブルデータクラスタリングのための事前学習済みネットワーク [cs.LG]目的：テーブルデータのクラスタリング
- テーブルデータの解析は重要であり，多様な分野で活用されている。
- 既存手法では，データの種類や生成過程が異なると性能が低下しやすい。
- 事前学習によって汎化性能を高め，データ特化的な調整を不要にすること。
- TabClustPFNは，事前学習済みネットワークを用いて，テーブルデータのクラスタリングを行う。
- クラスタ数や割り当てを同時に推論し，データセット固有の再学習やハイパーパラメータ調整を必要としない。
- 実データや合成データでの実験により，既存手法を上回る性能とロバスト性が確認された。
事前学習済みVLMにおけるリーマン流体マッチングによる認識的不確実性の定量化 [cs.LG]目的：認識的不確実性の定量化
- 視覚と言語を扱うモデルは応用範囲が広く，その信頼性確保が重要である。
- 既存のVLMは決定論的であり，自身の知識不足を示す不確実性を評価できない。
- 埋め込み空間の密度を用いて不確実性を推定し，予測誤差との相関を高める。
- 提案手法REPVLMは，VLM埋め込みの双曲型多様体上でリーマン流体マッチングを用いて確率密度を計算する。
- 実験結果から，REPVLMは不確実性と予測誤差の間にほぼ完全な相関関係があることが示された。
- また，分布外検出やデータキュレーションへの応用も可能であることが示された。
SENDAI：階層型疎測定，効率的なデータ同化フレームワーク [cs.LG, cs.AI, cs.CE]目的：時空間場再構成における課題解決
- 環境変動のモニタリングや予測には，広範囲な時空間データの再構成が不可欠である。
- 観測データが不足している場合や，学習データと異なる条件下では，高精度な再構成が困難である。
- 疎な観測データから高精度に時空間場を再構成し，実運用における課題を克服することを目指す。
- SENDAIは，シミュレーションによる事前知識と学習された差異補正を組み合わせることで，極めて少ないセンサー観測から空間状態を再構成する。
- 衛星リモートセンシングのデータを用いて検証した結果，既存手法と比較して最大185%のSSIM改善を達成した。
- 地形の境界線や亜季節変動が明確な地域において特に効果が高く，再構成された場は下流推論に適している。
SONIC-O1：オーディオ・ビデオ理解におけるマルチモーダル大規模言語モデルの評価のための現実世界ベンチマーク [cs.CL, cs.AI, cs.CV]目的：マルチモーダル大規模言語モデルのオーディオ・ビデオ理解能力の評価
- 近年のAI研究において，マルチモーダル大規模言語モデルが注目を集めている。
- 既存研究は静止画理解に偏っており，時系列オーディオ・ビデオデータ処理能力の評価が不十分である。
- 現実世界環境下でのマルチモーダル大規模言語モデルの性能を系統的に評価する高品質なベンチマークを提供する。
- 新たに開発されたベンチマーク「SONIC-O1」は，13の現実世界における会話ドメイン，4,958件のアノテーションを含む。
- モデルの質問応答精度はモデルの種類間でそれほど差はなかったが，時間的局所化性能には22.6%の大きな差が確認された。
- 性能はデモグラフィックグループ間でばらつきが見られ，モデルの行動における不均衡が示唆された。
強化学習における期待収益が結果レベルのモード崩壊を引き起こす原因と，逆確率スケーリングによる修正方法 [cs.LG, cs.AI]目的：強化学習における結果レベルのモード崩壊とその解決策
- 強化学習は，多様なタスクに応用可能であり，AIの自律性を高める上で重要な技術である。
- 多くの強化学習問題において，複数の同程度の品質の終端状態が存在するにも関わらず，ポリシーがそれらのごく一部に収束してしまう。
- 期待収益最大化の構造的な欠陥を修正し，多様な終端状態を網羅するポリシー学習を可能にすること。
- 期待収益の目標自体が結果レベルのモード崩壊の構造的な原因であることが示された。
- 逆確率スケーリングを導入することで，学習信号から結果の頻度による増幅が除去され，終端状態の分布が報酬に比例するようになる。
- 提案手法IPS-GRPOは，既存手法と同等またはそれ以上の性能を維持しつつ，モード崩壊を効果的に抑制することが確認された。
勾配最適化だけでは不十分：マルチモーダル学習のための分散・アンカー幾何学的正則化 [cs.CV, cs.LG]目的：マルチモーダル学習における表現構造の改善
- 異種モダリティ情報を統合し，よりロバストなモデル構築に貢献する分野である。
- マルチモーダルモデルは，表現の崩壊やモダリティ間不整合といった幾何学的な問題を抱える。
- 表現の幾何学構造を制御することで，モダリティ間のトレードオフを軽減することを目指す。
- 提案手法は，表現の多様性を促進する分散正則化と，モダリティ間ずれを抑制するアンカー正則化を組み合わせる。
- 本手法は，アーキテクチャ変更なしに様々な学習パラダイムに適用可能である。
- 複数のマルチモーダルベンチマークで，マルチモーダルおよびユニモーダル性能の向上が確認された。
LLM4Fluid：流体ダイナミクスの汎用ニューラルソルバーとしての大規模言語モデル [cs.LG, physics.flu-dyn]目的：流体ダイナミクスの汎用的なニューラルソルバー
- 流体解析は科学技術の根幹であり，精密なシミュレーションが不可欠である。
- 既存手法は未知の条件下への汎化性能が低く，新たな状況への適用には再学習が必要となる。
- 本研究は，再学習なしに様々な流体現象を予測可能な汎用ソルバーを構築することを目指す。
- LLM4Fluidは，物理量の情報をコンパクトな潜在空間に圧縮することで，空間的な特徴の絡み合いを軽減する。
- 事前学習済みのLLMを時間的な処理器として利用し，時系列プロンプトにより物理量の時間発展を予測する。
- モダリティアライメント戦略により，プロンプトと物理量シーケンス間のギャップを埋め，予測精度と長期予測の安定性を向上させる。
FIT：継続的LLMアンラーニングにおける破滅的忘却への抵抗 [cs.CL, cs.AI, cs.CR, cs.LG]目的：継続的なLLMアンラーニングの課題に対する解決策
- LLMは多様なタスクで高い能力を示す一方，プライバシーや著作権の問題が懸念される。
- 既存のアンラーニング手法は，大量の削除要求への対応と，それによる性能劣化を考慮していない。
- 本研究は，破滅的忘却と性能回復を防ぎながら，大量の削除要求に対応するフレームワークを提案する。
- 提案手法\fitは，厳格なフィルタリング，重要度を考慮した更新，ターゲット層の帰属付けにより，性能劣化を軽減する。
- 評価ベンチマーク\textbf{PCH}を用いて，個人情報，著作権，有害コンテンツの順次削除シナリオで\fitの有効性を検証した。
- \fitは，既存手法を上回り，MMLU，CommonsenseQA，GSM8K等のタスクで高い性能を維持し，再学習や量子化攻撃にも耐性がある。
局所学習は自己教師あり逆伝播に匹敵するか？ [cs.LG]目的：深層ニューラルネットワークにおける表現学習の理論的比較と性能向上
- AIシステムの学習において，自己教師あり学習の重要性が増しており，効率的な学習手法が求められている。
- 局所的な自己教師あり学習は，表現学習においてグローバルな逆伝播に劣るという課題があった。
- 局所学習規則が逆伝播と同等の学習を実現する条件を明らかにし，性能を向上させることを目指す。
- 線形ネットワークにおいて，特定の条件下で局所学習規則が逆伝播と等価な重み更新を実現できることを理論的に示した。
- 非線形畳み込みニューラルネットワークにおいて，局所学習規則の改良により，逆伝播に近い性能が得られた。
- CLAPP損失関数を用いた局所学習規則は，逆伝播と同等の性能を示し，既存の局所学習手法を上回った。
ロールアウトを無駄にするな：効率的なテスト時スケーリングのための探索経験の再利用 [cs.CL, cs.LG]目的：テスト時スケーリングにおける探索経験の再利用
- 大規模言語モデルの推論能力向上は重要であり，計算資源の効率的な利用が求められている。
- 既存の探索戦略はロールアウトを使い捨てサンプルとみなし，計算資源の無駄が生じている。
- 探索過程で得られた中間的な知見を再利用し，冗長な計算を削減することを目指す。
- 提案手法RSEは，テスト時探索を累積的なプロセスに変え，中間的な結論や失敗パターンを再利用する。
- 理論的分析により，RSEが独立サンプリングよりも効率的であることが示された。
- HMMT24，HMMT25，IMO-Bench，HLEの実験で，RSEは既存手法を凌駕するスケーリング効率を達成した。
Stiefel多様体を用いたKVキャッシュ低ランク近似学習 [cs.LG]目的：KVキャッシュ圧縮手法の開発
- 大規模言語モデルの高速化にはKVキャッシュが重要だが，メモリ容量と帯域幅が課題となる。
- 既存手法は間接的な目的関数を用いるため，最終的な性能との乖離が生じやすい。
- 復元誤差を直接最小化し，層ごとに適切なランクを割り当てることで，性能低下を抑制する。
- 提案手法StiefAttentionは，Llama3-8Bにおいて，EigenAttentionをC4 perplexityで11.9ポイント，0-shot MMLU精度で5.4%上回る結果を得た。
- StiefAttentionは，元のデコーダー層出力との相対誤差を低減し，コサイン類似度を向上させた。
- 層ごとのエラーランクプロファイルを事前に計算することで，柔軟なランク割り当てを実現した。
XFACTORS：コントラスト学習による情報ボトルネックの分離 [cs.LG, cs.AI]目的：独立した変動要因と表現の独立した構成要素とのマッピング
- データから有用な特徴量を抽出することは，機械学習の性能向上に不可欠である。
- 実データにおいて，潜在的な要因を完全に分離することは困難である。
- 弱学習を用いて，指定された要因の制御を可能にする表現学習を行う。
- 提案手法XFACTORSは，複数のデータセットで最先端の分離スコアを達成した。
- 潜在空間の置換により，制御された要因の入れ替えが可能であることを示した。
- 手法は潜在容量の増加に正しくスケールし，CelebAデータセットでも評価された。
モデルマージの理解：異種エキスパートのための統一的な汎化フレームワーク [cs.LG]目的：異種ファインチューニングされたモデルから能力を集約するモデルマージの汎化性
- 大規模言語モデルの性能向上には，様々な専門知識を持つモデルの活用が不可欠である。
- 異なるハイパーパラメータでファインチューニングされたモデルを統合する際の理論的根拠が不足している。
- マージに適したモデルを構築するための具体的な指針を提供し，モデルマージの効率化を目指す。
- モデルマージの有効性を説明する統一的な理論的枠組みが提示され，既存のマージアルゴリズムが特定の項を最適化することが示された。
- 異種ハイパーパラメータ環境下における$L_2$-安定性理論に基づき，マージされたモデルの汎化性を分析した。
- ファインチューニング戦略に関する実用的な推奨事項を提案し，マージに適したモデル構築を可能にした。
TCAP：MLLMファインチューニングにおける教師なしバックドア検知のための三成分アテンションプロファイリング [cs.AI]目的：MLLMのファインチューニングにおけるバックドア検知
- MLLMの利用拡大に伴い，そのセキュリティ確保が重要となっている。
- ファインチューニング時の悪意のあるデータによるバックドア攻撃が課題である。
- 多様なトリガーとモダリティに対応可能なバックドア検知手法の開発。
- 本研究では，バックドア攻撃によりアテンション分布がシステム指示，視覚入力，ユーザークエリの三要素間で不均衡になることを発見した。
- この知見に基づき，教師なしでバックドアサンプルをフィルタリングするTCAPを提案した。
- TCAPは，様々なMLLMアーキテクチャと攻撃手法に対して，高い防御性能を発揮することが示された。
LLM事前学習におけるカリキュラム学習：学習ダイナミクスの分析 [cs.LG, cs.AI]目的：LLMの事前学習におけるカリキュラム学習の効果の検証
- 大規模言語モデルの性能向上は，自然言語処理の発展に不可欠である。
- 事前学習データの並び順が学習に影響を与えるものの，そのメカニズムは不明確である。
- 事前学習データの並び順を最適化することで，学習の安定化と性能向上を目指す。
- カリキュラム学習は，学習の潜在的な段階を変化させるのではなく，段階内のデータ露出を変化させる。
- 小規模モデルでは，カリキュラム学習は勾配ノイズを低減し，出力ヘッドのスペクトル飽和を抑制する。
- 大規模モデルでは，カリキュラム学習の効果は小さくなる傾向がある。
オントロジー誘導型マルチエージェント推論による文化に合致したLLMの実現 [cs.CL, cs.CL, cs.AI, cs.IR, cs.MA, cs.SI]目的：文化に合致したLLMの実現
- グローバル化が進む中で，文化的多様性を考慮したAIの重要性が高まっている。
- LLMの事前学習データに偏りがあり，価値観の構造化表現が欠如している点が課題。
- LLMの文化的な適合性と解釈可能性を向上させることを目指す。
- 提案手法OG-MARは，世界価値観調査(WVS)から個人の価値観を抽出し，文化オントロジーを構築する。
- 推論時にオントロジーと一致する関係と類似した属性を持つプロファイルを検索し，価値観に基づいたエージェントを生成する。
- 実験の結果，OG-MARは既存手法と比較して文化的な適合性とロバスト性を向上させ，透明性の高い推論経路を提供する。
忘却の先へ：機械アンラーニングが制御可能な副次的な行動と能力を引き出す [cs.NI, cs.LG, cs.CL]目的：機械アンラーニングにおける，高レベル概念に対応する一次元表現の操作による制御可能な副次的な行動と能力の解明
- 大規模言語モデルの性能向上に伴い，特定の情報を削除する技術の重要性が増している。
- 既存のアンラーニング手法では，意図しない副作用や能力の低下が懸念されている。
- アンラーニングが引き起こす副次的な行動や能力の変化を制御し，潜在的なリスクと活用を評価する。
- 機械アンラーニングは，忘却だけでなく，モデルの真偽，感情，拒否といった行動を制御できる可能性が示された。
- アンラーニングによって，モデルの文脈内学習能力が向上するなどの，能力強化も確認された。
- この現象は，悪用されればリスクとなる一方で，より強力で制御可能なモデル開発のメカニズムとしても活用できる。
SmartMeterFM：フローマッチングモデルを用いたスマートメーターデータ生成タスクの統合 [cs.LG, cs.SY, eess.SY]目的：スマートメーターデータ生成タスクの統合
- 配電網の計画・運用にはスマートメーターデータが不可欠である。
- プライバシー規制やセンサー故障等により，利用可能なデータが限られる場合がある。
- 多様な生成タスクを単一モデルで効率的に解決することを目指す。
- フローマッチングモデルを用いて，複数のスマートメーターデータ生成タスクを統合する新しいアプローチを提案した。
- 提案手法は，部分的観測データを生成プロセスに注入することで，補完や超解像タスクを単一モデルで実現する。
- 生成されたデータは現実的かつ一貫性があり，既存の機械学習ベースラインよりも優れた性能を示した。
Transformerにおけるネイティブな並行読解のモデル化：FBS [cs.AI, cs.CL]目的：Transformerにおけるネイティブな並行読解のモデリング
- 大規模言語モデルの性能向上は重要だが，推論速度が課題となっている。
- 従来の高速化手法は，人間の読解プロセスを十分に反映していない。
- 人間の読解特性を模倣し，効率的な推論を実現するモデルを開発する。
- 提案手法FBSは，Transformerに学習可能なループを導入することで，性能と効率のトレードオフを改善した。
- Parafovea-Attention Window，Chunk-Head，Skip-Gateの3つのモジュールが相互補完的に機能することが示された。
- パラメータ数を増加させることなく，多様なベンチマークで性能向上が確認された。
TACLer: 効率的な推論のためのテーラーメイドカリキュラム強化学習 [cs.CL, cs.CL, cs.AI]目的：効率的な推論のための強化学習フレームワーク
- 大規模言語モデルは複雑な推論において高い性能を示すが，学習コストが大きい。
- 長大な思考連鎖(CoT)は冗長な中間ステップを生み，過剰な思考に陥りやすい。
- モデルの習熟度に応じてデータ複雑度を段階的に上げることで，学習効率の向上を目指す。
- TACLerは，従来の長大な思考モデルと比較して，学習計算コストを50%以上削減する。
- 推論時のトークン使用量をベースモデルに対して42%以上削減することに成功した。
- ベースモデルと比較して，4つの数学データセットで9%以上の精度向上を実現した。
布操作学習における知覚と推論の分離：データ効率の向上 [cs.RO, cs.RO, cs.AI]目的：布操作学習におけるデータ効率の向上
- 日常生活において布操作は不可欠だが，ロボット工学においては未解決の課題である。
- 高次元の状態空間，複雑な力学，自己遮蔽の問題が，布操作のポリシー開発を困難にしている。
- シミュレーション環境での学習効率を高め，実世界への転送を可能にすることを目指す。
- 知覚と推論を分離することで，モデルサイズと学習時間を大幅に削減できることを示した。
- シミュレーションで学習したモデルは，実世界に効果的に転送可能であることを実証した。
- SoftGymベンチマークにおいて，既存手法と比較して著しい性能向上が確認された。
E-mem：LLMエージェントメモリのためのマルチエージェントベースのエピソード的文脈再構築 [cs.AI]目的：LLMエージェントのメモリにおけるエピソード的文脈再構築
- LLMエージェントがSystem 2思考を発揮するには，長期にわたる厳密な論理的整合性が不可欠である。
- 従来のメモリ前処理法は文脈を破壊し，深い推論に必要な整合性を損なうという課題がある。
- E-memは，メモリ前処理からエピソード的文脈再構築への移行を目指し，論理的整合性を維持する。
- E-memは，複数のアシスタントエージェントが非圧縮の文脈を維持し，マスターエージェントが全体を調整する異種階層型アーキテクチャを採用している。
- LoCoMoベンチマークにおいて，E-memはF1スコアで最先端のGAMを7.75%上回り，54%以上のF1スコアを達成した。
- E-memは，トークンコストを70%以上削減しながら，高い性能を実現している。
DreamActor-M2：空間時間的文脈学習による汎用的なキャラクター画像アニメーション [cs.CV, cs.AI]目的：キャラクター画像のアニメーション手法
- キャラクターアニメーションは，現実世界の表現力を高める上で不可欠であり，映像制作等の分野で需要が高まっている。
- 既存手法は，キャラクターの同一性と動きの一貫性の両立が難しく，また，人体以外のキャラクターへの汎化性能が低いという課題がある。
- 本研究では，文脈学習を用いて，これらの課題を克服し，多様なキャラクターと動きに対応可能な汎用的なアニメーション手法を開発する。
- DreamActor-M2は，参照画像と動きの情報を統合することで，空間的な同一性と時間的なダイナミクスの両方を考慮したアニメーションを実現した。
- 自己ブートストラップによるデータ合成パイプラインを導入し，ポーズ依存の制御から直接的なRGB駆動アニメーションへのスムーズな移行を可能にした。
- 多様なキャラクタータイプと動きに対応したベンチマークAW Benchを開発し，最先端の性能を達成した。
予測逆ダイナミクスが行動模倣を上回る状況はいつか [cs.LG, cs.AI]目的：予測逆ダイナミクスモデルと行動模倣の性能比較
- ロボット制御や強化学習において，人間の行動を模倣する技術は重要である。
- 行動模倣は，専門家のデータが不足している場合に性能が低下しやすい。
- 予測逆ダイナミクスモデルが行動模倣を上回る理由を理論的に解明し，その条件を明らかにする。
- 予測逆ダイナミクスモデルは，将来状態の予測にバイアスを導入する一方，逆ダイナミクスモデルの分散を低減する。
- 状態予測子のバイアスに関する条件の下で，予測誤差とサンプル効率において，予測逆ダイナミクスモデルが行動模倣よりも優れていることが示された。
- 2Dナビゲーションや3Dゲーム環境における実験で，予測逆ダイナミクスモデルが行動模倣よりも少ないデータで同等の性能を達成することが確認された。
LoRAとプライバシー：ランダム射影が役立つ場合とそうでない場合 [cs.LG, stat.ML]目的：差分プライバシーの性質
- 機械学習モデルのプライバシー保護は，個人情報保護の観点から重要である。
- 既存手法では，プライバシー保護とモデルの精度維持が難しい場合がある。
- ランダム射影によるプライバシー保護の限界と可能性を明らかにすること。
- Wishart射影機構は，ベクトル値クエリに対して，付加的なノイズなしで差分プライバシーを保証する。
- 行列値クエリの場合，ノイズなしでは差分プライバシーを保証できず，メンバーシップ推論攻撃に脆弱である。
- LoRAのような低ランク更新は，完全なファインチューニングよりもプライバシー保護効果が高い可能性がある。
グリーンウォッシング検出のための言語モデルの強化 [cs.CL, cs.AI]目的：グリーンウォッシングの堅牢な検出
- ESG評価において，サステナビリティ報告書は不可欠であり，その信頼性が重要である。
- 既存の自然言語処理モデルは，グリーンウォッシングや曖昧な表現への対応が弱く，汎化性能が低い。
- 曖昧な表現と具体的な行動の区別を捉え，堅牢なグリーンウォッシング検出を実現する。
- 提案手法は，コントラスト学習と順序ランキング目的を組み合わせることで，LLMの潜在空間を構造化する。
- ゲート付き特徴量変調により，開示情報のノイズをフィルタリングし，MetaGradNormで多目的最適化を安定化させる。
- クロスカテゴリ設定での実験により，標準的なベースラインと比較して堅牢性が向上することが示された。
手続き的事前学習：抽象データによる言語モデルのウォームアップ [cs.CL, cs.LG]目的：言語モデルの事前学習における抽象データの活用
- 大規模言語モデルは自然言語処理の基盤であり，その性能向上が重要である。
- 大規模データでの直接事前学習は計算コストが高く，効率性に課題がある。
- 抽象データによる事前学習で，効率的な知識獲得と性能向上を目指す。
- 手続き的データでの事前学習により，文脈想起タスクの精度が大幅に向上した。
- 事前学習データの一部を手続き的データに置き換えることで，より少ないデータ量で同等の性能を達成できることが示された。
- 手続き的事前学習は，言語モデルのAttention層とMLP層に構造を導入し，性能向上に貢献することが明らかになった。
DropoutTS：ロバストな時系列予測のためのサンプル適応型ドロップアウト [cs.AI]目的：時系列予測におけるロバスト性向上
- 実世界データにはノイズが多く含まれるため，ロバストな予測手法が重要である。
- 既存手法はデータ削除か事前ノイズ定量に依存し，効率と効果のバランスが課題である。
- 本研究は，サンプルごとのノイズに対応し，効率的に学習能力を調整することを目指す。
- DropoutTSは，再構成残差からインスタンスレベルのノイズを効率的に定量化する。
- ノイズを適応的なドロップアウト率にマッピングし，不要な変動を抑制しながら微細な情報を保持する。
- 多様なノイズ条件下で優れた性能を示し，パラメータ増加や構造変更は不要である。
事前データ適合型ネットワークによる償却スペクトルカーネルの発見 [cs.LG]目的：事前データ適合型ネットワークから償却スペクトルカーネルを発見する手法
- 機械学習モデルの効率的な推論が求められている。特に，事前分布の利用は重要である。
- 事前データ適合型ネットワークは効率的だが，学習された事前分布やカーネルが不透明である。
- 事前データ適合型ネットワークの透明性を高め，明示的な共分散モデルを提供する。
- 事前学習済みの事前データ適合型ネットワークから，注意機構の潜在出力を介してスペクトル構造を特定した。
- 潜在変数を明示的なスペクトル密度推定値と，Bochnerの定理に基づく定常カーネルにマッピングするデコーダアーキテクチャを提案した。
- 提案手法は複雑な多峰スペクトル混合を復元し，Gaussian過程回帰において事前データ適合型ネットワークと同等の精度を，最適化ベースラインより高速に実現した。
RRAMベースのComputing-in-Memoryアクセラレータにおける混合精度トレーニングとコンパイル [cs.LG, cs.ET]目的：RRAMベースのComputing-in-Memoryアクセラレータにおける混合精度トレーニングとコンパイルの枠組み
- 機械学習の普及に伴い，計算負荷が増大しており，効率的なハードウェアアクセラレーションが不可欠である。
- 既存のComputing-in-Memoryコンパイラは，8ビット以下の量子化に対応しておらず，計算効率が低い。
- 低ビット量子化に対応することで，メモリ使用量を削減し，計算速度を向上させることを目指す。
- 提案手法は，既存の最先端ソリューションと比較して，最大2.48倍の高速化を達成した。
- 精度損失はわずか0.086％に抑えられ，実用的な性能を示す。
- 強化学習ベースの戦略により，遅延と精度のバランスが取れた量子化設定を効率的に探索できる。
グローバルからグラニュラーへ：相関表面によるIQAモデル性能の解明 [cs.CV, cs.AI]目的：IQAモデルの性能分析手法の開発
- 画像品質評価は，画像処理やコンピュータビジョンの重要な要素であり，様々な応用分野で利用されている。
- 既存の評価指標は，全体的な相関のみに着目し，局所的な品質範囲における性能の変化を捉えられない。
- 局所的な品質範囲における性能評価を可能にし，より詳細なモデル分析を実現すること。
- 提案手法GMCは，MOS値とMOS差分を条件とした相関を計算することで，IQAモデルの局所的な性能変動を可視化する。
- GMCは，既存の指標では捉えきれない，モデル間の補完的な振る舞いを明らかにすることが示された。
- 分布調整機構により，品質分布の偏りによる影響を軽減し，より安定した評価を可能にする。
Adamが$\beta_1 = \beta_2$でより良く機能する理由：欠けていた勾配スケール不変性原理 [cs.LG, cs.AI, stat.ML]目的：Adamの最適なパラメータ設定に関する理論的根拠の解明
- 深層学習モデルの学習において，最適化アルゴリズムの性能は極めて重要である。
- Adamのハイパーパラメータ$\beta_1$と$\beta_2$の最適な関係性が未だ解明されていなかった。
- $\beta_1 = \beta_2$ がAdamの性能向上に寄与する理由を，勾配スケール不変性の観点から説明すること。
- $\beta_1 = \beta_2$ の時，Adamは一次の勾配スケール不変性を持つことが証明された。
- この結果は，スケールロバストな更新を明示的に強制する最近の最適化手法と整合性がある。
- 実験により，$\beta_1 = \beta_2$ の場合，勾配のスケール変更が更新に与える影響がより滑らかであることが確認された。
エピステミックコンテキスト学習：LLMベースのマルチエージェントシステムにおける信頼構築の正しい方法 [cs.AI, cs.CL, cs.MA]目的：マルチエージェントシステムにおける信頼性評価と学習
- マルチエージェントシステムは，複雑な問題解決において重要な役割を果たす。
- エージェントは誤解を招くエージェントに盲従しやすく，頑健性に欠ける場合がある。
- 過去の相互作用履歴に基づいてエージェントの信頼性を評価し，学習を改善すること。
- 提案手法ECLは，比較的小規模なモデルでも，大規模モデルを凌駕する性能を示す。
- ECLは様々なマルチエージェント構成で有効に機能し，高い汎化性能を持つ。
- LLMは信頼性を適切にモデル化し，信頼性評価の精度と最終的な回答の品質に強い相関関係が認められる。
時間的敗血症モデリング：完全解釈可能な関係的アプローチ [cs.CL, cs.LG, cs.AI]目的：敗血症の時間的モデリングにおける解釈可能性と患者サブフェノタイプの考慮
- 集中治療における敗血症は複雑かつ多様であり，早期発見と適切な治療が重要である。
- 深層学習モデルは予測性能が高い一方，解釈性が低く，患者の多様性を捉えきれない。
- 解釈可能な特徴量を構築し，関係的アプローチを用いて敗血症予測の精度と解釈性を向上させる。
- 提案手法は，患者の電子カルテデータを関係的データスキーマで表現し，解釈可能な特徴量を生成する。
- 生成された特徴量を用いて選択的ナイーブベイズ分類器で分類を行い，高い予測性能と解釈性を示した。
- 解釈性は，単変量，全体，局所，反事実の4つの側面から検証され，有用性が確認された。
FISMO：Fisher情報に基づく構造化モーメンタム・直交化オプティマイザ [cs.LG]目的：大規模ニューラルネットワークの最適化における効率と収束性の向上
- 深層学習では，最適化手法の選択が収束速度や計算コストに大きく影響する。
- Adam等の適応的最適化手法が主流だが，Muonのように厳格な等方性を持つ手法では情報が失われる可能性がある。
- Fisher情報幾何学に基づき，局所的な損失関数の形状に適応する効率的な最適化手法を開発する。
- FISMOは，Kronecker積を用いたFisher情報行列によって構造化された事前条件付けを実現し，計算量を抑えつつ適応的な学習を可能にする。
- 確率的非凸設定下におけるFISMOの収束性が理論的に保証され，ミニバッチ学習による分散の低減効果が明確化された。
- 画像分類や言語モデリングのベンチマークにおいて，FISMOは既存の手法と比較して，学習効率と最終的な性能が向上した。
言語ベースの試行錯誤は経験の時代に取り残される [eess.SY, cs.SY, cs.AI]目的：LLMにおける，未学習の非言語的環境での性能限界の克服
- LLMは言語タスクに優れるが，現実世界への応用には環境適応が不可欠である。
- LLMは試行錯誤のコストが高く，非言語的環境での学習が困難である。
- LLMの探索効率を改善し，少ない計算資源で環境学習を可能にすること。
- SCOUTフレームワークを提案し，軽量な「偵察兵」で環境を探索，LLMの学習を支援する。
- Qwen2.5-3B-InstructモデルがGemini-2.5-Proを含む既存モデルを凌駕する性能を実現した。
- GPU時間消費を約60%削減し，計算効率の向上を示した。
混合ワークロード向けLLM推論のための適応型スケジューラ：ハイブリッドパーティショニングによるEWSJF [cs.DC, cs.AI]目的：LLM推論における混合ワークロードの効率的なスケジューリング
- 大規模言語モデルの利用拡大に伴い，効率的な推論基盤の重要性が高まっている。
- 従来のスケジューリング手法では，待ち行列による遅延が発生し，ハードウェアの利用効率が低下する。
- リアルタイムなワークロード分析に基づき，公平性とスループットを向上させる新しいスケジューリング手法の確立。
- EWSJFは，リアルタイムなワークロード構造学習により，公平性とスループットを向上させる適応型リクエストレベルスケジューラである。
- vLLMへの実装により，EWSJFはFCFSと比較して，エンドツーエンドのスループットを30%以上向上させ，短いリクエストのTime-To-First-Tokenを最大4倍に短縮した。
- これらの結果から，学習に基づいた適応型リクエストスケジューリングが，効率的で応答性の高いLLMサービスの重要な要素であることが示唆される。
拡散事後サンプリングによるゼロショット統計的ダウンスケーリング [cs.IR, cs.CL, cs.AI]目的：ゼロショット統計的ダウンスケーリング手法
- 気候変動予測において，地域スケールの詳細な予測が不可欠である。
- 既存のダウンスケーリング手法は，GCM間のドメインギャップが課題である。
- GCM間の汎化性能を高め，物理的に整合性の高いダウンスケーリングを実現する。
- ZSSDは，ペアデータなしで統計的ダウンスケーリングを実現する新しいフレームワークである。
- 物理整合性を考慮した気候事前分布と，統一座標ガイダンスにより，頑健な推論が可能となる。
- 実験結果から，ZSSDは既存のゼロショット手法を大幅に上回り，複雑な気象現象の再現に成功した。
CoFrGeNet：言語生成のための連分数アーキテクチャ [cs.CL, cs.AI]目的：言語生成のための新たな関数クラスおよびアーキテクチャ
- 言語生成モデルは自然言語処理において重要な役割を担い，その性能向上は喫緊の課題である。
- Transformerモデルは高性能だが，パラメータ数が多く計算コストが高いという課題がある。
- 連分数に基づく新たなアーキテクチャで，Transformerの性能を維持しつつパラメータ数を削減すること。
- CoFrGeNetはTransformerのMulti-head AttentionやFeed-Forward Networkを代替可能であり，パラメータ数を大幅に削減できる。
- GPT2-xlとLlama3を用いた実験で，CoFrGeNetはオリジナルモデルと同等かそれ以上の性能を示した。
- CoFrGeNetは，パラメータ数を1/2から2/3に削減し，学習時間も短縮できる可能性を示した。
概念空間における抽象概念モデリング：チェスの戦略に関する研究 [cs.CL, cs.CL, cs.IR, cs.AI]目的：抽象概念のモデリング
- 認知科学において，抽象概念の理解は，知能の根幹に関わる重要な課題である。
- 時間的展開を伴う抽象概念の定量的表現が困難であり，戦略などの理解を妨げている。
- チェスの戦略を例に，時間的変化を考慮した抽象概念のモデリング手法を提案し，概念認識の可能性を示す。
- 戦略概念を解釈可能な質次元を持つ幾何学的領域として表現することで，チェスの局面遷移を戦略意図の認識へと結び付けることを示した。
- 同じ局面を異なる視点からモデル化する双方向モデリングの可能性を示し，プレイヤーの解釈の違いを捉える枠組みを提示した。
- 本研究は，時間的変化を伴う目標指向的な概念を概念空間理論に拡張する基盤を確立し，知識進化メカニズムとの統合への道を開く。
微分可能なナップサックとTop-k演算子：動的計画法によるアプローチ [cs.RO, cs.LG]目的：ナップサック問題とTop-k演算子の微分可能化
- 離散変数の部分集合選択は，様々な機械学習タスクで重要である。
- 従来のナップサックやTop-k演算子は不連続であり，勾配消失の問題が生じやすい。
- 動的計画法を用いてこれらの演算子を滑らかにし，微分可能な近似を導くことを目指す。
- 提案手法は，決定に焦点を当てた学習ベンチマーク，制約付き動的アソートメント強化学習，離散VAEの拡張において有効性を示した。
- シャノンエントロピーが，置換不変性を満たす唯一の正則化項であることが理論的に証明された。
- 効率的な並列アルゴリズムにより，決定論的および確率的なフォワードパス，ベクトルヤコビアン積をサポートする。
連続制御におけるANN-SNN変換の誤差増幅限界 [cs.NE, cs.LG]目的：人工ニューラルネットワーク（ANN）からスパイクニューラルネットワーク（SNN）への変換における誤差増幅の限界
- 強化学習では環境とのインタラクションによる学習コストが高い。SNN変換は，学習コストを削減する有望な手法である。
- 連続制御タスクにおいて，既存の変換手法は性能が低い。適切な比較対象が少ないことが課題である。
- 誤差増幅を抑制することで，連続制御におけるANN-SNN変換の性能劣化を改善することを目指す。
- 提案手法であるCross-Step Residual Potential Initialization (CRPI)は，誤差の時系列的な相関を抑制する。
- CRPIを既存の変換パイプラインに統合することで，大幅な性能回復が確認された。
- 連続制御は，誤差が強く増幅され，性能に影響を与える，ANN-SNN変換の重要なベンチマークである。