arXiv雑要約
AI - 2026/03/02 公開
意味的並列性：モデルとデータ協調によるMoE推論効率の再定義 [cs.LG, cs.AI, cs.DC]目的：大規模MoEモデルの効率的な推論
- LLMの規模拡大に伴い，複数のデバイスでの並列推論が不可欠となっている。
- 既存手法では，デバイス間通信コストがボトルネックとなり，推論効率を阻害している。
- モデルとデータの配置を最適化し，デバイス間通信を最小化することで推論効率を向上させる。
- 提案手法「意味的並列性」は，モデルとデータの協調的なスケジューリングにより，デバイス間通信を大幅に削減する。
- 実験の結果，既存のソリューションと比較して，推論スループットが向上することが示された。
- オフライン/オンラインスケジューリング技術を組み合わせることで，高い効率を実現している。
t分布出力を持つ確率的ニューラルネットワーク：ガウス分布の仮定を超えた適応的予測区間 [cs.LG, stat.ML]目的：予測区間の構築
- 不確実性の定量化は，意思決定やリスク管理において重要である。
- 従来のニューラルネットワークは不確実性を捉えきれない。
- 非ガウスデータに対するロバスト性を向上させる。
- 提案手法TDistNNは，ガウス分布に基づくPNNと比較して，より狭い予測区間を維持しつつ適切なカバレッジを確保する。
- TDistNNは，位置，スケール，自由度のパラメータを持つt分布を出力することで，重い裾を持つ予測分布をモデル化する。
- t分布に基づく尤度関数をニューラルネットワークの学習に組み込み，効率的な勾配計算を実現した。
報酬モデルを良い教師たらしめるもの：最適化の視点 [cs.LG, cs.AI, cs.CL, stat.ML]目的：報酬モデルの質の評価基準
- 人間からのフィードバックを用いた強化学習（RLHF）の成功は，報酬モデルの質に大きく依存する。
- 報酬モデルの質は主に精度で評価されているが，精度だけでは効果的な教師であるかどうかは不明である。
- 報酬モデルの精度だけでなく，最適化効率を高めるための報酬分散の重要性を明らかにする。
- 報酬モデルの精度に関わらず，報酬分散が低いと，RLHFの目的関数は平坦な地形となり，最適化が遅くなる。
- 精度の高い報酬モデルであっても，分散が低い場合，精度が低いモデルよりも性能が劣る可能性がある。
- ある言語モデルに有効な報酬モデルが，別の言語モデルに対しては低い報酬分散を引き起こし，最適化を妨げる。
偏微分方程式求解における幾何学的汎化のための領域分解によるオペレーター学習 [cs.LG, cs.AI]目的：偏微分方程式を解くためのオペレーター学習手法
- 複雑な領域における関数空間間の写像を捉える能力から，偏微分方程式求解においてニューラルオペレーターの重要性が増している。
- ニューラルオペレーターはデータ集約的であり，新しい幾何形状への転移学習が困難であるという課題がある。
- 領域分解により，複雑な形状への汎化能力を高め，データ効率を改善することを目的とする。
- 提案手法は，領域を小さなサブドメインに分割し，それぞれのサブドメインでニューラルオペレーターを用いて局所問題を解くことで，全体解を構成する。
- 反復スキーム「Schwarz Neural Inference (SNI)」を考案し，収束率と誤差限界に関する理論的解析を行った。
- 多様な境界条件を持つ代表的な偏微分方程式に関する実験により，提案手法が既存手法と比較して優れた幾何学的汎化能力を示すことが確認された。
LLMを活用した階層型RANインテリジェント制御：O-RAN向け [cs.CL, cs.NI, cs.AI]目的：O-RANにおけるRIC間の協調性向上
- 無線アクセスネットワークの効率化が，通信品質向上やリソース最適化に不可欠である。
- 従来のRIC間連携の不足や，リアルタイム処理の限界が課題となっていた。
- LLMを活用し，RIC間の協調とリアルタイム性を両立することを目指す。
- LLM-hRICフレームワークは，グローバルなネットワーク情報に基づいて非リアルタイムRICが戦略的ガイダンスを提供し，ニアリアルタイムRICが局所データと組み合わせることで，より高度な意思決定を可能にする。
- 統合アクセス・バックホール（IAB）ネットワーク環境での評価により，LLM-hRICフレームワークの有効性と性能が確認された。
- O-RANにおけるLLM-hRICの更なる発展に向けた課題についても議論されている。
スパース性強制：MLLMのトークンスパース性の強化 [cs.LG]目的：MLLMにおけるトークンスパース性の向上
- 大規模言語モデルの計算コスト削減は，実用化に向けた重要な課題である。
- 既存手法では，スパース性を高めすぎると精度が低下しやすい。
- 入力と層の動的変化を考慮した，スパース性を直接制御する手法の確立。
- Sparsity Forcingにより，Qwen2-VL/Qwen2.5-VLにおいてトークン削減率が20\%から75\%に向上した。
- 推論に必要なメモリ使用量を最大3倍，デコーディング速度を最大3.3倍削減することに成功した。
- 精度低下は最小限に抑えられ，効率と精度のトレードオフを最適化した。
FineScope：SAE誘導データ選択によるドメイン特化LLMのプルーニングとファインチューニング [cs.RO, cs.CL, cs.AI]目的：ドメイン特化LLMの効率性とタスク性能の維持
- LLMの学習には莫大な計算資源が必要であり，効率的なモデルが求められている。
- 既存のLLMは，専門データセットで精度が低下する課題がある。
- SAEを活用し，ドメイン特化型データセットの選定による精度低下の抑制。
- FineScopeは，大規模LLMからのコンパクトなドメイン最適化LLMの抽出を実現した。
- SAEによるデータセット選定と構造化プルーニングにより，高い性能を達成した。
- SAE選定データを用いたファインチューニングは，元の性能を大幅に回復させることを示した。
荷物集配経路予測のための近接注意エンコーダとポインタネットワークデコーダ [cs.RO, cs.LG]目的：荷物集配経路予測における精度の向上
- 物流最適化において，ラストワンマイル配送とファーストマイル集配の効率化が重要である。
- 経路や時間予測の精度が不十分であり，変化する状況への対応が課題となっている。
- 集配位置間の関係性を活用し，より正確な経路予測を可能にすることを目指す。
- 提案手法は，実世界のデータセットLaDE (2024)において，既存の教師あり学習手法を上回る性能を示した。
- 多頭注意トランスフォーマーエンコーダと近接注意機構を組み合わせることで，包括的なモデル化を実現した。
- 強化学習フレームワークDRL4Route (2023)に対しても競争力のある性能を発揮した。
Apple：強化学習による汎用的な能動的知覚への試み [cs.RO, cs.LG]目的：能動的知覚のための強化学習フレームワーク
- 人間は不確実な環境で生きるため，能動的知覚は不可欠な能力である。
- 既存手法は特定のタスクに限定されるか，強い仮定が必要で汎用性に欠ける。
- 汎用的な能動的知覚フレームワークを構築し，様々な問題に対応することを目指す。
- 本研究では，Transformerベースの知覚モジュールと意思決定ポリシーを同時に学習するAPPLEを提案した。
- APPLEは特定のタスクに限定されず，幅広い能動的知覚問題に応用可能である。
- Tactile MNISTベンチマークを用いた実験により，回帰および分類タスクで高い精度を達成した。
正規化フローを用いた多様体学習：正則性，表現力，および等距リーマン幾何学に向けて [cs.LG, math.DG]目的：多様体学習における歪み軽減と正則化・表現力のバランス
- 機械学習において，高次元データは低次元多様体上に存在することが重要視されている。
- 現実世界の多峰性データにおいて，幾何構造の歪みやモデリング誤差が課題となっていた。
- 学習されたリーマン構造の等距化と，微分同相写像のパラメータ表現のバランス化を目指す。
- 提案手法は，合成データおよび実データを用いた数値実験で有効性が確認された。
- 多峰性データにおける歪み軽減と，正則化と表現力のバランスが実現された。
- 学習されたリーマン幾何構造を等距化することにより，より正確なデータ解析が可能となった。
特徴選択のための連続最適化：置換不変埋め込みとポリシー誘導探索 [cs.RO, cs.LG, cs.AI]目的：特徴選択における性能と計算効率の向上
- 機械学習の性能向上には，不要な特徴を削減し，重要な特徴に集中することが不可欠である。
- 既存手法では，複雑な特徴間の相互作用を捉えきれず，多様な状況への適応が困難である。
- 置換不変性を保ちつつ連続埋め込み空間で特徴部分集合を表現し，効率的な探索を実現する。
- 提案手法は，特徴部分集合の知識を連続埋め込み空間に保存し，特徴の順序の影響を排除する。
- ポリシーベースの強化学習により，凸性の仮定に依存せずに埋め込み空間を効果的に探索する。
- 実験結果から，提案手法の有効性，効率性，ロバスト性，および解釈可能性が示された。
計算量の増加は，ビジョン言語モデルにおける競合を解消する [cs.NE]目的：ビジョン言語モデルにおける認知制御のメカニズム解明
- 知的な行動の基礎となる認知制御は，AI研究において重要なテーマである。
- 既存のビジョン言語モデルでは，競合する情報源を効果的に調整する能力が不足している。
- 大規模モデルのパラメータ数増加が，認知制御能力向上に寄与するかどうかを検証する。
- ビジョン言語モデルは，全てのタスクにおいて整合性効果を示すことが確認された。
- 大規模モデルは，小規模モデルと比較して，競合をより効果的に解決することが示された。
- モデルのパラメータ数が増加するほど，人間の認知プロセスに類似した動的な変化が見られた。
ワークフローにおける公平性：大手テクノロジー企業におけるレコメンダーシステムの公平性への取り組み [cs.HC, cs.AI, cs.CY, cs.LG]目的：レコメンダーシステムにおける公平性への取り組みの実態
- レコメンダーシステムは広く利用され，社会に大きな影響を与える可能性があるため，公平性の確保は重要である。
- 学術的な公平性の理論を実際のシステムに適用するには，多くの課題が存在する。
- レコメンダーシステムのワークフローにおける公平性の組み込み方の課題を特定し，解決策を提示すること。
- 大規模テクノロジー企業におけるレコメンダーシステムの担当者のインタビュー調査から，ワークフローが明らかになった。
- 公平性の定義，利害関係者の調整，環境の変化への対応が，公平性組み込みの主要な課題として特定された。
- 公平性のための時間確保や，チーム間コミュニケーションの促進が組織全体の課題として示された。
異種グラフ学習におけるメッセージパッシングの強化：言語モデルを伝令として [cs.AI]目的：異種グラフ学習のための言語モデルを用いたメッセージパッシング手法
- グラフ構造データは，ソーシャルネットワーク等，多様な関係性を表現可能であり，その分析が重要視されている。
- 従来のGNNはノード表現に依存し，ノード特徴が異なる異種グラフにおいて性能が低下する課題がある。
- ノードのテキスト情報を活用し，異種グラフにおけるメッセージパッシングを改善することで性能向上を目指す。
- 提案手法LEMP4HGは，異種グラフにおいて最先端手法を安定して上回り，計算コストも現実的である。
- 言語モデルを活用し，ノードテキスト間の意味的関係からメッセージを生成することで，メッセージパッシングの質を向上させている。
- MVRDという選択的なメッセージ強化戦略により，計算効率を維持しつつ，重要なノードペアに焦点を当てている。
LLMベースの自律型ワークフローにおける性能予測のためのマルチビューエンコーダ [cs.LG, cs.AI]目的：LLMベースの自律型ワークフローの性能予測
- LLMは多様なタスクで高い能力を示すが，最適なシステム構築は困難である。
- 既存手法は探索コストが高く，必ずしも最適な設定を見つけられない。
- ワークフロー評価回数を減らしつつ，高い予測精度を実現する。
- Agentic Predictorは，コード構造，プロンプト，インタラクショングラフの特徴を考慮したマルチビューエンコーダを用いる。
- クロスドメインの教師なし事前学習により，予測精度を向上させ，評価回数を削減する。
- 3つのドメインにおける評価で，グラフベースのベースラインを上回る性能を示した。
反射を考慮したオンライン強化学習による効率的な推論 [cs.CL, cs.LG]目的：大規模推論モデルの効率的な推論
- 複雑なタスクにおいて，大規模推論モデルの性能は高いが，推論コストが課題となっている。
- 既存手法では，推論の短縮化に注力するが，オンライン利用に適した効率性が不足している。
- 推論能力を維持しつつ，オンライン学習において推論コストを削減することを目的とする。
- 提案手法REA-RLは，小規模な反射モデルを導入することで，オンライン学習における効率的なスケーリングを実現した。
- 反射報酬を用いることで，短く非反射的な応答を避け，性能を維持・向上させている。
- 推論コストを36%削減しつつ，性能を損なわないバランスを実現した。
事前信念を用いた逆最適化による徒弟学習 [cs.CL, cs.LG, math.OC]目的：事前信念を組み込んだ逆最適化フレームワークによる徒弟学習問題の定式化
- 強化学習は，自律エージェントの設計において重要な役割を果たす。最適な行動戦略を学習する上で不可欠である。
- 専門家の行動から報酬関数を推定する逆強化学習は，問題設定によっては解が一意に定まらないという課題がある。
- 事前信念を導入することで，報酬関数の推定の安定化を図り，より現実的な徒弟学習を実現する。
- 逆最適化と逆強化学習の関係性を再検討し，事前信念を組み込むことで徒弟学習の枠組みが導出されることを示した。
- 徒弟学習問題を正則化されたmin-max問題として定式化し，確率的ミラー降下法を用いて解くことを提案した。
- 数値実験により，正則化がコストベクトルと徒弟ポリシーの学習において重要な役割を果たすことを確認した。
集合集約関数と集合に対するニューラルネットワークのLipschitz連続性について [cs.CL, cs.LG]目的：集合または多重集合のデータに対するニューラルネットワークのLipschitz定数
- ニューラルネットワークの頑健性や汎化性能を評価する上で，Lipschitz定数は重要な指標である。
- 既存研究は主に多層パーセプトロンや畳み込みニューラルネットワークに焦点を当てていた。
- 集合データ処理における集約関数のLipschitz連続性を検証し，ニューラルネットワークのLipschitz定数の上限を導出する。
- 集約関数（和，平均，最大値）は，3つの多重集合距離関数のうち1つに対してのみLipschitz連続性を持つことが示された。
- Attention機構を用いた集約関数は，どの距離関数に対してもLipschitz連続性を持たないことが判明した。
- 多重集合のベクトルを処理できるニューラルネットワークのLipschitz定数の上限を導出し，摂動に対する安定性や分布シフト下での汎化性能を検討した。
ターゲットフリーとターゲットベース強化学習の性能差の解消 [cs.CL, cs.LG, cs.AI]目的：ターゲットフリー強化学習とターゲットベース強化学習の性能差の解消
- 強化学習は，複雑な問題を自動で解決する可能性を秘めており，様々な分野で注目されている。
- ターゲットベースの手法はメモリを多く消費し，学習の遅延を引き起こすという課題がある。
- メモリ効率を維持しつつ，ターゲットベース手法の利点を活かす新しい方法を提案する。
- 提案手法であるiS-QLは，ターゲットフリーとターゲットベースのアプローチ間の性能差を縮小することを示した。
- iS-QLは，単一のQネットワークを使用することで，リソース効率の良い強化学習アルゴリズムの実現に貢献する。
- 反復Q学習との組み合わせが，ターゲットフリー手法のサンプル効率を向上させることを明らかにした。
CoMind：機械学習エンジニアリングのためのコミュニティ駆動型エージェントへ [cs.AI, cs.LG]目的：機械学習エンジニアリングにおけるコミュニティからの知識活用
- 機械学習の進歩には，研究者コミュニティの知識共有が不可欠である。
- 既存のエージェントは孤立して動作し，コミュニティの知識を活用できていない。
- コミュニティの知識を体系的に活用するエージェントの開発。
- CoMindは，シミュレーションされたKaggleコミュニティから知識を活用する。
- 75の過去のKaggle競技会において，36%のメダル獲得率を達成した。
- 8つのライブ競技会において，92.6%の人間参加者よりも高いパフォーマンスを示した。
LiteReality：RGB-Dスキャンからのグラフィックス対応3Dシーン再構成 [eess.SY, cs.SI, cs.SY, cs.CV, cs.AI, cs.GR]目的：RGB-Dスキャンから，コンパクトで現実的かつインタラクティブな3D仮想レプリカの生成
- 現実世界の再現は，AR/VR，ゲーム，ロボティクス等の分野において，没入感やリアリティ向上に不可欠である。
- 既存手法では，スキャンデータから高品質な3Dモデルを生成することが難しく，グラフィックスパイプラインとの互換性が低い場合が多い。
- 現実と見分けがつかない，グラフィックスパイプラインに適した3Dシーンを効率的に生成し，様々な応用分野への展開を目指す。
- LiteRealityは，スキャンデータからシーンを理解し，構造化されたシーングラフを構築することで，高品質な3Dモデルの再構成を実現した。
- キュレーションされたアセットデータベースから，視覚的に最も類似した3Dモデルを取得し，Material Paintingモジュールで質感を高めることで，リアリティを向上させた。
- Scan2CADベンチマークにおいて最先端の類似性性能を達成し，誤った位置合わせやオクルージョン，低照度下でも外観を転送できるロバストなマテリアルペイントモジュールを導入した。
概念に基づく敵対的攻撃：確率的視点 [cs.CV, cs.AI]目的：概念に基づく敵対的攻撃フレームワーク
- 画像認識の安全性確保は重要であり，その脆弱性を理解することが不可欠である。
- 既存の敵対的攻撃は，単一の画像に限定され，多様性に欠ける場合がある。
- 概念を維持しつつ，多様な敵対的サンプルを生成する手法を確立すること。
- 本研究では，確率的視点に基づき，単一画像ではなく概念全体に着目した敵対的攻撃フレームワークを提案した。
- 概念を維持することで，敵対的画像が元のカテゴリとして識別可能であることを保証する。
- 理論的・実験的結果から，本手法はより多様な敵対的サンプルを生成し，高い攻撃効率を達成することが示された。
知識誘導機械学習：衛星画像におけるオーバーシューティングトップの特定への説明可能なブースティングマシン利用の例示 [cs.CV, cs.LG]目的：衛星画像におけるオーバーシューティングトップの特定
- 気象予測は公共の安全に不可欠であり，より正確な予測手法の確立が求められている。
- 機械学習アルゴリズムは，訓練データ外の予測において誤りを起こしやすく，その原因特定が困難である。
- 人間が持つ知識を機械学習に組み込み，予測の信頼性と解釈性を向上させることを目指す。
- 説明可能なブースティングマシン（EBM）が，知識誘導機械学習に適していることが示された。
- EBMは，人間の専門知識を反映した特徴量を入力として利用し，オーバーシューティングトップの検出に活用された。
- 最終モデルの精度は複雑な手法に劣るものの，解釈可能性が高く，今後の気象予測への応用が期待される。
pFedMMA：マルチモーダルアダプタを用いたパーソナライズされた連合学習によるビジョン言語モデルのファインチューニング [cs.CV, cs.LG]目的：ビジョン言語モデルの連合学習におけるパーソナライズと汎化のトレードオフ改善
- 近年のビジョン言語モデルは汎化性能が高いが，分散データへの効率的な適応が課題である。
- 既存の連合プロンプトチューニング法は，パーソナライズに偏りやすく，未学習のクラスやドメインで性能が低下する。
- マルチモーダルアダプタを利用し，パーソナライズと汎化の両立を目指す。
- pFedMMAは，ビジョンと言語の各モダリティに対応したアダプタと，クロスモーダル特徴を整列させる共有投影層を用いる。
- クライアントはローカルデータに適応しつつ，共有投影層を共同学習することで，汎化性能を向上させる。
- 実験結果から，pFedMMAは既存手法と比較して，パーソナライズと汎化のバランスに優れることが示された。
離散領域を超えた近似SMTカウント [cs.LO, cs.AI]目的：ハイブリッドSMT数式のモデルカウント手法
- 自動推論の分野で重要な役割を担うSMTソルバの発展
- 離散変数に限定される既存のアプローチによる制約
- ハイブリッド数式における離散領域への投影解のカウント問題の解決
- pactは，理論的な保証付きで解を推定するためのハッシュベースの近似モデルカウントを用いる。
- 投影変数に関して，SMTソルバを対数的に呼び出す回数に抑えることができる。
- 大規模なベンチマークスイートにおいて，既存手法と比較して大幅な性能向上を達成した。
エージェントベース社会シミュレーションへのLLMの統合：機会と課題 [cs.AI, cs.MA]目的：大規模言語モデルをエージェントベース社会シミュレーションに統合することの可能性と限界の検討
- 社会現象の理解と予測には，人間の行動をモデル化することが不可欠である。
- 従来のモデルでは，複雑な認知機能や社会的推論の再現が困難であった。
- 大規模言語モデルの利点を活かしつつ，その課題を克服するハイブリッドなアプローチを模索する。
- 大規模言語モデルは，心の理論や社会推論など，人間の認知側面を模倣する能力を持つことが示されている。
- Generative AgentsやAgentSocietyなどのプロジェクトは，LLM駆動シミュレーションの経験的根拠と方法論的設計に関する知見を提供する。
- GAMAやNetLogoなどのプラットフォームへのLLM統合と，ハイブリッド憲法アーキテクチャの概念が，透明性と表現力のバランスを取る上で有望である。
生成モデルから埋め込みモデルへ：ゼロショット識別埋め込みモデル構築によるマルチモーダルLLMの潜在能力活用 [cs.LG, cs.AI, cs.IR]目的：マルチモーダル埋め込み空間の構築
- マルチモーダルLLMは多様なタスクに対応可能だが，その能力を最大限に引き出す方法が課題。
- 従来の埋め込みモデル構築は計算資源を要し，誤った負例の混入が性能低下の原因。
- 大規模な事前学習なしで，ロバストなマルチモーダル表現空間を効率的に構築すること。
- 階層的な埋め込みプロンプトにより，モダリティ間のギャップを解消し，ゼロショットでの埋め込み能力を実現。
- Self-aware Hard Negative Sampling (SaHa) により，意味的な誤負例を効果的に除去し，識別力を向上。
- Massive Multimodal Embedding Benchmarkで，標準的な学習データよりも少ないデータ量で競争力のある性能を達成。
DisTaC：蒸留によるタスクベクトルの条件付けによるロバストなモデルマージ [cs.LG]目的：モデルマージにおけるロバスト性の向上
- マルチタスク学習は，複数のタスクを効率的に処理する上で重要である。
- 既存のマージ手法は，理想的な条件下で評価されることが多く，現実的な設定での頑健性が不明である。
- タスクベクトルの調整により，不安定なモデルを効果的に統合することを目指す。
- タスクベクトルのノルムの不一致と，ソースモデルの低い信頼度が，マージの脆弱性の原因であることが判明した。
- DisTaCは，知識蒸留を用いてこれらの問題を事前に調整することで，モデルマージの性能を向上させる。
- DisTaCを用いることで，既存のマージ手法は，それらが失敗するようなモデルも統合できるようになる。
FeynTune：高エネルギー理論のための大規模言語モデル [cs.CL, cs.CL, cs.LG, hep-th]目的：高エネルギー理論物理学のための大規模言語モデルの構築
- 高エネルギー理論は，宇宙の根源的な謎を解き明かす上で不可欠である。
- 既存の言語モデルは，専門的な物理学の知識に乏しく，適切な応答が困難である。
- 高エネルギー理論に特化した言語モデルを開発し，研究を支援することを目的とする。
- Llama-3.1モデルを微調整し，hep-th, hep-ph, gr-qcのarXivアブストラクトで訓練した。
- 微調整されたモデルは，ベースモデルよりもhep-thアブストラクト補完タスクで優れた性能を示した。
- ChatGPT，Claude，Gemini，DeepSeekといった商用LLMと比較し，さらなる開発への知見を得た。
物理情報に基づく時間積分型DeepONet：高精度推論のための時間接空間演算子学習 [cs.HC, cs.LG]目的：時間依存偏微分方程式の長期間にわたる高精度な解のモデリングと推論
- 科学的機械学習において，物理現象を正確に捉えることは，工学や科学の発展に不可欠である。
- 従来の予測手法は，因果関係の捉え方や汎化性能に課題があり，長期予測の精度が制限されている。
- 時間微分演算子を学習することで，誤差の蓄積を抑制し，長期的な安定性と精度を向上させる。
- PITI-DeepONetは，従来のフルロールアウト法や自己回帰法と比較して，拡張された推論時間範囲で精度と安定性が向上した。
- 1次元熱方程式では，$\mathcal{L}_2$平均相対誤差をフルロールアウト法に対し84%，自己回帰法に対し79%削減した。
- 本研究は，複雑な時間依存偏微分方程式の信頼性の高い長期的積分を可能にする新たな道を開く。
人間とロボットの協調操作のための混合型対話 [cs.RO, cs.CL, cs.HC, cs.LG, cs.MA]目的：人間とロボットの協調操作における効率的な対話戦略
- 人間とロボットが長期間にわたり協力するためには，ロボット側の適応能力が重要である。
- 人間の行動やロボット理解度の変化に対応できる，柔軟な連携システムが課題である。
- ロボットと人間の役割分担を最適化し，人間の負担を軽減することを目指す。
- 提案システムMICoBotは，人間とロボットが自然言語で互いに提案し，受容・拒否する混合型対話を実現した。
- MICoBotは，人間の対話を考慮した高レベル戦略の策定，ロボット能力と人間の協助力に基づくタスク割り当て，そして具体的な行動決定の3段階で判断を行う。
- 実際のロボット実験の結果，MICoBotは純粋なLLMベースラインや既存の割り当てモデルと比較して，タスクの成功率とユーザーエクスペリエンスを大幅に向上させた。
SFTの一般化性能：報酬修正による強化学習的考察 [cs.LG]目的：大規模言語モデルにおけるSFTの一般化性能向上
- LLMの性能向上が求められる中，SFTは重要な事前学習手法である。
- 標準的なSFTは，強化学習と比較して一般化性能が低いという課題がある。
- SFTの勾配に内在する報酬構造の問題を修正し，一般化性能を改善すること。
- 本研究では，Dynamic Fine-Tuning (DFT)を提案し，トークンごとの確率で目的関数を動的に再スケーリングすることで勾配の安定化を実現した。
- DFTは，数学的推論，コード生成，マルチモーダルタスクなど，複数の難易度の高いベンチマークにおいて，標準的なSFTを上回る性能を示した。
- DFTは，オフライン強化学習においても競争力のある結果を達成し，効率的な代替手段となる。
OM2P：オフラインマルチエージェント平均フローポリシー [cs.LG, cs.AI]目的：オフラインマルチエージェント強化学習における効率的な１ステップ行動サンプリング
- マルチエージェント環境は，協調行動が求められる現実世界の課題に応用可能であるため重要。
- 生成モデルの計算コストが高く，リアルタイム性やリソース制約のある環境での利用が困難である。
- 生成モデルと報酬最大化のずれを解消し，効率的な行動サンプリングを実現すること。
- OM2Pは，平均フローマッチング損失とQ関数による教師あり学習を統合し，報酬を考慮した最適化スキームを導入した。
- 平均フローモデルをオフラインMARLに初めて統合し，GPUメモリ使用量を最大3.8倍，学習時間を最大10.8倍削減した。
- Multi-Agent ParticleとMuJoCoベンチマークにおいて，既存手法を上回る性能を示した。
LLMによる文脈を活用した予測の改善戦略：単純なプロンプトを超えて [cs.LG, cs.AI]目的：LLMを活用した文脈を考慮した予測の改善
- 実世界の予測において，過去データとテキスト情報から得られる文脈の統合は不可欠である。
- LLMは文脈を考慮した予測に有望視されているが，性能が潜在能力に達していない。
- LLMの診断，精度向上，効率化に関する課題を解決し，実用的な予測ツールを提供する。
- 診断戦略により，モデルは文脈の影響を説明できるが，その推論を予測に適用できていない「実行のギャップ」が明らかになった。
- 精度に焦点を当てた戦略により，予測性能が25〜50％大幅に向上した。
- 小規模モデルと大規模モデル間の適応的なルーティングにより，大規模モデルと同等の精度を維持しつつ，推論コストを大幅に削減できることが示された。
連続行動チャンクに対するActor-Critic：疎な報酬を伴う長期的ロボット操作のための強化学習フレームワーク [cs.RO, cs.AI]目的：長期的ロボット操作における連続行動チャンクの学習
- ロボット操作は，自動化の重要な分野であり，人間の作業を代替し効率を向上させることが期待される。
- 従来の強化学習は，疎な報酬や長い時間ステップ数により，ロボット操作のような複雑なタスクでは学習が困難である。
- 連続的な行動チャンクを安定かつ効率的に学習し，疎な報酬環境下でのロボット操作の成功率向上を目指す。
- 提案手法AC3は，25のBiGymおよびRLBenchのタスクにおいて，既存手法を上回る成功率を達成した。
- AC3は，少量のデモンストレーションとシンプルなモデルアーキテクチャのみで高い性能を発揮することを示した。
- ActorとCriticの両方に対する的を絞った安定化メカニズムにより，安定した学習とデータ効率の向上が実現された。
LumiMAS：マルチエージェントシステムにおけるリアルタイム監視と拡張された可視化のための包括的フレームワーク [cs.CR, cs.AI]目的：マルチエージェントシステムにおけるリアルタイム監視と可視化のフレームワーク
- 複雑な問題解決へのLLM活用が期待される一方，システムの監視・解釈が課題となる。
- 既存の可視化フレームワークは個々のエージェントに焦点を当て，システム全体の障害を見落とす。
- システム全体の障害検出，分類，根本原因分析を可能にするフレームワークを構築する。
- LumiMASは，監視・記録層，異常検知層，異常説明層の3層構造を持つ。
- 7つの異なるマルチエージェントシステムアプリケーションで評価を行い，高い障害検出性能を示した。
- LumiMASは，LLMのハルシネーションやバイアスがシステムに与える影響を可視化することに貢献する。
連合非線形システム同定 [cs.LG, cs.SY, eess.SY]目的：非線形システムの連合学習
- データ駆動型モデリングの重要性が増しており，システム同定は不可欠である。
- 分散データ環境下でのシステム同定は，プライバシー保護と通信コストの課題がある。
- 連合学習を用いて，分散環境下で効率的なシステム同定を実現することを目指す。
- クライアント数が増加するにつれて，連合学習によるシステム同定の収束速度が向上することが示された。
- 非線形設定では特徴マップの選択が重要であり，適切な設計により性能向上が期待できる。
- 実験結果から，参加クライアント数が増えるにつれて，個々のクライアントの収束が改善されることが確認された。
SATへの入出力論理の帰着 [cs.LO, cs.AI]目的：入出力論理の自動化手法
- 規範，義務，許可などを扱う様相論理は，倫理学や法学などに応用が期待される。
- 従来の様相論理では，規範を対象の論理言語外で扱うことが難しかった。
- 入出力論理の自動推論を可能にする手法を提示し，その有効性を検証する。
- 入出力論理を命題充足可能性問題(SAT)への帰着により自動化する手法を提案した。
- 提案手法の実装であるrioを開発し，具体的な例題への適用を示した。
- 本手法により，入出力論理における規範の推論を効率的に行うことが期待される。
CLIFF：2D材料識別における増分フレーク特徴の継続学習 [cs.CV, cs.LG]目的：2D材料のフレーク層識別における継続学習フレームワーク
- 量子コンピューティングの発展には，材料の層分類が不可欠であり，その自動化が求められている。
- 光学顕微鏡による識別は，材料ごとの外観変化が大きく，従来の分類手法では課題があった。
- 新規材料への適応性を高め，学習の忘却を防ぐ継続学習手法を確立することを目指す。
- 提案手法CLIFFは，既存のファインチューニングやプロンプトベースラインと比較して，同等以上の精度を達成した。
- 特に，新規材料の学習における忘却現象を大幅に抑制する効果が確認された。
- バックボーンとベースヘッドを固定し，材料固有のプロンプトやデルタヘッドを学習することで，効率的な学習を実現した。
潜在的自己整合性：短編・長編推論における信頼性の高い多数派集合選択 [cs.CL, cs.AI]目的：短編および長編の推論問題に対する信頼性の高い回答選択手法
- 大規模言語モデルの性能向上は，様々な分野で重要な課題である。
- 大規模言語モデルの出力は不安定であり，一貫性に欠ける場合がある。
- 短編・長編両形式で安定した回答選択を実現し，精度と効率を両立する。
- 提案手法LSCは，既存手法SC，USC，WUCSと比較して，短編・長編両形式で平均性能を上回る。
- LSCは，わずかな計算コスト増（最大0.9%）で，高い整合性と信頼性のある回答選択を可能にする。
- LSCは，校正誤差が低く，回答形式に関わらず信頼性の高い信頼度推定を提供する。
一度だけで全て：LLMによる生成器を用いたスケルトンガイド型SMTソルバーファジング [cs.SE, cs.AI, cs.PL]目的：SMTソルバーのバグ検出
- 現代のシステムやプログラミング言語研究の基盤であり，その信頼性は不可欠である。
- 従来のテスト手法では，ソルバーの進化に追いつけず，十分なバグ検出が困難である。
- LLMを活用し，構文的に有効で多様なテストケースを効率的に生成することで，問題を解決する。
- Once4Allは，LLMを用いてSMT理論の文法を自動抽出し，再利用可能な項の生成器を合成する。
- 既存の数式から構造的スケルトンを作成し，LLM生成器で生成された項を反復的に埋め込むことで，構文の有効性と意味的多様性を確保する。
- Z3とcvc5の2つの主要なSMTソルバーで評価した結果，43件のバグが確認され，そのうち40件は既に修正されている。
Veritas：パターン認識推論による汎化可能なディープフェイク検出 [cs.CV, cs.AI]目的：ディープフェイク検出の汎化性能向上
- ディープフェイクは社会に悪影響を及ぼすため，その検出技術は重要である。
- 既存の評価データセットが実世界の状況を反映しておらず，検出器の実用化を妨げている。
- 実世界における多様なディープフェイクに対応できる検出器を開発すること。
- 新たなデータセットHydraFakeを構築し，実世界の課題を反映した評価を可能にした。
- パターン認識推論を用いた多Modal大規模言語モデルVeritasを提案し，既存手法の課題を克服した。
- Veritasは，未知の偽造手法やデータドメインにおいても高い検出性能を示した。
Draw-In-Mind：統一されたマルチモーダルモデルにおけるデザイナー・画家役割の再均衡が画像編集に貢献 [cs.CV, cs.AI]目的：画像編集におけるデザイナーと画家の役割分担の再均衡
- マルチモーダル理解と生成の統合は，画像処理分野における重要な研究テーマである。
- 既存の統一モデルは，テキストから画像を生成する能力は高いものの，正確な画像編集には課題が残る。
- 理解モジュールにデザインの責任を明示的に割り当てることで，画像編集の精度向上を目指す。
- 提案手法DIMは，複雑な指示理解のための大規模データセットDIM-T2Iと，画像編集のための設計図であるChain-of-ThoughtのデータセットDIM-Editで構成される。
- パラメータ規模が小さいDIM-4.6B-Editが，ImgEditやGEdit-Benchなどのベンチマークにおいて，より大規模なモデルを上回る性能を示した。
- 理解モジュールにデザイン責任を明示的に割り当てることで，画像編集の性能が大幅に向上することが示された。
MEGS$^{2}$: 球面ガウス関数と統合的プルーニングによるメモリ効率の良いガウススプラッティング [cs.CV, cs.AI]目的：3Dガウススプラッティングのメモリ効率向上
- 3Dシーン再現技術は，VR/AR等の応用で重要性が増しており，高品質な新規視点合成が求められている。
- 3Dガウススプラッティングは高品質だが，メモリ消費量が大きく，エッジデバイスでの利用が困難である。
- メモリ使用量を削減し，エッジデバイスでの3Dガウススプラッティングの適用範囲を広げる。
- MEGS$^{2}$は，球面調和関数を軽量な球面ガウスロブに置き換えることでメモリ消費量を削減する。
- 総プリミティブ数と1プリミティブあたりのパラメータ数の両方を最適化する統合的プルーニングフレームワークを提案する。
- 既存手法と比較して，静的VRAMを50%，レンダリングVRAMを40%削減しつつ，同等のレンダリング品質を維持する。
MACD：自己学習知識を用いたLLMによる多エージェント臨床診断 [cs.IR, cs.AI]目的：LLMによる臨床診断の精度向上
- 医療分野におけるAI活用は，診断支援や治療法の開発に不可欠であり，医療の質向上に貢献する。
- 従来のLLMは，複雑な臨床診断において，知識の蓄積や再利用が課題であった。
- 臨床経験の蓄積・活用を通じてLLMの診断精度を高め，医師の診断支援を実現する。
- 本研究で提案するMACDフレームワークは，既存の臨床ガイドラインと比較して最大22.3%の診断精度向上を達成した。
- 医師のみの診断と比較して，MACDは同等またはそれ以上の性能を示し，最大16%の改善が見られた。
- MACDと医師の協調ワークフローは，医師のみの診断と比較して18.6%の改善を示し，AIと人間の相乗効果を実証した。
因果探索のための効率的なアンサンブル条件独立性テストフレームワーク [cs.LG, cs.AI, stat.ML]目的：因果探索における条件独立性テストの効率化
- 因果推論は，データから因果関係を明らかにする上で重要であり，様々な分野で応用が期待されている。
- 従来の条件独立性テストは計算コストが高く，大規模データセットへの適用が困難であるという課題があった。
- 本研究は，条件独立性テストの計算コストを削減し，より実用的な因果探索を可能にすることを目的とする。
- 提案手法E-CITは，データを分割し，各サブセットで条件独立性テストを並行して実行することで，計算量を線形に削減する。
- E-CITは，安定分布の特性に基づいた新規なp値の組み合わせ方法を用いることで，理論的な整合性を保証する。
- 実験結果から，E-CITは計算負荷を大幅に軽減し，複雑なテストシナリオや実データセットにおいて高い性能を発揮することが示された。
文脈と多様性が重要：ワールドモデルにおけるインコンテキスト学習の創発 [cs.HC, cs.RO, cs.LG, cs.AI]目的：ワールドモデルにおけるインコンテキスト学習のメカニズムとその限界
- 環境への適応には動的な予測が不可欠であり，生物の神経系と汎用AIの基礎となる。
- 既存のワールドモデルは，未知または稀な状況に対応できず，汎化性能に課題がある。
- ワールドモデルの自己適応能力向上を目指し，インコンテキスト学習の創発要因を解明する。
- インコンテキスト学習のメカニズムとして，環境認識（ER）と環境学習（EL）の二つを特定した。
- ERとELの双方について，その創発を明らかにするエラー上限を導出した。
- 理論と整合的に，データ分布とモデル構造がインコンテキスト学習に影響することを実験的に確認した。
継続学習における可塑性を維持する活性化関数の設計 [cs.LG, cs.AI, cs.CV]目的：継続学習における可塑性喪失の軽減策
- 機械学習モデルは，新しいタスクを学習する際に，過去の知識を忘却しやすい。
- 継続学習において，モデルは破滅的忘却だけでなく，適応能力の低下（可塑性喪失）を引き起こす。
- 活性化関数の設計を通じて，継続学習における可塑性喪失を軽減し，モデルの適応能力を維持すること。
- 活性化関数の選択は，モデルのアーキテクチャに依存せず，可塑性喪失を軽減するための重要な要素である。
- Smooth-LeakyとRandomized Smooth-Leakyという2つの新しい活性化関数を提案し，その有効性を検証した。
- 活性化関数の形状と適応能力の関係を明らかにする診断ツールを開発し，継続学習における活性化関数の重要性を示した。
ProtoTS：説明可能な時系列予測のための階層的プロトタイプ学習 [cs.LG]目的：時系列予測における説明可能性の向上
- 時系列予測は，需要予測や異常検知など，様々な分野で重要性が増している。
- 深層学習モデルは予測精度が高いが，その意思決定プロセスが不透明であるという課題がある。
- 時系列予測モデルの予測根拠を明確にし，専門家による制御を可能にすること。
- ProtoTSは，プロトタイプと呼ばれる代表的な時間的パターンを学習することで，高い予測精度と透明性を両立する。
- ProtoTSは，入力変数の相互作用を考慮し，予測曲線全体のパターンを解釈可能な形で表現できる。
- 複数のベンチマークデータセットで，既存手法を上回る予測精度と，専門家による解釈可能性が示された。
部分空間回帰のための深層学習 [cs.LG, cs.NA, math.NA]目的：部分空間回帰によるパラメータ依存性の表現
- 複雑なシステムの動的挙動を低次元の部分空間で近似することは，計算コスト削減に有効である。
- 高次元パラメータ空間における古典的な補間戦略は，非現実的または信頼性が低い場合がある。
- ニューラルネットワークを用いた高次元関数近似により，部分空間回帰の実現を目指す。
- 過剰な次元数の部分空間を予測することで，写像の複雑さを軽減し，滑らかさを向上させる。
- 数値実験の結果，必要な次元数よりも大きな部分空間を予測することで精度が大幅に向上することが示された。
- 本手法は，パラメータ固有値問題，デフレーション技術，緩和法，最適制御，およびパラメータ付き偏微分方程式の解法など，様々なタスクに適用可能である。