arXiv雑要約
AI - 2026/05/19 公開
代替プロセスプランが存在する場合のセル型生産システム設計 [cs.MA, cs.AI]目的：セル型生産システムにおける部品と機械のグループ化
- 製造システムの効率化が求められ，セル型生産システムが注目されている。
- 複数のプロセスプランと機械が存在する場合のグループ化は困難である。
- セル内・セル間移動を最小化する最適なグループ化手法を確立すること。
- 整数計画法により，セル型生産システムの部品・機械のグループ化を定式化した。
- セル内での連続操作の最大化と，セル間の移動抑制が重要であることが示された。
- 機械投資コストなど他の目的関数との比較検討も行った。
心血管疾患分類のための時間効率の良いハイブリッドハイパーパラメータチューニング手法 [cs.LG, cs.AI, cs.PF, stat.CO]目的：心血管疾患分類のための機械学習モデルのハイパーパラメータ最適化
- 心血管疾患は重大な健康問題であり，正確な診断が不可欠である。
- 従来のハイパーパラメータチューニングは計算コストが高く，時間効率が課題である。
- 時間制約のある心血管疾患分類において，効率的なチューニング手法の確立が求められる。
- 提案手法であるRandomized Grid Searchは，従来のチューニング手法よりも優れた性能を示した。
- モデルの性能向上に加え，モデル学習に必要な計算時間が大幅に削減された。
- 本研究は，医療分野における機械学習応用の進展に貢献し，迅速かつ正確な心血管疾患診断を可能にする。
非線形保存則の長期予測のためのニューラル平衡 [cs.CL, cs.HC, cs.LG, physics.comp-ph, physics.flu-dyn]目的：非線形保存則の長期予測手法
- 科学技術計算において，物理現象のモデリングは不可欠であり，精度と効率が重要である。
- 従来の数値解法は，複雑な物理現象に対して計算コストが高く，安定性や精度が課題となる場合がある。
- ニューラルネットワークを活用し，物理法則を考慮した効率的な予測モデルを構築することを試みる。
- 提案手法NeurDEは，従来のSciML手法や大規模モデルと比較して，性能が向上することが示された。
- NeurDEは，元の数値解法よりも優れた結果を達成し，その有効性が確認された。
- NeurDEは，系が緩和する平衡則を学習することで，保守的シミュレーションにおける科学的機械学習のコンパクトな目標を提供する。
合成テーブルデータ生成における列間論理関係の評価 [cs.LG]目的：合成テーブルデータの列間の論理関係の保存度評価
- 現実世界のデータ分析において，データの信頼性は不可欠であり，そのために高品質な合成データが求められる。
- 既存の合成データ評価指標は，結合分布のモデリングに偏っており，列間の論理的な整合性の評価が不足している。
- 合成テーブルデータにおける列間の論理関係の保存度を定量的に評価し，より現実的な合成データ生成を目指す。
- 提案する評価指標を用いて，既存の合成データ生成手法の性能を評価した結果，論理的な一貫性の維持が不十分であることが明らかになった。
- 特に，地理的階層構造や組織構造といった階層関係，時間的順序や数学的関係といった依存関係の維持に課題が残る。
- これらの知見に基づき，合成テーブルデータの分布モデリングにおいて論理関係をより適切に捉えるための今後の方向性を示唆する。
化学誘導適合による表現的アラインメント：分子関係学習への応用 [cs.RO, cs.MA, cs.SY, eess.SY, math.OC, cs.LG, cs.AI]目的：分子対間の関係予測における表現的アラインメントの安定性向上
- 分子構造から機能性を予測する分子関係学習は，創薬などの自然科学分野で不可欠である。
- 既存のアテンション機構による表現的アラインメントは化学的知識が不足し，データ分布の変化に弱い。
- 化学的知識を誘導バイアスとして組み込み，より安定した分子表現アラインメントを実現する。
- 提案手法ReAlignFitは，化学誘導適合に基づき，サブストラクチャ表現を動的にアラインメントする。
- サブストラクチャのエッジ再構成に基づくBias Correction Functionを用いて，化学的コンフォメーション変化をシミュレーションする。
- 9つのデータセットにおける実験で，既存手法を上回り，データ分布の変化に対する安定性が大幅に向上した。
検索プロセスの監督が，信頼性と汎用性の高い情報探索エージェントを生み出す [cs.CL, cs.AI]目的：情報探索エージェントの信頼性と汎用性の向上
- ウェブ検索は回答の合成へと変化しており，自律的なエージェントの重要性が高まっている。
- 高品質な中間検索ステップの生成が難しく，最終回答のみの報酬では汎化性能が低い。
- 検索プロセスそのものを監督することで，より堅牢で汎用的なエージェントを開発すること。
- RAG-Gymというフレームワークを導入し，検索プロセスへの監督によるアーキテクチャ設計や最適化を調査した。
- Re$^2$Search++は，マルチホップ情報探索ベンチマークで大幅な性能向上を示し，特にドメイン外タスクで効果を発揮した。
- 性能向上は，回答の最適化だけでなく，高品質な検索クエリによって駆動され，学習された検索評価はモデル間で転移する。
説明可能なAIの原理的な基盤としての不確実性定量化：反事実説明のケーススタディ [cs.CL, cs.DC, cs.MA, cs.LG, cs.AI, stat.ML]目的：説明可能なAIにおける不確実性定量化の重要性
- AI技術の信頼性向上は社会実装において不可欠であり，説明可能性はその鍵となる。
- 既存の説明手法は，AIの基礎概念を無視しており，頑健性に課題がある。
- 不確実性定量化の枠組みを導入し，より信頼性の高い説明手法を開発すること。
- 本研究では，不確実性定量化を反事実説明の基盤として活用するフレームワークを提案した。
- 提案手法は，既存の最先端手法と同等以上の性能を示し，その設計は極めて簡潔である。
- AIの基礎概念と説明可能性研究を統合することで，より信頼性の高い予測モデルが期待される。
コーディング問題における解釈可能な知識トレースのための自動知識コンポーネント生成 [cs.AI, cs.CL, cs.CY, cs.LG, cs.SE]目的：コーディング問題に対する知識コンポーネントの自動生成と知識トレース
- オンライン学習プラットフォームにおいて，学習者の習熟度を詳細に把握し，個別最適化された学習支援を行う上で重要である。
- 知識コンポーネントの作成と問題へのタグ付けは専門家による手作業に頼っており，時間と労力がかかる。
- 大規模言語モデルを用いて知識コンポーネントを自動生成し，より効率的な知識トレースを実現することを目指す。
- 提案手法KCGen-KTは，既存の知識トレース手法や専門家が作成した知識コンポーネントよりも，将来の学生の解答予測において優れた性能を示した。
- 生成された知識コンポーネントの学習曲線分析から，認知モデルへの適合度において，専門家が作成したものより優れていることが示された。
- コースインストラクターによる評価の結果，提案手法が生成する問題と知識コンポーネントの対応関係は妥当な精度を持つことが確認された。
ケイリーグラフ上の経路探索と強化学習 [cs.LG, cs.DM, cs.SI, math.CO, math.GR]目的：ケイリーグラフにおける経路探索と強化学習手法の開発
- 大規模グラフの経路探索は，数学，計算機科学など広範な分野で重要な課題である。
- 従来の計算手法では，巨大なケイリーグラフの経路探索に時間がかかり，実用的な解決策がない。
- 強化学習と拡散距離に基づく新たな手法で，巨大ケイリーグラフの効率的な経路探索を実現する。
- 提案手法は，ベンチマークテストにおいて，既存の計算代数システムGAPを凌駕する性能を示した。
- 対称群のケイリーグラフにおいて，OEIS-A186783の直径に関する予想を機械学習と数学的証明で支持する証拠を得た。
- グラフの直径の上界と下界を算出し，グラフのスペクトル分布に関する観察など，新たな仮説を提示した。
FPGAにおけるニューロモーフィックアーキテクチャ25年間の概要 [cs.AR, cs.NE]目的：FPGA実装ニューロモーフィックアーキテクチャの設計選択肢に関する有用な情報
- 脳型コンピューティングは，低消費電力かつ並列処理に優れるため，今後の情報処理技術の基盤となることが期待される。
- デジタルニューロモーフィックアーキテクチャの設計は多様であり，適切なアーキテクチャ選択が困難である。
- FPGA実装ニューロモーフィックアーキテクチャの設計トレンドを整理し，将来展望を示す。
- 本稿では，FPGA上に実装されたデジタルニューロモーフィックアーキテクチャの概要を提示する。
- アーキテクチャの特徴を分類し，それぞれの利点と欠点を明らかにした。
- 今後のアーキテクチャのトレンドと予測を提示することで，研究者への有用な情報源となる。
TeleRAG：先読み検索による効率的な検索拡張生成推論 [cs.DC, cs.LG]目的：検索拡張生成推論の効率化
- 大規模言語モデルの知識拡張として重要であり，事実に基づいた正確性と専門領域の網羅性を高める。
- 大規模データストアの使用により，高いスループットと低遅延を実現することが困難である。
- GPUメモリを最小限に抑えつつ，推論の遅延を削減し，スループットを向上させることを目指す。
- TeleRAGは，先読み検索というprefetching機構により，LLM生成と並行してCPUからGPUへのデータ転送を実現する。
- シングルクエリにおいて平均エンドツーエンドの遅延を最大1.53倍削減し，バッチ処理において平均スループットを1.83倍向上させる。
- これにより，RAGアプリケーションの高速かつメモリ効率の高いデプロイメントが実用的であることが確認された。
LLM-TabLogic：プロンプト誘導潜在拡散による合成表形式データの列間論理関係の維持 [cs.LG]目的：合成表形式データにおける列間の論理関係の維持
- プライバシー保護とデータ不足の解決策として合成データ利用が拡大している。
- 既存の生成モデルでは，列間の論理関係が無視され，実用性に問題がある。
- 実世界の表形式データにおいて論理的な整合性を保った合成データ生成を目指す。
- LLM-TabLogicは，大規模言語モデルの推論を活用し，列間の複雑な論理関係を捉える。
- 未知のテーブルに対する論理的推論において90%以上の高い精度を達成した。
- データ生成において，他のベースラインを上回り，データ忠実性，有用性，プライバシーのバランスも優れている。
ビジョンモデルのための適応型カメラセンサー [cs.CV, cs.AI]目的：深層学習ベースのコンピュータビジョンのドメインシフトに対する改善
- コンピュータビジョンは，自動運転や画像認識など，幅広い分野で不可欠な技術である。
- ドメインシフトにより，モデルの汎化性能が低下し，実用化が困難になる場合がある。
- モデルの視点に基づいた高品質な画像取得により，ドメインシフトの影響を軽減することを目指す。
- 提案手法Lensは，軽量でありながら，リアルタイムでセンサーパラメータを適応的に調整可能である。
- ImageNet-ES Diverseという新しいベンチマークデータセットを用いて，Lensの有効性が検証された。
- Lensは，既存のセンサー制御やモデル修正手法と比較して，モデルの精度を大幅に向上させる。
LLMの安全性評価は頑健性に欠ける [cs.CR, cs.AI]目的：大規模言語モデルの安全性評価における頑健性の欠如
- LLMの社会実装が進む中で，安全性確保は不可欠であり，その評価手法の確立が急務である。
- 安全性評価は，データセットの規模や評価方法のばらつきにより，再現性や比較可能性が低いという課題がある。
- 評価パイプラインの各段階における課題を特定し，ノイズとバイアスを低減するためのガイドラインを提案する。
- 現在の安全性評価研究は，データセットの小ささ，手法の一貫性のなさ，信頼性の低い評価設定など，多くのノイズ要因によって阻害されている。
- 本研究では，データセットのキュレーション，自動化された敵対的テストの最適化戦略，応答生成，LLMジャッジによる応答評価など，LLMの安全性評価パイプラインを体系的に分析した。
- 将来の研究におけるこれらの問題への取り組みが，比較可能な結果を生み出し，目に見える進歩をもたらすと信じている。
非パラメータ連続(PO)MDPに対する行動勾配モンテカルロ木探索 [cs.AI, cs.RO]目的：連続状態・行動・観測空間におけるオンライン計画の効率化
- 自律システムの実現には，連続空間での計画が不可欠であり，その効率的な手法が求められている。
- 従来の連続(PO)MDPソルバーは，勾配に基づく行動最適化を活用できていないという課題があった。
- 勾配情報を用いた行動の洗練と，モンテカルロ木探索を組み合わせることで，計画効率を向上させる。
- 提案手法AGMCTSは，既存のサンプルベースソルバーと比較して，複数の連続MDPおよびPOMDPベンチマークにおいて優れた性能を示した。
- AGMCTSは，粒子信念状態に対する行動スコア勾配定理，MIS木，Area Formulaを利用することで，効率的な探索を実現している。
- 行動スコア勾配の再利用により，一貫した価値推定を維持しながら，頻繁な行動ブランチ更新を可能にしている。
拡散に基づく強化学習による制御可能なソーシャルナビゲーション [cs.RO, cs.AI]目的：動的環境下における歩行者との協調的なロボットナビゲーション手法
- 自律移動ロボットの普及には，人間社会での円滑な移動が不可欠である。
- 従来のルールベース手法では，複雑な状況への対応に限界がある。
- 未知の状況への適応能力を持つナビゲーションシステムの開発。
- 拡散モデルを強化学習に適用することで，柔軟な行動分布を実現した。
- 訓練時に存在しなかった静的障害物や，異なる目的設定への適応性を確認した。
- 拡散モデルの特性を活用し，追加学習なしでの環境変化への対応を可能にした。
ランキング付きメモリ拡張検索による長文脈モデリング [cs.IR, cs.AI, cs.LG]目的：長文脈を扱う言語モデルにおける効果的な長期記憶管理
- 言語モデルの性能向上には，長文脈を効率的に処理する能力が不可欠である。
- 既存手法では，文脈が長くなるにつれて性能が低下する課題があった。
- 関連度に基づいてメモリを動的にランキングすることで，文脈の利用効率を高める。
- ERMARは，情報検索の学習ランキング技術に着想を得た新しい関連度スコアリング機構と，キーバリュー埋め込みに対するポイントワイズ再ランキングモデルを採用している。
- 標準的なベンチマークにおいて，ERMARは最先端の結果を達成し，優れたスケーラビリティと長文脈タスクにおける性能を実証した。
- ERMARは，過去の使用パターンと適応的な検索を統合することで，長期記憶管理の効率を向上させている。
患者の声に応え，AIが分析：LLMを用いたオンラインレビュー分析による緊急ケア満足度の主要要因の解明 [cs.CL, cs.AI, cs.SI]目的：緊急ケアにおける患者満足度の主要要因の特定
- 地域医療の発展には，患者の経験を理解することが不可欠である。
- 従来の調査方法では，範囲，時間，空間的な制約がある。
- オンラインレビューを活用し，LLMを用いて患者の認識を分析することで，課題解決を目指す。
- 患者満足度において，対人関係の要因と業務効率が最も重要な決定要因であることが示された。
- 技術的品質，費用，施設は，多変量モデルで調整しても有意な独立した影響を示さなかった。
- 人口密度のみが患者評価とわずかながら有意な関連性を示す一方，他の社会経済的要因は有意な相関を示さなかった。
LLMの適切なサイズ選択による持続可能性 [cs.DC, cs.CL, cs.AI]目的：LLMの適切なサイズ選択に関する実証的分析
- 組織におけるLLM利用が拡大しており，その影響は多岐にわたるため，適切な利用方法が重要である。
- 高性能なモデルが重視される一方で，エネルギー消費やコスト，データ主権といった課題が顕在化している。
- 組織の優先順位に合わせた，タスクと文脈を考慮したLLMの適切なサイズ選択方法を確立することを目指す。
- GPT-4oは一貫して優れた性能を示すが，コストと環境負荷が大きい。
- Gemma-3やPhi-4といった小規模モデルは，多くのタスクで堅牢な結果を示し，費用対効果やプライバシー保護の観点から有用である。
- モデルは「高性能型」「汎用型」「安全型」の３つのグループに分類され，性能，制御性，持続可能性のトレードオフが明らかになった。
大規模AI複合サービスのためのSLOを意識したクエリプランナー：Compass [cs.DB, cs.LG]目的：大規模AI複合ワークロードにおける，演算子の配置，設定，リソース割り当ての共同計画
- 生成AI等の高度なアプリケーションの普及に伴い，AI複合サービスが重要性を増している。
- 多様なSLO，実行環境，大量のクエリが，リアルタイム性とコスト効率を損なう計画問題を引き起こす。
- Compassは，複雑な計画問題を分割し，効率的な計画とリソース管理を実現することで，この問題を解決する。
- Compassは，サービスのスループットを2.4～5.1倍に向上させ，デプロイメントコストを3.8～4.5倍削減した。
- 計画時間を4.2～10.5倍に短縮し，応答速度の向上と最適な意思決定品質を両立した。
- クエリプランの二部マッチングにより，リソース競合下でのSLO達成率を最大化した。
多様なモダリティと粒度における検索拡張生成 [cs.CL, cs.AI, cs.CV, cs.IR, cs.LG]目的：多様なモダリティと粒度を持つコーパスに対する検索拡張生成フレームワーク
- 質問応答の精度向上には，外部知識に基づいた根拠が重要であり，RAGはそのための有効な手法である。
- 既存のRAGはテキストに限定され，マルチモーダルへの拡張も単一モダリティに留まるため，現実の多様な質問に対応できない。
- 異なるモダリティと粒度を持つ知識ソースから適切に情報を検索・統合することで，RAGの汎用性と性能を向上させる。
- 提案手法UniversalRAGは，モダリティ間のギャップを克服するため，動的なモダリティルーティングを導入し，質問に最適なコーパスを特定する。
- 各モダリティを複数の粒度に整理することで，質問の複雑さに応じた最適な検索を可能にする。
- 10のベンチマークで，既存のベースラインと比較してUniversalRAGの優位性が示された。
破滅的過学習，エントロピーギャップ，参加率：高速敵対的学習のためのノイズレス$l^p$ノルム解 [cs.LG, cs.AI]目的：敵対的学習における破滅的過学習の緩和
- 深層学習のロバスト性を高める上で敵対的学習は不可欠である。しかし，高速化には課題がある。
- 高速な敵対的学習法は，破滅的過学習を起こしやすく，多段階攻撃に弱いという問題がある。
- 勾配の情報に基づいて$l^p$ノルムを調整することで，破滅的過学習を抑制することを目指す。
- 提案手法は，追加の正則化やノイズ注入を必要とせずに高いロバスト性を達成する。
- $l^p$ノルムを制御することにより，破滅的過学習を緩和する新しい理論的根拠を提供する。
- $l^2$ノルムから$l^{\infty}$ノルムへの移行メカニズムを$l^p$-FGSM攻撃を通じて理解する。
ミラー平均場ランジュバン力学 [cs.LG, math.OC, stat.ML]目的：制約された領域における確率測度の最適化
- 近年，相互作用粒子系の勾配降下法をモデル化する手法として注目されている。
- 既存の平均場アルゴリズムは，グローバル拡散項のため制約領域を扱えなかった。
- ミラーランジュバン枠組みへの拡張を通じて，制約付き最適化問題を解決する。
- 提案するミラー平均場ランジュバン力学（MMFLD）は，一様ログソボレフ不等式を通じて線形収束を保証する。
- 時間・粒子離散化されたMMFLDは，時間に関して一様なカオス伝播の結果を示す。
ノイズとタスクレベル多様体上の学習におけるTransformer：近似と汎化に関する考察 [cs.LG, cs.NA, math.NA, math.ST, stat.TH]目的：ノイズを含む多様体近傍のデータに対するTransformerの近似および汎化性能
- 大規模言語モデルの基盤技術であり，その理論的理解が不可欠である。
- Transformerの性能はデータの内在次元に依存するが，理論的な考察が不足している。
- タスクレベル多様体におけるTransformerの近似・汎化誤差を理論的に解明する。
- 本研究により，Transformerがノイズに擾乱された高次元データにおいても，低複雑な構造を学習できることが示された。
- タスクレベル多様体の内在次元が，近似および汎化誤差に重要な影響を及ぼすことが証明された。
- Transformerによる基本的な算術演算の表現構築という，新たな証明手法が確立された。
ランダムフォレストの平滑化による性能向上 [cs.LG, stat.ML]目的：ランダムフォレストの予測精度向上
- 機械学習において，非線形な関係性を捉える手法の重要性が高まっている。
- ランダムフォレストは区分的に定数な予測を行うため，滑らかな関数に対する表現力が課題である。
- データが少ない状況下で，ランダムフォレストの予測の滑らかさを改善し，精度を向上させる。
- 提案手法では，カーネルベースの平滑化により，ランダムフォレストの予測に局所的な正則性を導入する。
- これにより，ランダムフォレストの適応性とカーネル法の滑らかさの利点を組み合わせることが可能となる。
- 実験結果から，提案手法は特にデータが少ない場合に，予測性能を安定的に向上させることが示された。
パーソナライズされた連合型インテリジェンスのための基盤モデルに関する調査 [cs.AI, cs.CV, cs.NE]目的：パーソナライズされた連合型インテリジェンス（PFI）の現状と将来展望
- AI技術の発展において，汎用人工知能（AGI）実現に向けた基盤モデルの重要性が高まっている。
- 基盤モデルの規模が大きく，プライバシー保護や計算資源の制約から，個々のユーザーに合わせたカスタマイズが困難である。
- プライバシーを保護しつつ，基盤モデルを個々のユーザーに適応させるための新たなパラダイム，PFIの確立を目指す。
- 本調査では，連合学習（FL）と基盤モデル（FM）の最新動向を概観し，PFIの基盤を築く。
- PFIパイプラインの主要段階である，エッジにおける効率的なパーソナライズ，信頼性の高い適応，および検索拡張生成による適応的洗練について探求する。
- PFIを可能にするための将来的な方向性を提示し，AGIの補完的アプローチとしてのAPI開発の基礎を築く。
野生環境におけるロボットポリシーのための器用な人間とのインタラクション [cs.RO, cs.AI, cs.CV, cs.LG, cs.SY, eess.SY]目的：多様な環境下でのロボットの操作に関するデータ収集と学習フレームワーク
- ロボットの汎用的な操作能力向上には，大規模かつ多様なデータセットが不可欠である。
- 高品質なデータセットの取得にはコストがかかり，スケーラビリティが課題となっている。
- 人間の手によるデータ収集を通して，コストを抑えつつ汎用性の高いロボットポリシーの構築を目指す。
- DexWildは，多様なデータ収集チームが人間の手でインタラクションデータを収集するシステムである。
- 人間のデータとロボットのデータで共同学習することで，個別に学習するよりも性能が向上した。
- 未知の環境での成功率は68.5%と，ロボットデータのみで学習した場合の4倍近い性能を示した。
DriveMoE：エンドツーエンド自律運転におけるビジョン・言語・行動モデルのための専門家混合 [cs.CV, cs.AI, cs.RO]目的：エンドツーエンド自律運転のための専門家混合（MoE）フレームワーク
- 自動運転は，交通渋滞の緩和，事故の削減，移動の効率化に貢献し，社会に大きな利益をもたらす。
- 複雑な運転シナリオ，特に稀な運転操作への対応が課題であり，既存モデルはモード平均化の影響を受ける。
- ビジョンと行動の専門家混合によって，多様なシナリオに対応し，性能向上を目指す。
- DriveMoEは，シーン特化型ビジョンMoEとスキル特化型行動MoEを導入した新しいフレームワークである。
- カメラ選択において，運転状況に応じて関連カメラを動的に選択することで，人間のような認知模倣を実現した。
- Bench2Driveの評価実験において，最先端（SOTA）の性能を達成し，その有効性を実証した。
FlowMixer：解釈可能な時空間予測のための深さ非依存型ニューラルアーキテクチャ [cs.LG]目的：解釈可能な時空間予測のためのニューラルアーキテクチャ
- 時空間データの予測は，気象，交通，流体力学など多くの分野で不可欠である。
- 深層ニューラルネットワークは高い予測性能を示すが，その解釈可能性は低い。
- 深さ非依存なアーキテクチャにより，予測性能を維持しつつ解釈可能性を高める。
- FlowMixerは，制約された行列演算を用いて時空間パターンをモデル化し，高い解釈性を提供する。
- Kronecker-Koopman固有モードフレームワークを通じて，統計的学習と力学系の理論を結びつける。
- 単一層でありながら，組成によって任意の深さを表現でき，深さ探索を不要にする。
機械学習モデルにおけるアンラーニングの可逆性に関する調査：LLMにおけるアンラーニングは削除ではない [cs.CL, cs.AI, cs.CR, cs.LG]目的：大規模言語モデルにおけるアンラーニングの可逆性と災害性に基づく忘却の様相の特定
- LLMのプライバシー保護や機密情報管理の重要性が増しており，データ削除技術の信頼性が不可欠である。
- 従来のアンラーニング評価はタスクレベル指標に依存し，真のデータ削除効果を捉えきれていない。
- 表現レベルの分析により，アンラーニングの真の忘却度合いを評価し，より堅牢な削除アルゴリズム開発に貢献する。
- 従来の評価指標では見過ごされていた，アンラーニングされたモデルの挙動がわずかなファインチューニングで容易に復元される「可逆性」を明らかにした。
- 表現レベル分析フレームワークを用いて，アンラーニング方法，データドメイン，LLMごとに異なる忘却様相を4つ特定した。
- データソースによって再学習効率が異なり，不可逆かつ非災害的な忘却が特に困難であることを示した。
RAP：LLM推論のための実行時適応プルーニング [cs.LG, cs.AI]目的：LLM推論における実行時適応プルーニング手法
- 大規模言語モデルは高性能だが，計算資源・メモリ消費量が課題となっている。
- 既存手法は固定的な圧縮戦略であり，実行時のメモリ変動に対応できていない。
- 実行時メモリ状態やKV-cache需要に応じて圧縮戦略を動的に調整する。
- RAPは，強化学習を用いてモデルのパラメータとKV-cacheの比率を追跡し，動的にプルーニングを行う。
- RAPは，FFNとAttention層の特性を考慮し，現在のメモリ予算内で有用なコンポーネントを維持する。
- 実験結果から，RAPは既存の最先端手法を上回り，モデル重みとKV-cacheを同時に最適化することを示した。
外部報酬なしでの推論学習 [cs.LG, cs.CL]目的：複雑な推論のための学習手法
- 大規模言語モデルの能力向上は，AIの自律性を高める上で不可欠である。
- 従来の強化学習は，高コストな専門知識に基づく報酬に依存する傾向がある。
- 内部フィードバックによる学習で，外部報酬なしでの推論能力獲得を目指す。
- Intuitorは，モデル自身の確信度を報酬信号として利用することで，外部報酬なしでの学習を実現した。
- 数学的ベンチマークにおいて，従来のGRPOと同等の性能を示し，コード生成のような未学習タスクでも優れた汎化性能を発揮した。
- 検証可能な報酬が得られない自律型AIシステムに対して，スケーラブルな代替手段となり得ることを示唆する。
生成的な薬剤推薦のための細粒度リストワイズアラインメント [cs.LG]目的：薬剤推薦の精度向上と安全性確保
- 複数の疾患を抱える患者への適切な薬剤選択は，臨床判断の重要な要素である。
- 既存システムは個々の薬剤予測に偏り，薬剤間の相乗効果や相互作用を見落としている。
- 薬剤間の相互作用を考慮した，より安全で正確な薬剤リスト生成を目指す。
- 提案手法FLAMEは，薬剤を一つずつ追加または削除する逐次決定プロセスとして推薦を定式化する。
- GRPOとポテンシャルベースの報酬形成により，薬剤間の相互作用を明示的にモデル化し，薬剤ごとの貢献度を最適化する。
- 構造化された臨床知識や共同情報をLLMの表現空間に統合することで，患者モデリングを強化する。
FinTagging：金融情報の抽出と構造化に関するLLMのベンチマーク [cs.CL, cs.AI, cs.CE]目的：金融情報の抽出と構造化のためのLLMの性能評価
- 金融市場と規制当局にとって，財務報告書の数値データの正確な解釈は不可欠である。
- XBRLタグ付けは標準化されているが，多数の要素をGAAP概念にマッピングする作業はコストと誤りが大きい。
- 既存のベンチマークの限界を克服し，より現実的な条件でのLLMの評価を可能にすること。
- FinTaggingは，構造を意識した包括的なXBRLタグ付けベンチマークとして導入された。
- このベンチマークは，数値の識別（FinNI）と概念へのリンク（FinCL）という2つのサブタスクに分解されている。
- 評価の結果，LLMは抽出には優れているものの，詳細な概念へのリンクには苦戦しており，構造認識推論の限界が示された。
拡散モデルと人間の嗜好を一致させるための，安定化・改善された嗜好最適化 (SIPO) [cs.LG, cs.AI]目的：拡散モデルと人間の嗜好の一致
- 画像生成AIにおいて，生成される画像の質を人間の好みに合わせることが重要である。
- 既存手法では，学習の不安定性や，最適化データとモデルの分布のずれが課題となっている。
- SIPOは，学習の安定化とオフポリシーバイアスの軽減を目指す。
- SIPOは，DPO-C&Mと呼ばれる勾配を導入し，重要度の低いタイムステップをクリップまたはマスクすることで，学習を安定化させる。
- タイムステップを考慮した重要度重み付けにより，オフポリシーバイアスを軽減し，有効な更新を強調する。
- SD1.5，SDXL，CogVideoX-2B/5Bなどの様々なモデルで，SIPOが既存手法を安定して上回る性能を示す。
ヴァイスファイラー・レーマンが時の流れに従う：時間的イベントグラフにおけるメッセージパッシングの表現力 [cs.LG]目的：時間的イベントグラフにおけるメッセージパッシングの表現力に関する分析
- 時間的グラフは，時間軸に沿った因果関係を捉える上で重要である。ノード間の相互作用が時間によって変化する。
- 既存のTGNNは，時間的グラフの因果的トポロジーを十分に活用できていない場合がある。
- 時間的グラフの因果的トポロジーを捉えた同型判定の概念を導入し，TGNNの表現力を向上させる。
- 時間整合イベントグラフ同型という概念を定義し，時間的グラフの因果構造を形式的に捉えた。
- この理論的基盤に基づき，時間的グラフニューラルネットワーク向けの新たなメッセージパッシングスキームを開発した。
- 実験評価により，提案手法が時間的グラフ分類において良好な性能を示すことが確認された。
強化学習からの逸脱：アライメントの統一的理論的フレームワーク [cs.LG, stat.ML]目的：大規模言語モデルのアライメントに関する理論的保証の確立
- 言語モデルの性能向上は重要だが，その制御と品質保証が課題となっている。
- 既存のアライメント手法は理論的根拠が弱く，手法間の比較が困難である。
- ペアワイズな選好データからアライメント目標を導き，理論的保証を提供する。
- 提案する3つのアライメント目標（最尤推定，知識蒸留，逆KL最小化）は，ターゲットLMへの$O(1/n)$収束を示す。
- 逆KL最小化はRLHF目標と類似しており，RLHFの理論的根拠を与える。
- オンポリシー目標（RLHF）が，尤度ベースの目標（DPO）よりも優位である理由を説明する。
構造化ラベリングがエンドツーエンド自動運転のための高速なビジョン言語モデルを可能にする [cs.MA, cs.CV, cs.AI]目的：エンドツーエンド自動運転に向けたビジョン言語モデルの高速化
- 自動運転は，社会の安全性と利便性向上に不可欠な技術である。
- 既存の言語記述データセットは機械学習に適しておらず，冗長性が高い。
- 構造化されたデータセットとコンパクトなモデルによる効率的な意思決定を目指す。
- 新データセットNuScenes-Sは，機械学習に優しい構造化された表現を提供する。
- FastDriveは0.9BパラメータのコンパクトなVLMであり，高速な推論を実現する。
- 構造化データセットにおいて，意思決定タスクで約20%の精度向上と，10倍以上の高速化を達成した。
重み安定性に基づくスケーラブルな教師なし特徴選択 [cs.LG]目的：高次元データにおけるクラスタリング性能向上を目的とした教師なし特徴選択
- 高次元データ分析において，不要な特徴量は構造を隠蔽し，解析を困難にするため，特徴選択は重要である。
- 既存手法では，特徴量の重要度を適切に評価できず，ノイズ特徴量を除去できない場合がある。
- ミンコフスキー重み付きk-means++初期化と特徴選択アルゴリズムにより，安定かつ情報量の多い特徴量を選択すること。
- ミンコフスキー重み付きk-means++を新規に提案し，データから特徴量の関連性を確率的に推定する初期化戦略を開発した。
- FS-MWK++とSFS-MWK++という二つの特徴選択アルゴリズムを提案し，ミンコフスキー指数の範囲にわたる特徴量の重みを集約することで安定性を評価した。
- ノイズ特徴量とクラスタ構造に関する仮定の下で，関連特徴量は様々なミンコフスキー指数において一貫して高い重みを持つことを理論的に示した。
近似的に等変なネットワークに対する代数的事前分布 [cs.LG, cs.AI, stat.ML]目的：等変性を持つニューラルネットワークにおける代数的事前分布の導入
- データに内在する対称性を活用することで，ニューラルネットワークの汎化性能を向上させることが期待される。
- 既存手法は，特定のアーキテクチャ制約や大規模なパラメータ，高コストといった課題を抱えている。
- 群表現論に基づき，パラメータを増やすことなく等変性を実現する新しい手法を提案する。
- 有限群に対する等変エンコーダの潜在空間には，データ軌道の数だけ正則表現が含まれることを理論的に証明した。
- 正則表現を補助損失として導入することで，既存の特殊なモデルと同等以上の性能を達成した。
- 正則表現の有効性を検証するため，他の表現との比較実験を行い，常に良好な結果が得られた。
HSG-12M：非ヘミチアン結晶のエネルギースペクトルからの空間マルチグラフの大規模ベンチマーク [cs.LG, cond-mat.mes-hall, cond-mat.other, cs.AI, cs.CV]目的：非ヘミチアン量子物理学におけるハミルトニアンスペクトルグラフのデータセット
- AIによる科学研究の変革が進む中，大規模かつ高品質なドメイン特化型データセットの不足が課題である。
- 非ヘミチアン量子物理学のスペクトルグラフは重要だが，手動抽出に依存しており，体系的な研究が困難であった。
- 本研究は，ハミルトニアンをスペクトルグラフへ自動的に変換するパイプラインを開発し，大規模データセットを構築することで，この問題を解決する。
- HSG-12Mは，1160万個の静的および510万個の動的ハミルトニアンスペクトルグラフを含む，大規模な空間マルチグラフデータセットである。
- 既存のグラフベンチマークが単純なエッジを仮定する中，HSG-12Mは幾何学的情報を保持するマルチエッジに対応し，重要なギャップを埋める。
- スペクトルグラフが多項式，ベクトル，行列の普遍的なトポロジカルフィンガープリントとして機能することが示され，代数とグラフの新たな関連性を提供する。
構造化多様体におけるインコンテキスト学習の理解：注意機構とカーネル法の架け橋 [cs.LG, cs.AI, math.ST, stat.TH]目的：多様体上のH\"older関数の回帰におけるインコンテキスト学習の理論的考察
- 自然言語処理や画像認識でICLが成功する中で，構造化された幾何学的データに対する理論的理解は未開拓である。
- 多様体上のデータに対するICLの汎化性能を理論的に保証する手法が確立されていない。
- 注意機構とカーネル法の関係を明らかにすることで，ICLの理論的基盤を確立することを目指す。
- 注意機構が，プロンプトとの相互作用を通じてカーネルベースの予測を効果的に実行することを示す理論的関係性を確立した。
- 学習されたクエリ・プロンプト間のスコアが，ガウスカーネルとの高い相関性を示すことを数値実験で確認した。
- プロンプト長と学習タスク数に応じた汎化誤差の上限を導出し，ICLが多様体上のH\"older関数の最適な回帰率を達成することを示した。
専門家混合モデルは，厳密な資源制約下で密なLLMを上回ることができる [cs.IR, cs.CL, cs.AI]目的：密なLLMと比較した専門家混合モデルの性能
- 大規模言語モデルの性能向上は，AI研究の重要な進展である。
- 専門家混合モデルの潜在能力が十分に解明されていない。
- 資源制約下での両モデルの性能比較を通して，その限界を探る。
- 最適な活性化率を持つ専門家混合モデルは，同じパラメータ数，計算資源，データ量で密なモデルを上回る。
- この最適な範囲はモデルサイズに依存せず，一貫している。
- データ再利用により，データ量のトレードオフを解消可能である。
LLMにおけるAIアライメント評価：75モデルの価値優先度出力分析と人間によるベンチマーキング [cs.AI, cs.HC]目的：LLM生成テキストを行動データとみなし，表現された価値優先度プロファイルを人間との参照と比較することによる，AIアライメントの一側面評価
- 人間とAIの協調が不可欠となる中，AIシステムの価値観が人間のそれと一致しているかどうかの評価が重要である。
- 既存のAIベンチマークでは，AIシステムの価値観や人間の判断との対応関係が十分に明らかになっていない。
- AIシステムの価値観のずれを検出し，人間とのアライメントを評価するための手法を開発し，提供すること。
- LLMの出力はモデル内で安定しており，モデル間でも共通の価値優先度構造に収束することが示された。
- 多くのモデルは人間の価値観の順序を再現したが，一部のモデルは優先度の差を誇張しており，従来のベンチマークだけではアライメントの誤認識が生じることが示された。
- LLMと人間はともに「自律性」の優先順位を低く評価しており，より自律的なAIシステム開発における重要な問題提起となっている。
勾配ランダム射影によるメモリ効率の良い差分プライバシー学習 [cs.HC, cs.RO, cs.RO, cs.LG]目的：差分プライバシー学習におけるメモリ効率の向上
- 機械学習モデルの訓練において，データのプライバシー保護は重要な課題である。差分プライバシーは有効な手法の一つ。
- 従来の差分プライバシー学習手法は，サンプルごとの勾配クリッピングによりメモリ消費量が大きく，大規模モデルへの適用が困難。
- 本研究は，勾配のランダム射影を用いることでメモリ消費量を削減し，より大規模なモデルでの差分プライバシー学習を可能とする。
- 提案手法DP-GRAPEは，勾配の特異値スペクトルが平坦化される性質を利用し，SVDに基づく射影を必要としない。
- DP-GRAPEは，Vision Transformerの事前学習において，DP-Adamと比較してメモリ使用量を63%以上削減できることを示した。
- また，OPTのような大規模モデル(67億パラメータ)のファインチューニングにDP-GRAPEが適用可能である一方，DP-Adamはメモリ不足により失敗する。
OSWorld-Human: コンピュータ利用エージェントの効率性評価 [cs.AI, cs.LG, cs.OS]目的：コンピュータ利用エージェントの効率性
- 生成AIの発展により，PC操作タスクの自動化が期待される分野であり，実用化には効率性が重要。
- 既存システムは精度向上に注力する一方，処理速度が遅く，実用上の課題となっている。
- 本研究では，コンピュータ利用エージェントの処理時間に着目し，遅延の原因と改善策を探る。
- OSWorldにおける実験から，計画，推論，判断段階での大規模モデル呼び出しが遅延の主要因であることが判明した。
- タスクの進行に伴い，各ステップの処理時間が初期段階の3倍に増加する傾向が確認された。
- OSWorld Humanを用いた評価により，最良のエージェントでも必要ステップ数より2.7～4.3倍多くのステップを要することが示された。
欠損モダリティを考慮した癌分類のためのグラフニューラルネットワーク [cs.LG, cs.AI, q-bio.BM, q-bio.GN]目的：多岐にわたる生物学的データの癌分類における性能向上
- 癌研究では，遺伝子情報など様々なデータ(モダリティ)を統合することで，より正確な診断や治療法の開発が期待される。
- 実際の生物学的データには，患者によって測定できるデータが異なるなど，欠損モダリティが存在する事が多く，分析を困難にする。
- 欠損モダリティが存在する場合でも，既存手法の欠点を克服し，高い分類精度を実現することを目指す。
- 提案手法MAGNETは，患者とモダリティ間の動的な注意機構を用いて，モダリティの貢献度や欠損状況に応じて柔軟に情報を融合する。
- MAGNETの計算量はモダリティ数に対して線形に増加するため，大規模なデータにも適用可能である。
- ３つの公開オミクスデータセットを用いた実験により，MAGNETが既存手法を上回る性能を示すことが確認された。
HDTree：細胞階層の生成モデリングによるロバストな譜系推論 [cs.LG, q-bio.QM]目的：単細胞研究における細胞譜系の推論のための生成モデル
- 単細胞研究は生物学的プロセスの理解に不可欠であり，細胞の分化経路の追跡と解析が重要である。
- 従来の推論手法は計算コスト，性能，安定性に課題があり，大規模なデータへの適用が困難である。
- HDTreeは，細胞状態の連続的な変化を捉え，安定性とスケーラビリティを向上させ，より生物学的に妥当な譜系推論を目指す。
- HDTreeは，階層的な潜在空間と量子化された拡散過程を用いて，細胞の樹状関係を効果的にモデル化する。
- 汎用データセットと単細胞データセットの両方において，既存の手法と比較して，譜系推論の精度，再構成品質，階層的一貫性において優れた性能を示した。
- Waddingtonランドスケープに生成過程を整合させることで，推論の安定性と生物学的な妥当性を高めることに貢献する。
CooT：協調変換器による文脈内協調学習 [cs.AI, cs.HC, cs.LG]目的：マルチエージェントにおける協調メカニズム
- マルチエージェントシステムにおいて，未知の相手方との効果的な協調は重要課題である。
- 既存手法は多様性を高めるものの，訓練分布外への効率的な適応が困難である。
- 本研究は，文脈内学習を用いて，リアルタイムでの相手方への適応を可能とする。
- CooTは，OvercookedとGoogle Research Footballの二つのベンチマークで，既存手法を上回る性能を示した。
- CooTは，パラメータ更新なしに，安定かつ迅速な適応を達成する。
- 人間評価では，CooTは好ましい協力者と評価され，相手方の変化への迅速な適応能力が確認された。
LLMエージェントは囲い庭園に対する解毒剤である [cs.LG, cs.CL, cs.CY, cs.SI]目的：普遍的な相互運用性の実現
- インターネットの基盤は開かれ普遍的であったが，現在のアプリケーション層は閉鎖的なプラットフォームに支配されている。
- オープンなAPIは投資が必要であり，市場のリーダーはユーザーの囲い込みを避けるインセンティブが少ない。
- LLMエージェントを活用し，データ交換のコストを削減することで，ユーザーの自由と競争市場を回復することを目指す。
- LLMベースのエージェントは，データ形式の自動翻訳と人間向けのインターフェースとの対話により，相互運用性を劇的に低コスト化し，回避不可能にする。
- この変化は「普遍的な相互運用性」と呼ばれ，あらゆるデジタルサービスがAIを介したアダプターを用いてシームレスにデータ交換できるようになる。
- 普遍的な相互運用性は独占的な行動を抑制し，データポータビリティを促進する一方で，新たなセキュリティリスクや技術的負債，法的摩擦も生じさせる可能性がある。