arXiv雑要約
AI - 2026/04/20 公開
逐次モンテカルロ法による高速LLM推論 [cs.RO, cs.LG, cs.CL]目的：言語モデル推論の高速化
- LLMは強力だが，推論速度がボトルネックとなり，実用上の制約となっている。
- 投機的デコーディングは高速化の一策だが，提案モデルとターゲットモデルの乖離で性能が低下する。
- 逐次モンテカルロ法により，提案トークンをリウェイトすることで，性能低下を抑制し，高速化を図る。
- 逐次モンテカルロ投機的デコーディング（SMC-SD）は，投機的デコーディングに対し2.36倍の速度向上を実現した。
- SMC-SDは，自己回帰デコーディングに対し5.2倍の速度向上を達成した。
- SMC-SDは，推論，指示応答，コーディングのベンチマークにおいて，ターゲットモデルの精度範囲内で性能を維持した。
階層的後続表現を用いた活性推論 [cs.LG, cs.AI, cs.CV]目的：活性推論における階層的計画手法
- 脳の知覚・行動・学習を統合的に説明する枠組みとして注目されている。
- 複雑な現実環境下での大規模問題への適用が課題であった。
- 脳に見られる多段階の階層的表現を取り入れ，効率的な計画を可能にする。
- 下位レベルの後続表現を用いて，上位レベルの抽象的な状態を学習できることを示した。
- 下位レベルでの活性推論に基づく計画が，上位レベルの抽象的行動の学習を促進することを示した。
- 学習された抽象的な状態と行動が，効率的な計画を可能にすることを示した。
ニューラル連続時間マルコフ連鎖：デカップルドな跳躍タイミングと方向による離散拡散 [cs.CE, eess.SY, cs.SY, cs.CL, cs.LG, math.PR]目的：離散拡散モデルにおける連続時間マルコフ連鎖のパラメータ化方法
- 言語や離散データ生成において，連続時間マルコフ連鎖に基づく離散拡散モデルは高い性能を示す。
- 既存手法では，逆レート行列を単一のオブジェクトとしてパラメータ化しており，マルコフ連鎖の本質的な構造を反映していない。
- 跳躍タイミングと跳躍方向を分離してパラメータ化することで，より原理に基づいたモデルを構築し，性能向上を目指す。
- 提案手法Neural CTMCは，跳躍タイミングと跳躍方向をそれぞれ別のネットワークヘッドでパラメータ化する。
- 学習目的関数は，跳躍タイミングと跳躍方向によって完全に制御され，ポアソンKLダイバージェンスとカテゴリカルKLダイバージェンスに分解される。
- OpenWebTextデータセットにおいて，マスクベースの手法を上回る性能を達成した。これは，均一なフォワードプロセスを用いた純粋な手法として初めてである。
パラノイアの代償：非定常マルチエージェント強化学習におけるロバストなリスク感受性のある協調 [cs.GT, cs.AI]目的：協調均衡の脆弱性とその安定化手法
- マルチエージェントシステムにおいて，協調は効率的な意思決定に不可欠である。しかし，その実現は困難を伴う。
- エージェントの学習過程で生じる相互作用のノイズが協調均衡を不安定化させることが問題となる。
- パートナーの不確実性に対するロバスト性を高め，協調均衡を安定化させる手法を提案する。
- 標準的なリスク中立学習では，協調均衡はパートナーノイズによって指数関数的に不安定化することが示された。
- 分散ロバスト性を適用しても状況は悪化する一方，ポリシー勾配更新の分散に着目することで改善がみられた。
- パートナーの予測不能性をオンラインで測定し，それに基づいて勾配更新を調整するアルゴリズムを提案した。
周波数破壊に基づくグラフ自己教師あり学習 [cs.LG, cs.SI]目的：グラフ表現学習における汎化性能の向上
- グラフ構造データは，推薦システムやソーシャルネットワーク等，様々な分野で重要性を増している。
- 従来の自己教師あり学習手法では，高周波数信号の活用が不十分であり，局所的なパターンへの過学習が課題である。
- 本研究は，高周波数情報に着目したグラフ破壊により，よりロバストで汎化性能の高い表現学習を目指す。
- 周波数破壊に基づくグラフ自己教師あり学習（FC-GSSL）を提案し，高周波数情報に偏った破壊グラフを生成する。
- 複数のサンプリング戦略により多様な破壊グラフを生成し，それらのノード表現を整合させることで，有用な周波数組み合わせを発見する。
- ノード分類，グラフ予測，転移学習の実験により，FC-GSSLが既存手法と比較して性能と汎化性能を向上させることが示された。
大規模言語モデルの自己モニタリングのためのメタ認知モニタリングバッテリー：クロスドメインベンチマーク [cs.CL, cs.CL, cs.LG]目的：大規模言語モデルにおけるモニタリングと制御の結合に関する行動評価
- 人工知能の信頼性向上は重要であり，特に大規模言語モデルの自己認識能力の評価が不可欠である。
- 大規模言語モデルの自己モニタリング能力の客観的な評価方法が確立されていない。
- 大規模言語モデルのメタ認知能力を定量的に評価するためのベンチマークを提供すること。
- 本バッテリーは，6つの認知ドメインにわたる524項目から構成され，大規模言語モデルの自己モニタリング能力を詳細に評価できる。
- 20種類の最先端大規模言語モデルを分析した結果，自信度，撤回，選択的感応性の3つのプロファイルが明らかになった。
- メタ認知のキャリブレーションはモデルのアーキテクチャに依存し，モデルごとの特性が確認された。
ロバストな内生推論に向けて：非定常なチューニングにおけるドリフト適応の統合 [cs.IR, cs.LG]目的：マルチモーダル大規模言語モデルにおける内生推論ドリフトへの適応
- マルチモーダル大規模言語モデルの人間価値や特定ドメインへの適合は重要である。
- 外的な分布シフトへの対策は進むが，モデル内部で発生する推論の非定常性は未解明である。
- 自律的なドリフト適応により，マルチモーダル推論の信頼性とロバスト性を向上させる。
- 提案手法CPO++は，思考と知覚の両面において，マルチモーダル概念ドリフトに対応する。
- 医療診断と自動運転という動的な環境下で，推論の一貫性，意思決定の精度，ロバスト性が向上した。
- また，ドメインを跨いだゼロショット汎化性能も高く，安全性が重要な応用分野での信頼性向上に貢献する。
モンテカルロ木探索によるエージェントスキル両水準最適化 [cs.AI]目的：エージェントスキルの両水準最適化
- 大規模言語モデルエージェントの性能向上において，エージェントスキルは重要な役割を担う。
- スキル構造と内容の相互依存性から，スキルの体系的な最適化は困難である。
- スキル構造と内容を同時に最適化することで，エージェントの性能改善を目指す。
- 提案手法では，モンテカルロ木探索でスキル構造を決定し，内ループで内容を洗練させる両水準最適化フレームワークを採用した。
- 実験結果から，最適化されたスキルを用いたエージェントは，Operations Research Question Answeringデータセットにおいて性能が向上することが示された。
- 大規模言語モデルを活用することで，最適化プロセスを支援している。
病理画像分類のための自己教師ありハイブリッド状態空間モデルSSMamba [cs.CV, cs.AI]目的：病理画像分類における特徴抽出と性能向上
- 病理診断は画像分析に依存し，病理画像の解析は医療の質を左右する重要な課題である。
- 既存モデルは，拡大率の違いや局所・大域的関係性のモデリング，微細な特徴の認識に課題がある。
- 本研究は，ドメイン適応技術を用いて，これらの課題を克服し，高精度な病理画像分類を目指す。
- SSMambaは，ターゲットROIデータセットを用いた自己教師あり学習と教師ありファインチューニングの2段階パイプラインで構築された。
- 10の公開ROIデータセットで11の最先端病理Foundation Modelを上回り，6つのWSIデータセットで8つのSOTA手法を上回る性能を示した。
- これらの結果は，病理画像解析のためのタスク固有のアーキテクチャ設計の有効性を示すものである。
イザベルに打ち込むだけ！AIエージェントによるヒントからの定式化，機械化，一般化 [cs.LO, cs.AI, cs.PL]目的：ランク1多型ラムダ計算項に対する完全かつ最小な型注釈の生成
- プログラムの正確性を保証するため，型情報は不可欠である。再解析や型推論においても意味を保持する必要がある。
- 型注釈の手動生成は時間と労力がかかる。また，最小性という制約も加わるため，困難な課題である。
- AIエージェントを活用し，人間のヒントから型注釈を自動生成・洗練することで，定式化の効率化を目指す。
- 本研究では，型注釈問題に対する形式的な仕様と証明を提供し，イザベル/HOLで形式化を行った。
- 人間とLLM搭載AIエージェントがそれぞれ筆記による証明を作成し，AIエージェントが両方をイザベルに自動形式化することを実験的に示した。
- 人間のヒントを介したAI介入により，開発の洗練と一般化を促進できることを確認した。
スパイクニューラルネットワークを用いた電力変換器の健全性監視のためのニューロモルフィックパラメータ推定 [cs.NE, cs.LG, cs.SY, eess.SY]目的：電力変換器の健全性監視に用いるパラメータ推定手法
- 電力変換器の信頼性向上は，電力供給システムの安定性と効率に不可欠である。
- 従来の健全性監視手法は，消費電力が大きく，エッジデバイスでの常時監視には不向きである。
- 低消費電力で常時監視可能な，ニューロモルフィックハードウェアに適したパラメータ推定手法を開発する。
- スパイクニューラルネットワーク（SNN）を用いることで，従来のニューラルネットワークと比較して受動部品の抵抗誤差を大幅に低減した。
- SNNは，同期バックコンバータのベンチマークにおいて，受動部品の抵抗誤差を25.8%から10.2%に削減し，製造公差内に収めた。
- 膜電位の持続状態を利用することで，劣化追跡やイベント駆動型の故障検出が可能となり，スパイクレートが急激に変化することで故障を検出した。
GTA-2：原子的なツール利用からオープンエンドなワークフローへの汎用ツールエージェントのベンチマーク [cs.CL, cs.AI]目的：汎用ツールエージェントの性能評価
- AIエージェントの実用化には，複雑な現実世界のタスクをこなす能力が不可欠である。
- 既存のベンチマークは現実世界との乖離があり，AI生成クエリや模擬ツールに依存している。
- 現実世界のユーザクエリや実際のツールを用いて，エージェントの性能をより正確に評価すること。
- GTA-2は，原子的なツール利用とオープンエンドなワークフローを網羅する階層的なベンチマークである。
- 最先端モデルは，原子的なタスクでも50%以下の精度に留まり，ワークフロータスクでは14.39%の成功率しか達成できていない。
- チェックポイントによるフィードバックや，ManusやOpenClawといった高度なフレームワークがワークフロー完了率を向上させることが示された。
NeuroLip：クロスシーンにおける唇運動に基づく視覚的音声認識のためのイベント駆動型時空間学習フレームワーク [cs.CV, cs.AI, cs.CR, cs.DB, cs.LG]目的：クロスシーンにおける唇運動に基づく視覚的音声認識のためのフレームワーク
- 音響信号に依存せず，静かでハンズフリーな認証技術として，視覚的音声認識は有用である。
- 従来のフレームベースのカメラでは，モーションブラーやダイナミックレンジの制限により，微細な唇運動の捕捉が困難である。
- イベントベースのカメラを用いて唇運動の安定性を活用し，クロスシーンでの汎化性能を向上させる。
- 提案手法NeuroLipは，適応的イベント重み付け，構造を意識した空間エンハンサー，極性一貫性正則化を特徴とする。
- 実験により，NeuroLipはマッチングシーンでほぼ完璧な精度を達成し，未知の視点や低照度環境下でも高い汎化性能を示した。
- NeuroLipは，既存手法と比較して，未知の視点で71%以上，低照度下で約76%の精度を達成し，少なくとも8.54%の性能向上を示した。
未来を漏洩する世界：進化を活用した未来予測エージェント [cs.AI]目的：未来予測に関する研究
- 重要な意思決定は，結果が不明な段階で行われる場合が多い。そのため，正確な未来予測が不可欠である。
- 既存の手法は，最終的な結果に基づいて改善されることが多く，初期段階での要因追跡や不確実性の処理が課題である。
- 予測ハーネスを進化させることで，結果が不明な段階での予測精度向上を目指す。
- Milkywayは，未来予測ハーネスを進化させることで，内部フィードバックを活用し，予測の改善を試みた。
- FutureXデータセットにおいて，Milkywayは既存手法を上回り，スコアを44.07から60.90へと向上させた。
- FutureWorldデータセットにおいても同様に，スコアを62.22から77.96へと大幅に改善した。
ハンドヘルド眼底画像における教師なしアーチファクト除去のための拡散オートエンコーダ [cs.CV, cs.AI]目的：ハンドヘルド眼底画像中のアーチファクト除去
- 眼底画像は，眼科診断や疾患スクリーニングにおいて重要な役割を担う。
- ハンドヘルド眼底画像は，反射，露出ムラ，ブレなどのアーチファクトの影響を受けやすい。
- 非構造化されたアーチファクトへの適応性を向上させる教師なしアーチファクト除去手法の開発。
- 本研究では，コンテキストエンコーダを組み込んだ拡散オートエンコーダを提案し，アーチファクト除去のための意味のある表現学習を実現した。
- 高品質な卓上眼底画像のみを用いて学習し，アーチファクトを含むハンドヘルド眼底画像の修復を推論する。
- 評価の結果，診断精度は未知のデータセットと複数のアーチファクト条件下で81.17％に向上した。
大規模推論モデルに対する意味的トリガーと心理的フレーミングを用いた推論ターゲット型脱獄攻撃 [cs.LG, cs.AI]目的：大規模推論モデルの推論過程における安全性評価と，有害なコンテンツの注入
- 医療や教育など，重要な分野での利用が進む中で，大規模推論モデルの安全性確保が不可欠である。
- 既存研究は最終的な回答の安全性に焦点を当てていたが，推論過程の安全性には十分な注意が払われていなかった。
- 推論過程に有害な情報を組み込みながら，最終回答を変えない攻撃手法に対処すること。
- 本研究で提案するPRJAフレームワークは，意味的分析による操作的な推論トリガーの選択と，心理学的理論に基づいた指示の生成を組み合わせる。
- 実験の結果，PRJAはDeepSeek R1，Qwen2.5-Max，OpenAI o4-miniを含む複数の商用大規模推論モデルに対して平均83.6%の攻撃成功率を達成した。
- PRJAは，権威への服従や道徳的離脱といった心理学的な要素を利用し，有害なコンテンツ生成へのモデルのコンプライアンスを高める。
LLMの推論は潜在的なものであり，思考の連鎖ではない [cs.AI]目的：大規模言語モデルの推論のあり方に関する研究
- LLMの性能向上に伴い，その推論メカニズムの理解が不可欠となっている。
- 思考の連鎖（CoT）が推論の主要なメカニズムと見なされがちであるが，その妥当性に疑問が残る。
- LLMの推論を潜在状態軌道の形成として捉え，より正確な理解を目指す。
- 本研究では，LLMの推論は表面的な思考の連鎖ではなく，潜在状態の変化によって行われる可能性が高いことを示唆している。
- 既存の研究を分析し，計算量に基づいた検証を行うことで，潜在状態軌道が推論の主要なメカニズムであるという仮説を支持する証拠が得られた。
- 今後のLLMの推論研究においては，潜在状態ダイナミクスを主要な研究対象とし，表面的な思考の連鎖，潜在状態，計算量を明確に区別する評価手法を用いるべきである。
LLMのための代数的invariantに基づく構造化アブダクション・演繹・帰納的推論 [cs.AI, cs.LG, cs.LO]目的：大規模言語モデルにおける構造化論理的推論の枠組み
- AIの信頼性向上には，論理的推論能力の強化が不可欠である。
- LLMは，仮説生成と検証を混同し，推論過程で誤りが累積しやすい。
- 論理的整合性を保証する推論プロトコルをLLMに実装し，推論の信頼性を向上させる。
- 本研究では，パースの三分割推論に基づいた記号的推論フレームワークを提案した。
- Gamma Quintetという5つの代数的invariantを用いて論理的整合性を強制し，特にWeakest Link boundによって推論の信頼性を保証する。
- 10万件以上のケースで検証を行い，今後の推論ベンチマークの基盤となる実装を提供した。
プライバシー保護LLMルーティング [cs.CR, cs.AI]目的：LLMルーティングにおけるプライバシー保護
- LLMの利用拡大に伴い，コスト効率と性能向上が重要課題となっている。
- LLMルーティングは新たなプライバシーリスクを生み出すが，体系的な研究が不足している。
- MPC等の暗号技術を活用し，LLMルーティングのプライバシー保護と効率性を両立すること。
- 提案手法PPRouteは，MPC環境下でのエンコーダ推論と最近傍探索を高速化する複数の戦略を導入している。
- MPCに最適化された演算や複数段階のモデル学習により，ルーティング品質を維持しつつ，パフォーマンスを向上させている。
- 特に，モデル検索における安全なソートのための非ソートTop-kアルゴリズムは，通信遅延を大幅に削減し，ナブ実装比約20倍の高速化を達成した。
MambaBack：全スライド画像解析における局所特徴と大域的文脈の架け橋 [cs.CV, cs.AI]目的：全スライド画像解析における，局所特徴と大域的文脈の統合
- 病理診断において，全スライド画像の解析は重要な役割を担い，がん診断の精度向上に不可欠である。
- 既存のMILアプローチは，空間的局所性の損失，微細な細胞構造のモデリング不足，エッジデバイスでのメモリ使用量といった課題を抱えている。
- MambaとGated CNNsの利点を組み合わせ，空間的局所性を維持し，メモリ効率を向上させることで，これらの課題を解決することを目指す。
- 提案手法MambaBackは，Hilbertサンプリングと階層構造により，空間的局所性と大域的文脈の両方を効果的に捉え，多スケール表現を強化する。
- 非対称チャンキング設計により，学習時の並列処理と推論時のメモリ使用量削減を実現し，エッジデバイスへの展開を可能にする。
- 5つのデータセットを用いた実験の結果，MambaBackは7つの最先端手法を上回り，優れた性能を示すことが確認された。
スケッチとテキストの相乗効果：構造的輪郭と記述的属性の融合による詳細画像検索 [cs.CV, cs.AI]目的：詳細画像検索におけるスケッチとテキストの相乗効果
- 画像検索の精度向上は，情報検索の重要な課題であり，多様な検索手段の確立が求められている。
- スケッチとテキストは，それぞれ異なる情報を持つため，両者の情報を効果的に融合することが困難である。
- スケッチの構造的特徴とテキストの記述的特徴を融合することで，より高精度な詳細画像検索を実現する。
- 提案手法STBIRは，スケッチとテキストの情報を効果的に融合することで，既存手法を凌駕する検索性能を達成した。
- カリキュラム学習によるロバスト性向上モジュールと，カテゴリ知識に基づく特徴空間最適化モジュールが性能向上に貢献している。
- 新たに構築したSTBIRベンチマークデータセットを用いて，提案手法の有効性を厳密に検証した。
色の理由：クラスタリングを困難にする要因，公平性の代償，色結合アルゴリズムによる色相関クラスタリング [cs.LG]目的：色相関クラスタリングの性能限界とその改善策の解明
- 相関クラスタリングは，データ間の関係性を明らかにする重要な手法である。
- 色相関クラスタリングは，標準的な相関クラスタリングよりも性能限界が厳しく，近似アルゴリズムの精度が低い。
- 色結合アルゴリズムを導入することで，色相関クラスタリングの性能限界を改善し，より高精度なクラスタリングを実現する。
- 色相関クラスタリングにおける性能低下の要因が，色間の干渉にあることを理論的に証明した。
- 色結合アルゴリズムC4を提案し，色相関クラスタリングの近似率を改善することに成功した。
- 実験結果は，提案手法が理論予測と一致し，公平性制約下でも優れた性能を発揮することを示している。
大規模言語モデルにおける逐次的な内部分散からの不確実性学習 [cs.IR, cs.CY, cs.CL, cs.AI]目的：大規模言語モデルにおける幻覚検出のための不確実性推定
- 言語モデルの信頼性向上は，実用化において重要な課題である。
- 既存手法は，隠れ層の状態変化やトークン選択に強い仮定を置いている。
- 内部表現の分散に着目し，モデルやタスクに依存しない汎用的な手法を開発する。
- 提案手法SIVRは，層ごとの隠れ状態から得られる分散を学習し，幻覚を高い精度で検出する。
- SIVRは，既存手法と比較して優れた汎化性能を示し，大規模な学習データに依存しない。
- トークンごとの分散を時系列的に集約することで，事実誤認のパターンを捉え，情報損失を防ぐ。
事前活性化ResNetに対する集合カーネル有効場理論 [cs.LG, hep-th, stat.ML]目的：有限幅の深層ニューラルネットワークにおける経験的カーネルの進化
- 深層学習の理論的理解は，その性能向上と信頼性確保に不可欠である。
- 深層ニューラルネットワークの学習過程は複雑であり，その解析が困難である。
- ResNetのカーネル進化を有効場理論で記述し，その適用範囲を明らかにすること。
- 経験的カーネル$G$の層間での確率的変動を，集合カーネル有効場理論を用いて解析した。
- 平均カーネル$K_0$は全深層において正確に予測できるが，$V_4$方程式の残差は有限時間で$O(1)$のエラーを蓄積する。
- 有効場理論による平均補正$K_{1,\mathrm{EFT}}$は，ソースクロージャの崩壊により失敗し，初期化時にもずれが生じる。
ハイパーグラフモデルに基づく影響力最大化のための離散粒子群最適化の強化 [cs.CL, cs.SI, cs.NE]目的：ハイパーグラフモデルにおける影響力最大化手法
- 複雑ネットワーク分析において，影響力最大化は重要な課題であり，現実世界の多様な応用例が存在する。
- 既存手法は標準グラフに依存し，現実システムに存在する高次の相互作用を捉えきれていない。
- 高次相互作用を捉えたハイパーグラフモデルを用いて，影響力のあるノードを効率的に特定することを目指す。
- 提案手法は，合成および現実世界のハイパーグラフにおいて，既存手法よりも優れた性能を示すことが実験的に確認された。
- 局所探索および初期化戦略の有効性が，消去実験によって検証された。
- 粒子群最適化アルゴリズムと閾値モデルを組み合わせることで，影響力の評価を効率化し，探索空間の拡大を抑制した。
DepCap：効率的な拡散言語モデル推論のための適応的ブロック単位並列デコーディング [cs.LG, cs.AI]目的：拡散言語モデルの効率的な推論
- 拡散言語モデルは，並列デコーディングが可能であり，従来の自己回帰モデルの代替となり得る。
- 既存のブロック単位デコーディング法は，ブロック境界の決定や衝突回避に課題があり，速度と品質のトレードオフが限られている。
- DepCapは，ブロック境界の決定と衝突検知を改善し，推論速度の向上と品質維持を目指す。
- DepCapは，最後にデコードされたブロックの影響を考慮してブロック境界を適応的に決定する。
- 各ブロック内で，衝突の起こらないトークン集合を特定し，安全な並列デコーディングを実現する。
- 様々な拡散言語モデルで，性能劣化を最小限に抑えながら最大5.63倍の高速化を達成した。
多目的強化学習における拡張状態は展開後も報酬を必要とする [cs.LG]目的：多目的強化学習における拡張状態の使用に伴う報酬継続の必要性
- 強化学習は，複雑な意思決定問題において最適な行動戦略を学習する強力な手法である。
- 多目的強化学習では，複数の目的を同時に最適化する必要があり，状態表現が重要となる。
- 拡張状態を用いる場合，展開後も報酬シグナルが不可欠となるという課題を明らかにする。
- 拡張状態は，割引累積報酬を状態に含めるため，展開後も報酬情報が必要となる。
- 報酬への継続的なアクセスがない場合，拡張状態は最適政策の維持を妨げる可能性がある。
- この発見は，実環境への展開における多目的強化学習の適用に重要な影響を与える。
KWBench：知識労働における自発的な問題認識の測定 [cs.AI, cs.GT]目的：大規模言語モデルにおける知識労働の自発的な問題認識能力の評価
- 知識労働は高度な認知能力を必要とし，経済活動において重要な役割を担っている。
- 既存のベンチマークは飽和状態にあり，知識労働の評価はタスク遂行に偏りがちである。
- 問題解決の前に，状況の構造を認識する能力の評価を目指す。
- KWBenchは，買収，契約交渉など6分野の223タスクで構成されている。
- 最良のモデルでもタスクの27.9%しか正しく認識できず，トップモデル間でも合意率は低い。
- モデルは問題の種類を尋ねられると正しく回答できるが，自発的には適用できない場合がある。
フレンジティックキャットに着想を得た粒子最適化：心臓デジタルツインへの応用を伴うマルコフ状態切り替えハイブリッドスワームオプティマイザー [cs.NE, math.OC]目的：高コストなブラックボックス環境における最適化手法の効率性向上
- 心臓デジタルツインなどのシミュレーションでは，最適化が計算コストに大きく影響する
- 既存の最適化手法では，評価回数に制限がある状況下での効率が課題となる
- 本研究では，探索と洗練をオンラインで制御するハイブリッドスワームオプティマイザーを提案し，効率的な最適化を実現する
- FCPOは，CEC 2022の5つの代表的な関数において，既存手法よりも平均実行時間で2.3～2.6倍高速であった。
- 多峰性関数の最適化において，FCPOはCMA-ESよりも優れた平均目的関数値と実行時間を示した。
- 心臓デジタルツインの較正タスクにおいて，FCPOは少ない反復回数で目標とするECGの精度に到達し，生理学的に妥当な活性化マップを生成した。
UAV群におけるゼロショットスケーラブルな回復力：物理情報に基づいたグラフ相互作用による分散型模倣学習フレームワーク [cs.LG]目的：大規模UAV群における分散型回復の実現
- UAV群は様々な用途で活用が期待され，その信頼性確保が重要である。
- 大規模UAV群は，部分的な故障によりネットワークが分断されやすく，回復が困難である。
- 本研究は，分断されたネットワークにおいても，スケーラブルかつ効率的な回復を目指す。
- 提案手法PhyGAILは，物理情報に基づいたグラフニューラルネットワークを用いて局所的な相互作用をモデル化する。
- 中央集権的な訓練と分散型実行を組み合わせることで，スケーラビリティと性能を両立している。
- 20機のUAV群で訓練したポリシーが，最大500機のUAV群へ転移可能であり，既存手法よりも高い性能を示した。
早期終了型ネットワークはいつ一般化するか：適応深さのPAC-ベイズ理論 [cs.LG, cs.AI]目的：早期終了型ネットワークの一般化性能に関する理論的理解
- 深層学習モデルの効率的な推論は重要であり，計算資源の削減に繋がる。
- 早期終了型ネットワークの一般化性能は未解明であり，理論的な裏付けが不足している。
- 適応深さを持つネットワークの一般化誤差の限界をPAC-ベイズ理論によって解析する。
- 出口深さのエントロピーと期待深さに依存する一般化誤差の限界を初めて導出した。
- 導出された係数は$\sqrt{2\ln 2} \approx 1.177$であり，完全な導出過程が示されている。
- 特定の条件下で，適応深さネットワークが固定深さネットワークを厳密に上回ることが示された。
cuNNQS-SCI：ニューラルネットワーク量子状態を用いた高性能構成相互作用選択のための完全GPU加速フレームワーク [cs.HC, cs.DC, cs.AI, cs.CE]目的：複雑な多体系におけるシュレーディンガー方程式の正確な解法
- 量子化学計算において，高精度な分子構造や物性予測は重要な課題である。
- 従来の構成相互作用法は，計算コストが高く，大規模系への適用が困難である。
- 本研究では，GPUの並列処理能力を最大限に活用し，大規模系への適用を可能とする。
- cuNNQS-SCIは，既存のNNQS-SCIと比較して，最大2.32倍の高速化を実現した。
- 分散環境において高い並列効率(90%以上)を維持し，大規模計算を効率的に実行可能である。
- GPUメモリ中心のランタイムにより，より大規模な構成空間を扱えるようになった。
スパイク変換器における理論と実践のギャップを効果的な次元によって埋める [cs.LG, cs.AI]目的：スパイク自己注意の表現力理論
- 脳型コンピューティングのエネルギー効率向上は，AIの発展において重要な課題である。
- スパイク変換器の設計には理論的指針がなく，試行錯誤に頼る部分が多い。
- スパイク変換器の表現力とスパイク数の関係を理論的に解明し，効率的な設計指針を提供する。
- スパイク注意機構が連続的な関数を近似できることを理論的に証明した。
- 入力依存の次元に基づいてスパイク数を予測し，少ないステップ数で高精度を実現できることを示した。
- 実験結果は予測と一致し，脳型変換器設計の新たな基礎となる理論体系を確立した。
量子強化LSTMを用いた連合学習：高エネルギー物理への応用 [cs.CL, cs.RO, cs.CL, cs.LG, hep-ex, quant-ph]目的：高エネルギー物理における大規模データセットと情報重要アプリケーション向けの，堅牢かつ正確なモデルの実現
- 高エネルギー物理学では，膨大なデータから有用な情報を抽出する必要があり，高度な機械学習モデルが不可欠である。
- 既存の機械学習モデルは，計算コストが高く，学習に必要なデータ量が多いという課題がある。
- 本研究は，量子強化LSTMと連合学習を組み合わせることで，少ないデータと計算資源で高性能なモデルを構築することを目指す。
- 提案手法は，既存の変分量子回路（VQC）ベースの量子機械学習技術と比較して優れた性能を示した。
- 本手法は，古典的な深層学習ベンチマークと同程度の性能（$\Delta \sim \pm 1\%$）を，より少ないパラメータ数（<300）とデータ量（20Kデータポイント）で実現した。
- これにより，LSTMベースのアーキテクチャと量子強化VQCを組み合わせたモデルの学習能力が向上することが示された。
PIIBench：個人識別情報検出のための統一マルチソースベンチマークコーパス [cs.CL, cs.AI]目的：個人識別情報（PII）検出に関する統一ベンチマークコーパスの構築
- 個人情報保護の重要性が高まる中，自然言語処理におけるPII検出技術の精度向上が求められている。
- 既存のPII検出リソースは分野ごとに分散しており，アノテーションスキームが互換性がないため，システム間の比較が困難である。
- 異なるデータセットを統合し，標準化することで，PII検出システムのより客観的な評価を可能にすることを目指す。
- PIIBenchは，48種類のPIIエンティティタイプに対して，2,369,883個のアノテーションシーケンスと335万個のエンティティメンションを含む大規模なコーパスである。
- 既存の8つのシステムを評価した結果，どのシステムもF1スコアが0.14以下であり，特にリコールが低いことが示された。
- この結果は，PII検出におけるドメイン固有の問題を定量的に示し，PIIBenchが既存のデータセットよりも困難かつ包括的な評価課題であることを示している。
SegMix：シャッフルに基づくフィードバック学習による病理画像のセマンティックセグメンテーション [cs.CV, cs.AI]目的：病理画像のセマンティックセグメンテーションのための，シャッフルに基づくフィードバック学習手法
- 病理診断の精度向上に不可欠であり，迅速かつ正確な診断を支援することで医療の質を高める。
- 高品質なピクセルレベルの教師データ取得に専門家による膨大な労力がかかり，深層学習の適用を制限している。
- 画像レベルのラベルのみを用いて，質の高い疑似セグメンテーションマスクを生成し，教師データ不足の問題を解決する。
- 提案手法SegMixは，病理画像のシャッフル戦略を学習を通じて適応的に調整し，より高品質な疑似マスクを生成する。
- 3つの異なるデータセットにおいて，既存の最先端手法を上回る性能が確認された。
- カリキュラム学習に着想を得て，シャッフル操作によるデータ拡張とフィードバック学習を組み合わせることで，セグメンテーション精度を向上させている。
安全でないチケットの剪定：より安全で堅牢なLLMのためのリソース効率的なフレームワーク [cs.DC, cs.LG, cs.CL]目的：大規模言語モデルにおける安全でない挙動の除去と，その堅牢性向上
- 機械学習モデルの実世界での利用が増加しており，安全性確保が重要となっている。
- 既存のAlignment手法では，有害な出力を引き起こす潜在的な危険な部分が残存する。
- 本研究では，リソース効率的に危険なパラメータを特定・除去し，安全性を高めることを目指す。
- 提案手法は，勾配を用いない手法で，少ないGPUリソースで様々なモデルに適用可能である。
- 実験により，有害な生成物の大幅な削減と，jailbreak攻撃に対する堅牢性の向上が確認された。
- モデルは「安全でないチケット」と「安全なチケット」を含んでおり，剪定によって安全な部分が明らかになることが示唆された。
セルラーネットワークデータと料金所計数データの融合による都市交通流推定 [cs.HC, cs.LG, physics.soc-ph]目的：都市交通流の推定
- 都市交通インフラ整備計画には，交通シミュレーションが不可欠であり，車両種別の起源地-目的地(OD)データが求められる。
- 既存のデータソースは不完全であり，料金所センサーは車両種別計数に正確だが範囲が狭く，セルラーネットワークデータは広範だが詳細な分類やバイアスが課題である。
- 本研究は，料金所計数データを基盤として，セルラーネットワークデータの補正と分類を通じて，より正確なODデータ推定を目指す。
- 機械学習フレームワークにより，セルラーネットワークデータのバイアスが補正され，車両種別ごとのODマトリックスが生成された。
- 限られた正確なセンサーデータを利用することで，広範だが集計された移動データが補正され，交通流の背景交通量を推定できることが示された。
- 本フレームワークは，データ不足の状況下でもインフラ計画のための詳細な交通シミュレーションを可能にする汎用的なアプローチを提供する。
類似度に基づく自転車シェアリングステーション拡張：ハイブリッドノイズ除去オートエンコーダーによるアプローチ [cs.LG]目的：自転車シェアリングステーションの戦略的拡張のための手法
- 都市部における自転車シェアリングは，持続可能な交通手段として重要性が増している。
- 既存の需要予測モデルは，成功するステーションを特徴づける都市特性を捉えきれない場合がある。
- 既存ステーションのパターンを活用し，データ不足環境下での拡張計画を支援すること。
- ハイブリッドノイズ除去オートエンコーダー(HDAE)による潜在表現が，生のフィーチャよりも空間的に一貫性のあるクラスタリングと配置パターンを示す。
- 様々な類似度指標と距離尺度を用いた感度分析により，手法の頑健性が確認された。
- 複数のパラメータ設定に基づくコンセンサス手続きにより，32箇所の拡張候補エリアが特定された。
EVIL：LLMによる進化探索を用いたイベント系列と時系列のゼロショット推論のための解釈可能なアルゴリズム [cs.HC, cs.LG, cs.AI]目的：イベント系列と時系列データに対するゼロショット推論のための，解釈可能なアルゴリズムの発見
- 動的なシステムのモデリングは，自然科学，社会科学，工学など多岐にわたる分野で重要である。
- 従来の深層学習モデルは，解釈性が低く，計算コストが高いという課題があった。
- LLMを活用し，解釈可能で高速なアルゴリズムを自動的に発見することで，これらの課題を解決する。
- EVILは，LLMによる進化探索を用いて，シンプルなPython/NumPyプログラムを進化させる。
- 進化したアルゴリズムは，データセット固有の学習なしに，ゼロショットで文脈内推論を実行する。
- 提案手法は，最先端の深層学習モデルと競合し，場合によってはそれを上回り，解釈性と速度においても優れている。
修正分位回帰を用いた畳み込み低ランクモデルによる間隔時系列予測 [cs.IR, cs.CL, cs.LG]目的：間隔時系列予測における不確実性の定量化
- 予測モデルにおける不確実性の定量化は，信頼性の高い意思決定に不可欠である。
- 多くの高度な予測手法は，本質的な不確実性推定能力を欠いている。
- LbCNNMに修正分位回帰を統合し，予測区間（PI）の精度向上を目指す。
- 提案手法LbCNNM-MQRは，予測区間（PI）の精度向上に有効であることが示された。
- 10万件を超える実世界の時系列データを用いた実験で，LbCNNM-MQRの優位性が確認された。
- 間隔校正技術を組み合わせることで，予測区間の精度をさらに改善できる。
LLMの性能回復メカニズムとしての自己蒸留：圧縮と破滅的忘却への対策 [cs.LG, cs.AI, cs.CL]目的：LLMにおける性能低下の回復
- 大規模言語モデルはAI応用の基盤であり，その性能維持は重要である。
- SFT，量子化，プルーニング等により，LLMの性能が劣化する問題がある。
- 自己蒸留による性能回復メカニズムを解明し，性能低下への対策を提案する。
- 自己蒸留ファインチューニング(SDFT)がモデルの能力を効果的に回復することが示された。
- 性能回復と隠れ層の活性化軌道の高次元多様体のアライメント間に強い相関関係が確認された。
- 自己蒸留は，生徒モデルの高次元多様体を教師モデルの最適な構造と整列させることが示唆された。
意図から文章へ：学術論文作成におけるAI支援型目標設定 [cs.HC, cs.AI, cs.CL]目的：学術論文作成における目標設定支援システムの開発
- 学術論文作成は，反復的な熟考と目標の調整を伴うため，質の高い論文を生み出す上で重要である。
- 論文執筆者は，変化する目標を明確に表現し管理することに苦労することが多い。
- 本研究は，論文作成者の熟考と行動を支援するAIシステムを提案し，目標達成をサポートすることを目指す。
- WriteFlowは，AIとの対話を通して，継続的な目標の明確化，モニタリング，交渉を促進する。
- Wizard-of-Oz実験の結果，WriteFlowは熟考的な調整と行動中の反省を支援し，目標と文章の整合性を維持することが示された。
- 本研究は，反省的な対話，柔軟な目標構造，多角的なフィードバックを重視するAI論文作成システムの設計指針を提供する。
見ることからシミュレーションへ：汎用的なロボット学習と評価のための高忠実度シミュレーション [cs.CL, cs.CL, eess.AS, cs.RO, cs.AI]目的：汎用的なロボット学習と評価を目的とした高忠実度シミュレーションの生成
- ロボットの学習には多様なデータが不可欠だが，現実世界でのデータ収集はコストがかかる。
- 現実世界のデータを拡張するシミュレーションは，データ量と現実との乖離が課題である。
- 現実世界の画像から高忠実度なシミュレーション環境を生成し，汎化性能を向上させる。
- 提案手法により，現実世界のパノラマ画像から高忠実度なシミュレーション環境を生成可能となった。
- 生成された環境を用いてデータ拡張を行うことで，未知の環境や物体への汎化性能が向上した。
- マルチルームのステッチングにより，複雑なレイアウトの広大な環境を構築できることを示した。
単一のフレームを超えて：体積MRIにおける多フレーム空間的根拠に基づく推論 [cs.CV, cs.AI]目的：多フレーム空間的根拠に基づく推論の評価基準
- 医療画像診断において，視覚と言語を結びつけるモデルは重要性が増している。
- 既存の評価基準は2D画像に限定され，臨床画像の体積データを考慮していない。
- 臨床画像における多フレームな情報を活用し，空間的な根拠に基づいた推論を可能にする。
- 本研究では，体積MRIを用いたSGMRI-VQAという新たな評価基準を提案した。
- この評価基準は，専門医による注釈に基づき，検出，局所化，分類，キャプション生成といった階層的なタスクを含む。
- Qwen3-VL-8Bをバウンディングボックスの教師あり監督でファインチューニングすることで，空間的根拠に基づいた性能が向上することを示した。
数十億パラメータ汎用機械学習原子間ポテンシャルの学習障壁の打破 [cs.DC, cs.LG]目的：数十億パラメータの汎用機械学習原子間ポテンシャル学習の高速化と大規模化
- 物質科学研究において，量子力学に基づいた高精度なシミュレーションは不可欠である。
- 従来の機械学習原子間ポテンシャルの学習には，計算コストの高い第二階微分が必要である。
- 大規模モデルの学習における計算・通信オーバーヘッドを削減し，学習時間を短縮すること。
- MatRIS-MoEとJanusという新しいモデルと分散学習フレームワークを開発した。
- エクサスケールスーパーコンピュータ上で，1.2/1.0 EFLOPSのピーク性能を達成し，90%以上の並列効率を実現した。
- 数十億パラメータの汎用機械学習原子間ポテンシャル学習時間を，数週間から数時間に短縮することに成功した。
ECG-Lens：PTB-XLデータセットにおける機械学習・深層学習モデルのベンチマーク [cs.LG, cs.AI, cs.CE, cs.NE, eess.SP]目的：心電図信号の分類に関する機械学習および深層学習モデルの性能比較
- 心血管疾患の診断・モニタリングにおいて，心電図信号の自動分類は重要な役割を果たす。
- 既存手法では，心電図データの多様性に対応し，高精度な分類を実現することが課題である。
- 深層学習モデルが，従来の機械学習手法と比較して，心電図信号の分類において優位性を示すことを検証する。
- ECG-Lensモデルは，80%の分類精度と90%のROC-AUCを達成し，最も高い性能を示した。
- 深層学習アーキテクチャ，特に複雑なCNNは，生の12誘導心電図データにおいて従来の機械学習手法を大幅に上回る。
- 本研究は，自動心電図分類モデルの選択と，疾患特異的なモデル開発の方向性を示す実用的なベンチマークを提供する。
重要な箇所にパズルピースを配置する：強化学習のための質問拡張フレームワーク [cs.LG]目的：強化学習における大規模言語モデルの推論能力向上
- 言語モデルの推論能力は，様々なタスクにおいて重要であり，その向上は学術的・実用的に意義深い。
- 容易な問題での学習は過学習を招き，難しい問題では報酬が疎になるという課題があった。
- 重要な推論ステップを戦略的に特定し，適切な難易度でヒントを提供することで，この課題を解決する。
- 提案手法PieceHintは，問題の難易度に応じて選択的にヒントを提供し，段階的に支援を減らすことで，モデルの自立した推論を促す。
- 実験の結果，1.5Bモデルが32Bモデルと同等の平均性能を達成しつつ，pass@kの多様性を維持することを示した。
- 特に，あらゆるkの値においてpass@kの多様性が維持された点は，本手法の重要な成果である。
現代的な構造を意識した単体時空間ニューラルネットワーク [cs.LG]目的：構造を意識した単体時空間モデリング手法
- 時空間モデリングは，構造化時系列解析において不可欠な技術であり，その重要性は増している。
- 既存のグラフニューラルネットワークは，ペアの関係性しか捉えられず，複雑なネットワーク構造に対応できない。
- 単体複体の構造を利用し，高次なトポロジー構造を効率的に捉えることで，この問題を解決する。
- 本研究では，単体複体構造を活用した新たな時空間モデリング手法ModernSASSTを提案した。
- 高次元単体複体上の時空間ランダムウォークと並列化可能なTemporal Convolutional Networksを組み合わせることで，計算効率を維持しつつ高次のトポロジー構造を捉えることを可能にした。
- 提案手法のソースコードはGitHubにて公開されており，広く利用可能である。
スタイン変分ブラックボックス組合せ最適化 [cs.AI]目的：高次元設定における組合せブラックボックス最適化手法
- 複雑な問題解決に不可欠であり，効率的な探索が求められる。
- 既存手法は局所解に陥りやすく，多様な最適解を見つけにくい。
- 探索と活用バランスを取り，複数の最適解を効率的に見つけること。
- 提案手法は，パラメータ空間における反発メカニズムを導入することで，探索性能を向上させた。
- 多様なベンチマーク問題において，最先端手法と同等以上の性能を達成した。
- 大規模な離散ブラックボックス最適化問題への応用可能性を示した。