arXiv雑要約
AI - 2026/05/05 公開
LLM指向型情報検索：ノイズ除去優先のアプローチ [cs.IR, cs.AI, cs.CL]目的：LLMによる情報検索の性能向上
- 情報検索は人間だけでなくLLM利用が増加しており，その重要性が高まっている。
- LLMは注意資源に制限があり，ノイズに弱いという課題がある。
- 文脈ウィンドウ内の有用な証拠の密度と検証可能性を最大化することを目指す。
- 従来のIR課題を「アクセス不可」「発見困難」「不整合」「検証不可能」の4段階で捉え直した。
- インデックス作成，検索，文脈エンジニアリングなど，ノイズ最適化手法の分類体系を提示した。
- ライフロングアシスタント，コーディングエージェント等の応用事例における情報ノイズ除去の研究を紹介した。
ユニークなマルチタスクPAMPAデータセットにおけるQSPR手法の比較研究 [cs.CL, cs.LG]目的：受動膜透過性の予測モデルの有効性評価
- 医薬品開発において，膜透過性は重要な薬物動態パラメータである。
- 複数の膜透過性プロファイルを同時にモデル化することは困難である。
- 多様な膜透過性データを活用し，予測精度と解釈性の両立を目指す。
- 物理化学的性質記述子の方が，サンプルサイズが限られた透過性研究に適していることが示された。
- 今回の研究は，複数の臓器特異的PAMPA膜の同時モデリングに関する最も包括的な研究である。
- 膜特異的な透過性プロファイルに関する新たな知見を提供する。
スケールを意識した敵対的分析：多スケール複雑系における生成AIの診断 [cs.CE, cs.LG, cs.CV, physics.comp-ph]目的：生成AIの多スケール複雑系における物理法則の内部化度評価
- 複雑系は自然界に広く存在し，その理解は科学技術の発展に不可欠である。
- 既存の機械学習モデルは統計的相関を学習するに過ぎず，物理法則を理解しているかは不明である。
- 生成AIが多スケール構造を正しく学習しているかを検証する診断手法を確立する。
- 既存のXAI手法は物理的に不適切な摂動を引き起こし，モデルの評価を妨げる。
- 本研究で提案するCDDに基づく診断手法は，スケールを考慮した物理的に制約されたデータ生成を可能にする。
- 実験の結果，生成モデルは物理的摂動に対して構造の凍結や非線形不安定性を示し，連続的な物理応答を示さないことが明らかになった。
ControBench：ソーシャルネットワークにおける論争的言説分析のためのインタラクションを考慮したベンチマーク [cs.CL, cs.LG]目的：論争的言説分析のためのベンチマークデータセット
- 政治的分極化や誤情報の拡散は社会問題であり，オンライン議論の理解が不可欠である。
- 既存のデータセットは，テキスト内容，インタラクション構造，ユーザーのイデオロギー的アイデンティティの全てを網羅していない。
- 現実の議論構造を反映し，多様なモデルの性能評価が可能なベンチマークの構築を目的とする。
- ControBenchは，Redditの3つの話題（トランプ，中絶，宗教）に関する7,370人のユーザー，1,783の投稿，26,525のインタラクションを含む。
- データセットは低いまたは負の調整された同質性を示し，現実世界の議論の構造を反映している。
- グラフニューラルネットワーク，事前学習済み言語モデル，大規模言語モデルを用いた評価で，モデルの種類や話題によって異なる性能が確認された。
専門家ネットワーク：アーキテクチャと専門家配置 [cs.DC, cs.AI, cs.NI]目的：宇宙における大規模言語モデルの分散実行のためのフレームワークおよび配置戦略
- 宇宙空間は，高効率な太陽エネルギー利用により，エネルギー消費の大きいLLM実行に適したプラットフォームである。
- 衛星ネットワークの限られた計算資源と通信資源が，LLMの大規模分散配置の課題となっている。
- モデルアーキテクチャとネットワークトポロジーを考慮し，低遅延なトークン生成を実現する配置戦略を提案する。
- 提案するSpace-XNetフレームワークは，MoEモデルの分散実行を可能にする二段階の配置戦略を採用する。
- レイヤー配置では，衛星コンステレーションをリング状に分割し，各サブネットにMoEレイヤーを割り当てる。
- 実験により，Space-XNetが従来の配置戦略と比較して，少なくとも3倍の遅延削減を達成することが示された。
シリコンの対決：消費者向けLLM推論における性能，効率，エコシステム障壁 [cs.PF, cs.AI, cs.AR]目的：消費者向けLLM推論におけるNvidiaとApple Siliconの性能と効率の比較
- 大規模言語モデル(LLM)の活用が広がり，個人向けデバイスでの利用が求められている。
- LLMの巨大化に伴い，消費者向けハードウェアではメモリ容量や処理能力が課題となっている。
- 本研究は，消費者向けLLM推論における最適なハードウェア構成を明らかにすることを目指す。
- Nvidia Blackwellアーキテクチャでは，NVFP4量子化がBF16よりも高いスループットを実現する。
- 70B以上のモデルでは，VRAM容量の制限により量子化による精度低下やCPUオフローディングによる性能低下が発生する。
- AppleのUMAアーキテクチャは，これらのボトルネックを回避し，80Bモデルのスケーラビリティを向上させ，高いエネルギー効率を実現する。
SAGA：GPUクラスタにおけるAIエージェント推論のためのワークフローアトミックなスケジューリング [cs.DC, cs.AI, cs.LG, cs.OS]目的：AIエージェント推論におけるワークフローアトミックなスケジューリングの実現
- AI技術の発展に伴い，複雑なタスクを処理するAIエージェントの利用が拡大している。
- 従来のGPUスケジューラは個々の推論呼び出しを独立して扱うため，中間状態の破棄による遅延が発生しやすい。
- エージェントのワークフロー全体をスケジューリング可能な単位として扱うことで，効率的な推論を目指す。
- SAGAは，エージェントのワークフロー構造を捉え，KVキャッシュの再利用を予測することで，オフライン最適解に近い性能を実現した。
- 64-GPUクラスタ環境での実験により，SAGAは既存のシステムと比較してタスク完了時間を1.64倍短縮，GPUメモリ使用率を1.22倍向上させた。
- SAGAは，ピークスループットを若干犠牲にすることで，インタラクティブなAI利用においてレイテンシを大幅に改善する。
クロスドキュメント検索拡張生成のための階層的抽象木 [cs.LG, cs.AI, cs.IR]目的：クロスドキュメント多段質問への対応
- 大規模言語モデルの知識獲得手段として，外部知識を活用する技術の重要性が増している。
- 既存のTree-RAGは，複数ドキュメントに跨る質問への対応が難しく，分布の適応性や構造の分離，抽象化の粗さが課題である。
- データの分布に適応し，ドキュメント間の繋がりを考慮した階層的抽象木による検索フレームワークを構築する。
- 提案手法Ψ-RAGは，反復的な「マージと崩壊」プロセスにより，データの分布を考慮した階層的抽象木インデックスを構築する。
- 再構成されたクエリとエージェントを活用したハイブリッド検索により，知識ベースを効果的に活用する多粒度検索エージェントを実装する。
- クロスドキュメント多段QAベンチマークにおいて，平均F1スコアでRAPTORより25.9%，HippoRAG 2より7.4%の性能向上を達成した。
Tempus：Versal AI Edge向け時間的スケーラビリティを持つリソース不変GEMMストリーミングフレームワーク [cs.DC, cs.AR, cs.LG, cs.PF, cs.RO]目的：Versal AI Edge SoCにおけるリソース不変な時間的GEMMフレームワークの提案
- 大規模言語モデルの性能向上には計算資源の拡大が不可欠だが，エッジデバイスは計算，メモリ，電力に制約がある。
- 既存のGEMMフレームワークは空間スケーリングに依存し，リソース制約のあるエッジSoCでは実装や帯域幅の問題が生じる。
- Tempusは，固定された計算ブロックを用いて時間的なスケーラビリティを実現し，エッジLLM推論の持続可能な基盤を確立する。
- Tempusは，16個のAIE-MLコアの固定計算ブロックを使用し，反復グラフ実行とデータタイリング，レプリケーションによりスケーラビリティを実現した。
- GEMMワークロードにおいて，Tempusは607 GOPSの性能を10.677Wの消費電力で達成し，最先端の空間的SOTA (ARIES) よりも211.2倍高いPlatform-Aware Utility (PAU) メトリクスを示した。
- URAM/DSPの利用率を0.00%に抑え，コア，電力，I/Oの効率性をそれぞれ22.0倍，7.1倍，6.3倍向上させた。
血管画像における学習されたボクセル単位方向ベクトルからの血管グラフ再構築：Vesselpose [cs.CV, cs.LG]目的：3D血管画像からの，より正確な血管グラフの抽出
- 医療画像解析において，血管のセグメンテーションとトレーシングは不可欠である。
- 従来の「セグメンテーション後修正」パラダイムは，完全かつ正確な血管ネットワーク再構築には限界がある。
- 血管グラフのトポロジー的精度向上を目指し，偽の分岐や合流を抑制すること。
- 提案手法は，3つのベンチマークデータセットにおいて最先端の性能を達成した。
- 特に，困難なラット心臓のマイクロCTスキャンにも適用可能であることを示した。
- 血管グラフのトポロジー誤差を定量化する指標（偽の分岐・合流）を提案した。
連続性越えて：単一細胞スナップショットからの離散分岐ダイナミクスのシミュレーション不要再構築 [cs.CL, cs.DC, cs.LG, cs.AI, math-ph, math.MP, q-bio.GN, q-bio.QM]目的：単一細胞スナップショットからの離散分岐ダイナミクス再構築
- 細胞の挙動理解には，時間経過に伴う変化の追跡が不可欠である。
- 既存手法は連続的な質量流体として扱い，細胞分裂や細胞死の離散性を捉えられない。
- 単一細胞レベルでの出生・死亡イベントの離散的なダイナミクスをモデル化すること。
- Unbalanced Schr\"odinger Bridge (USB)は，シミュレーションなしで確率的・不均衡効果を統合し，単一細胞レベルでの離散的な出生・死亡ダイナミクスをモデル化する。
- 理論的には，Branching Schr\"odinger Bridge (BSB)問題に対する解を提供し，個々の細胞のブラウン運動と離散的な出生・死亡ジャンプを厳密に解釈できる。
- シミュレーションデータと実データを用いて，USBが決定論的ベースラインよりも優れた軌跡再構築性能と，現実的な離散シミュレーションを可能にすることを示した。
A11y-Compressor：視覚的コンテキスト再構築と冗長性削減によるGUIエージェント観測効率の向上フレームワーク [cs.CL, cs.AI]目的：GUIエージェントの観測表現効率の向上
- GUIとの対話型AI開発において，信頼性の高い基礎となる観測表現が不可欠である。
- 既存のアクセシビリティツリーは冗長性が高く，UI要素間の空間的な関係性等の構造情報が不足している。
- アクセシビリティツリーのコンパクトかつ構造化された表現への変換による効率化を目指す。
- A11y-Compressorは，アクセシビリティツリーを変換し，コンパクトで構造化された表現を実現するフレームワークである。
- Compressed-a11yは，モダリティ検出，冗長性削減，セマンティック構造化のパイプラインにより，入力トークン数を元の22%に削減した。
- OSWorldベンチマークにおいて，タスク成功率を平均5.1パーセントポイント向上させた。
Stable-GFlowNet：対照的な軌道バランスによる多様かつ堅牢なLLM Red-Teaming [cs.LG]目的：大規模言語モデルの脆弱性特定
- LLMの安全性確保は重要であり，脆弱性評価が不可欠である。
- 効果的かつ多様な攻撃手法の発見が課題となっている。
- GFNの不安定性を解消し，安定したRed-Teamingを実現する。
- S-GFNは，GFNにおけるパーティション関数Zの推定を排除し，学習の不安定性を軽減することで，より安定した学習を実現した。
- S-GFNは，様々な設定において，高い攻撃性能と多様性を示すことが確認された。
- ノイズの多い報酬に対するロバストなマスキング手法と，流暢性を安定化させる機構を導入した。
部分自動運転における意味のある人間による制御の評価：行動と知覚の関連性 [cs.AR, cs.HC, cs.AI, cs.CY, cs.RO]目的：部分自動運転システムとのインタラクションにおけるドライバーの有意義な人間による制御（MHC）の経験度
- 自動運転技術の進展に伴い，ドライバーの責任とシステムによる自動制御のバランスが重要になっている。
- 部分自動運転では，ドライバーの介入が減少し，安全な介入に必要な注意や主体性が損なわれる可能性がある。
- 有意義な人間による制御の概念に基づき，実際のシステムがMHCを提供しているかの評価方法を確立すること。
- 自動運転車に対する理解度と操舵トルクの衝突との間には，有意な負の相関関係が認められた。
- 反応時間と十分な制御の知覚との間には，意外な正の相関関係が認められた。
- ドライバーの意図と自動化の意図の不一致，安全性の欠如，ドライバー入力への抵抗が，MHCの低下に寄与することが示唆された。
構造が解放する：制約された意味理解がより斬新な研究成果を生み出す [cs.CL, cs.AI]目的：科学研究におけるアイデア創出のプロセスとその構造化
- 科学的発見はアイデア形成が中心であり，その重要性が認識されていない。
- 既存の研究では，アイデア創出段階が簡略化され，十分な検討がなされていない。
- 意味理解に基づく構造化アプローチを通じて，アイデア創出の質と斬新性を向上させる。
- SCISENSEという意味理解に基づいたフレームワークを構築し，アイデア創出を８つの認知段階として捉えた。
- Targetモードで訓練されたモデルは，Inferモードよりも軌跡の質が2.0％向上し，より斬新で多様な成果を生み出した。
- Target軌跡で条件付けられたコーディングエージェントは，Infer軌跡のものより実行可能性と品質の高い研究成果を生成した。
電気容量制車両経路問題に対する二重層後方受入れヒルクライミングにおけるインスタンス対応パラメータ設定 [cs.NI, cs.AI, math.OC]目的：電気容量制車両経路問題に対する二重層後方受入れヒルクライミングのインスタンス対応パラメータ設定
- 組合せ最適化問題では，アルゴリズム性能はパラメータ設定に大きく依存し，実用的な規模の問題を効率的に解く上で重要である。
- 既存手法では，インスタンスの異質性を考慮できず，普遍的な設定では性能が十分に発揮されない場合がある。
- インスタンスの特徴量に基づきパラメータを予測することで，未知のインスタンスに対しても高性能な解を得ることを目指す。
- 提案手法は，IEEE WCCI 2020のベンチマーク問題において，既存のパラメータ設定と比較して平均0.28%の目的関数値の削減を達成した。
- この結果は，数百万ドル規模の輸送事業において，コスト削減に大きく貢献する可能性がある。
- オフラインチューニングと回帰モデルを活用し，インスタンスの特徴量から最適なパラメータを予測するアプローチが有効であることを示した。
AIの過大宣伝は期待性能を上昇させるが，インタラクションの結果には影響しない：フィッツの法則を用いたAIプラセボ研究 [cs.HC, cs.AI]目的：AIの過大宣伝がユーザーの期待に与える影響の検証
- AI技術の進展に伴い，AIを謳う製品が増加しており，その効果に対する検証が重要である。
- AIの能力を誇張する「AIウォッシング」が存在し，ユーザーの誤解を招いている。
- AIウォッシングがユーザー期待に与える影響を定量的に評価し，透明性の問題を明らかにする。
- 参加者はプラセボ条件下で有意にパフォーマンス向上を期待したが，客観的・主観的な評価には差が見られなかった。
- AIウォッシングはユーザーの期待値を不当に上昇させるものの，実際のインタラクション結果は変化させないことが示された。
- AI製品の主張に対する説明責任の必要性と，フィッツの法則をAIラベル付き入力デバイスの監査手法として確立する。
視覚モダリティを通じた視覚言語モデルの脱獄 [cs.CV, cs.AI, cs.LG]目的：視覚言語モデルの安全対策を回避する攻撃手法の検証
- 視覚言語モデルは多岐にわたる応用が期待される一方，その安全性確保が重要課題となっている。
- 既存の安全対策は主にテキスト入力に焦点を当てており，視覚情報の脆弱性が看過されている。
- 本研究は，視覚モダリティを介した安全対策回避の可能性を検証し，そのメカニズムを解明することを試みる。
- 視覚モダリティを利用した攻撃手法によって，最先端の視覚言語モデルの安全対策を回避できることが示された。
- テキストのみの攻撃手法と比較して，視覚的な暗号化による攻撃成功率が大幅に向上した（Claude-Haiku-4.5で40.9% vs 10.7%）。
- 視覚情報の安全対策は，テキスト情報の対策とは独立して行う必要性を示唆する。
特徴間の制約が存在する場合の分類器の公平性 [cs.LG, cs.AI]目的：分類器の公平性の評価基準
- 機械学習における公平性は，差別を避ける上で重要であり，社会的な信頼性を高める。
- 特徴間に制約がある場合，保護属性への依存性が隠蔽され，公平性の評価が困難となる。
- 制約を考慮した説明可能性に基づき，公平性を評価することで，問題解決を目指す。
- 公平性を，保護属性を含まない決定の主要因で説明できると定義する。
- 制約を無視すると，保護属性と非保護属性間に制約がない場合でも，公平性が大きく変化する可能性がある。
- 分類器の公平性に関する3つの定義を提示し，それぞれの関係性と計算複雑性を分析した。
深層学習における可能性的予測不確実性 [cs.IR, cs.LG, cs.AI, cs.CV]目的：深層学習モデルの予測不確実性のモデリング
- 深層学習は多様な応用で高い成果を上げる一方，未知の入力に対する過信が課題である。
- 既存の不確実性モデリング手法は，ベイズ法の計算コストや，効率的な手法の理論的根拠の欠如に悩む。
- 可能性理論に基づき，計算効率と理論的根拠を両立した不確実性モデリング手法を開発する。
- 提案手法DAPPrは，ディリクレ分布を用いた可能性的事後予測により，不確実性を定量化する。
- DAPPrは，既存のエビデンス深層学習手法と同等以上の性能を，計算効率良く達成する。
- 本研究により，深層学習モデルの信頼性向上に貢献する。
親和性だけでは不十分：Mixture-of-Expertsにおける自由エネルギー原理の回復 [cs.LG, cs.NE]目的：Mixture-of-Expertsモデルにおけるドメイン遷移時のルーティング性能向上
- 大規模言語モデルの性能向上に不可欠な技術であり，計算効率と表現力の両立が課題。
- Mixture-of-Expertsモデルはドメイン遷移時にルーティングが失敗し，性能が低下する。
- 自由エネルギー原理に着想を得たゲート機構により，ドメイン遷移時のルーティング精度を向上させる。
- 提案手法（Temporal Memory，Precision-weighted Gating，Anticipatory Routing）により，ドメイン遷移時の正解専門家への確率割り当てが大幅に向上した。
- 特にTemporal MemoryとAnticipatory Routingの組み合わせが相乗効果を生み，性能向上の鍵となることが示された。
- 文字レベルの言語モデル実験では，提案手法が遷移ステップにおけるBPC（perplexity）を大幅に削減することを確認した。
統合前に分離：SFTとRLVRタスクベクトルのテスト時合成 [cs.CL, eess.AS, cs.LG]目的：LLMのポストトレーニングパラダイムであるSFTとRLVRの統合
- LLMの性能向上には，知識の幅広さと推論の深さの両方が重要である
- SFTとRLVRを直接統合すると，破滅的な忘却や勾配の競合が生じやすい
- SFTとRLVRの能力をテスト時にのみ合成することで，統合時の問題を解決する
- 本研究では，SFTとRLVRのタスクベクトルを分析し，統合の困難さを示す3つの構造的特性を明らかにした
- 提案手法DoTSは，モデルパラメータを更新することなく，SFTとRLVRのチェックポイントを独立してトレーニングし，推論時にタスクベクトル演算によって能力を合成する
- 実験結果から，DoTSはトレーニングベースの統合手法と同等またはそれ以上の性能を発揮し，計算コストを大幅に削減できることが示された
BlenderRAG：検索拡張コード合成による高精度3Dオブジェクト生成 [cs.CL, cs.IR, cs.CV, cs.AI, cs.GR, cs.HC, cs.LG]目的：3Dオブジェクトの生成
- 3Dコンテンツ制作の自動化が求められており，効率化に繋がる技術が重要である。
- 大規模言語モデルによるBlenderコード生成は，構文エラーや形状の一貫性の問題がある。
- 検索拡張生成により，高品質な3Dオブジェクト生成を，追加学習なく実現すること。
- BlenderRAGは，500件の専門家検証済みデータセットを活用し，類似例を検索することでコード生成精度を向上させた。
- コンパイル成功率が40.8%から70.0%に，セマンティック整合性（CLIP類似度）が0.41から0.77に改善された。
- ファインチューニングや特殊なハードウェアを必要とせず，容易に導入可能である。
次元削減のためのクラス角歪み指数 [cs.LG]目的：次元削減におけるクラスタ構造の忠実度評価
- データ解析において，高次元データを低次元へ圧縮する次元削減は不可欠である。
- t-SNEやUMAP等の手法では，低次元への写像におけるクラスタ配置が恣意的になりがちである。
- 既存の評価指標の限界を克服し，クラスタ配置の信頼性を定量的に評価すること。
- クラス角歪み指数(CADI)は，点三組間の内角を用いて，低次元空間におけるクラスタ構造の忠実度を評価する。
- 従来の評価指標が失敗するケースにおいて，CADIは解釈可能な結果を提供する。
- CADIは微分可能であり，最適化に利用できる。CADIに基づく次元削減手法も提案された。
オフライン確率的多腕バンディットにおけるアンラーニング [cs.LG, cs.DS]目的：オフライン確率的多腕バンディットにおけるデータ削除とプライバシー保護
- 機械学習の普及に伴い，データプライバシー保護の重要性が高まっている。
- データ削除要求への対応やプライバシーリスク軽減が，既存手法では困難である。
- 学習済みモデルからのデータ削除を実現し，プライバシー保護と実用性の両立を目指す。
- 本研究では，オフライン確率的多腕バンディットにおけるアンラーニングの定式化とアルゴリズム設計を行った。
- ガウスメカニズムとロールバックという基本的なアルゴリズムに基づき，適応的なアンラーニング手法を提案した。
- 提案手法は，データ生成モデルやプライバシー制約に応じて性能が変化することを示し，理論的保証と実験結果によって有効性を検証した。
機械学習間原子ポテンシャルの信頼性判断の時期を見極める [cs.LG, physics.chem-ph]目的：機械学習間原子ポテンシャルの信頼性評価
- 物質科学において，原子間ポテンシャルは分子動力学計算等のシミュレーションにおいて不可欠である。
- 既存の不確実性評価手法は，大規模なモデルでは計算コストが高く，予測誤差との相関も低い。
- バックボーン埋め込み表現を用いた識別器により，モデル変更なしに信頼性を評価する手法を開発する。
- 本研究で提案するPROBEは，アンサンブル分散よりも高い信頼性指標を提供する。
- バックボーン表現の表現力が高いほど，PROBEの性能は向上し，大規模モデルへの拡張性が期待される。
- 自己注意機構を用いることで，原子ごとの重要度マップが得られ，化学的な解釈を可能にする。
確率的ストレス最適化によるグラフ描画と次元削減の橋渡し [cs.LG]目的：抽象的非線形構造の可視化
- 高次元データを扱う際，可視化はデータ理解の鍵となる。
- 既存手法では計算コストが高く，大規模データへの適用が困難。
- 高速な収束性と良好な表現力を持つ次元削減手法の開発。
- 提案手法は，標準的な高次元ベンチマークにおいてSMACOFよりも大幅に高速に収束した。
- ストレス値はSMACOFと同等か，それよりも低い値を示した。
- グラフ描画由来の確率的勾配降下法をベクトルデータ埋め込みに適用した。
自分自身からクリック箇所を学習：GUIグラウンディングのためのオンポリシー自己蒸留 [cs.AI, cs.CV]目的：GUIグラウンディングにおける自己蒸留の適用可能性の検証
- GUIグラウンディングは，GUI自動化エージェントの中核技術であり，自然言語指示に基づいたGUI操作を実現する。
- 既存の強化学習手法は，多数回のロールアウトが必要で，難しいサンプルに対する報酬が希薄であるという課題がある。
- 本研究は，単一ロールアウトで密な教師信号を提供する自己蒸留をGUIグラウンディングに適用し，効率性と精度を向上させる。
- 提案手法GUI-SDは，ターゲットバウンディングボックスとガウスソフトマスクを用いた視覚的に豊かな教師コンテキストを構築することで，効果的な指導を実現した。
- エントロピーに基づく蒸留により，重要なトークンへの最適化を集中させ，信頼性の高い位置情報の学習を促進した。
- 6つのベンチマークにおける実験により，GUI-SDは既存手法を精度と学習効率の両面で上回ることが示された。
MCMC修正による多変量変分オートエンコーダを用いた多変量エネルギーベースモデルの学習 [cs.LG, cs.AI]目的：多変量エネルギーベースモデル，共有潜在生成器，および共同推論モデルの学習
- 多変量データにおける複雑な依存関係の把握は，様々な応用において重要である。
- 従来の最大尤度学習では，MCMCサンプリングが不安定になり，一貫性のある多変量関係の発見が困難である。
- データ空間と潜在空間の両方でMCMC修正を組み込むことで，多変量EBMの学習を効果的に行う。
- 提案手法は，多変量データの生成において，既存手法と比較して優れた性能を示す。
- 生成器は，EBMサンプリングのための強固な初期状態を提供する。
- 推論モデルは，生成器の事後サンプリングのための有用な潜在初期化を提供する。
予測から実践へ：タスクを意識した血糖値予測評価フレームワーク [cs.LG]目的：血糖値予測のタスク適合性評価フレームワーク
- 臨床時系列予測は意思決定支援として重要性が増している。
- 従来の集約的な評価指標では，モデルの有用性が十分に判断できない。
- 高リスク領域における誤予測を防ぎ，実用的な意思決定支援を目指す。
- 低血糖早期警告において，全体的な再現率は高くても，インスリン投与後の予測が大きく外れる場合があることが示された。
- インスリン投与量決定支援のため，介入効果の予測を評価するシミュレーターを用いた評価を追加した。
- 実データで高い予測精度を示しても，介入効果の方向性や大きさを正確に予測できないモデルが存在することが明らかになった。
PEACE：小児・成人心電図のクロスモーダル強化アライメントによるロバストな小児診断 [cs.IR, cs.LG]目的：小児・成人心電図間のクロスモーダルアライメントフレームワーク
- 心電図は不整脈等の心疾患診断に不可欠であり，小児の早期診断は健康管理上重要である。
- 小児心電図データは不足し，成人データで学習したモデルでは，集団間の差異により診断精度が低下する。
- 成人データを活用し，小児心電図診断の精度向上を目指す。特にラベル不足の状況下での転移学習を改善する。
- PEACEは，成人心電図の表現を小児の診断目標に合わせるため，臨床的意味分解，特徴抽出，カリキュラム最適化を統合する。
- ZZU-pECGデータセットにおいて，ゼロショット，50ショット，フルファインチューニングでそれぞれ59.39%，79.03%，90.89%のAUCを達成した。
- PTB-XLの共有ラベル空間では96.65%のAUCを示し，臨床的意味情報の活用が小児心電図診断の転移学習に有効であることを示唆する。
予算制約：リーマン多様体としての捉え方 [cs.LG]目的：総予算制約下でのグループへのオプション割り当て
- 機械学習において，資源配分は重要課題であり，性能向上に不可欠である。
- 組み合わせ最適化問題の直接的な解決が難しく，近似解に頼らざるを得ない状況がある。
- 予算制約を厳密に守りつつ，真の目的関数を最適化する手法を確立することを目指す。
- ソフトマックス緩和下では，予算制約はlogit空間における滑らかなリーマン多様体を定義することが示された。
- 提案手法RCOは，Adam更新に接線投影，二分探索による退引，およびモーメンタム輸送を組み合わせることで，真の目的関数を最適化する。
- 実験の結果，RCOはペナルティ法よりも優れた性能を示し，進化的探索と同等以上の性能をより低い計算コストで達成した。
AdaMeZO：LLMのファインチューニングのためのAdam様式ゼロ次最適化アルゴリズム（モーメントの維持なし） [cs.LG, cs.AI]目的：LLMのファインチューニングにおけるメモリ効率の向上
- LLMは様々なタスクに応用可能だが，大規模なモデルの学習には多大な計算資源が必要となる。
- 従来のバックプロパゲーション法はGPUメモリを大量に消費し，学習コストが高いという課題がある。
- MeZOはメモリ消費量を削減するが，収束が遅いという問題をAdaMeZOで解決する。
- AdaMeZOは，モーメントをメモリに保持せずにAdam様の第一・第二モーメント推定を活用する。
- 実験結果から，AdaMeZOはMeZOよりも優れた性能を発揮し，必要な順伝播回数を最大70%削減できることが示された。
- AdaMeZOは多様な損失地形に適応できることが，軌跡の可視化によって確認された。
マルコフリスク尺度と多パターンリスク近似を用いた強化学習 [cs.LG, cs.AI, math.OC, stat.ML]目的：リスク回避型有限ホライズンマルコフ決定問題における強化学習手法
- 経済や金融分野において，不確実性下での意思決定は重要であり，リスク管理が不可欠である。
- 従来の強化学習では，リスクを十分に考慮できておらず，リスク回避的な行動を学習することが困難であった。
- マルコフリスク尺度と多パターンリスク近似を用いて，リスクを考慮した強化学習を実現し，より安全な意思決定を可能とする。
- ミニバッチ尺度と呼ばれるマルコフコヒーレントリスク尺度の特殊なクラスを導入し，線形システムを一般化した多パターンリスク回避問題のクラスを定義した。
- 特徴量に基づくQ学習法に，多パターンQファクター近似を適用し，$\mathcal{O}\big(H^2 N^H \sqrt{ K}\big)$ の高確率後悔界限を証明した。
- ポリシー評価ステップを効率化する，経済的なQ学習法のバージョンを提案し，確率的割り当て問題と短期多腕バンディット問題で理論的な結果を検証した。
スパイク系列機械とTransformer [cs.NE, cs.LG]目的：系列学習における共通機能の形式化
- 系列データ処理はAIの根幹であり，様々な応用分野で重要性が増している。
- 既存モデルはアーキテクチャに依存し，汎用性に欠ける場合がある。
- 異なるモデル間の共通基盤を明らかにすることで，より効率的な学習手法を開発する。
- スパイク系列機械とTransformerは，エンコーディング，文脈維持，連想検索，記憶，デコーディングという5つの機能演算を共通して実現している。
- 位相遅延同型性により，正弦波位相とスパイクタイミングが線形関係にあることが示された。
- 位置情報を表現する上で，正弦波の形式よりもドット積類似度下での距離識別能力が重要であることが実験的に示された。
初期ノイズ最適化による構造化3D潜在空間のインペイント [cs.CV, cs.AI]目的：構造化3D潜在拡散モデルにおける初期ノイズの最適化
- 3Dコンテンツ生成の重要性が増す中，高品質な3Dモデルの編集・補完技術が求められている。
- 既存の3D潜在拡散モデルは，初期ノイズに敏感であり，インペイントなどのタスクで安定性に課題がある。
- 初期ノイズを最適化することで，既存の文脈との整合性を保ちつつ，高精度な3Dインペイントを実現すること。
- 提案手法は，初期ノイズを最適化することで，構造化3D潜在拡散モデルにおける3Dインペイントの品質を向上させた。
- 文脈の一貫性とプロンプトへの適合性が，既存の学習不要インペイント手法と比較して一貫して改善された。
- 初期ノイズ制御は，従来のサンプリング軌跡操作とは独立した，3Dインペイントのための重要な要素であることが示された。
強化学習における状態ごとの安全性に関する拡張ラグランジュ乗数ネットワーク [cs.LG, cs.AI]目的：強化学習における状態ごとの安全性制約下での学習安定化
- 実世界での強化学習応用には安全性が不可欠であり，安全性確保は重要な課題である。
- 状態ごとの安全性制約をラグランジュ法で扱う場合，状態ごとに乗数を管理する必要がある。
- 標準的な双対勾配上昇法では学習が不安定になりがちであり，その安定化が求められている。
- 拡張ラグランジュ乗数ネットワーク(ALaM)は，遅延した乗数更新を補正する二次ペナルティを導入し，局所的な凸性を確立することで，ポリシーの振動を軽減する。
- ALaMは，乗数ネットワークを双対目標に向かって教師あり回帰で訓練することにより，学習を安定化させ，収束を促進する。
- 実験の結果，SAC-ALaMは，安全性と報酬の両方において，最新の安全な強化学習手法を上回り，学習ダイナミクスを安定化し，リスク識別に適した乗数を学習することが示された。
難読化された自然数ゲームによるLLM証明器のアーキテクチャ的推論能力の評価 [cs.DB, cs.LG]目的：アーキテクチャ的推論能力の評価
- 形式数学の自動化は，定理発見AIの実現に不可欠であり，その基盤となる推論能力の評価が重要である。
- LLMの数学的成功が，真の論理的推論によるものか，事前学習データとのパターンマッチングによるものか不明である。
- LLMが，既知の知識に頼らず，局所的な公理と定義のみを用いて形式的な証明を構築できるか検証する。
- 難読化により推論時間が普遍的に増加する傾向が確認された。
- 汎用モデルは性能が低下する一方，推論に特化したモデルは精度を維持した。
- この結果は，数学的推論能力を定量的に評価するための指標を提供する。
分散型ブラックボックスコンセンサス最適化のための行動と協調の学習 [eess.SY, cs.SY, cs.MA, cs.NE]目的：分散型ブラックボックスコンセンサス最適化における，行動と協調の学習
- マルチエージェントシステムにおいて，局所的な情報のみで全体最適を達成する重要性が高まっている。
- 既存手法は手動設計に頼る傾向があり，異質な非凸環境下での適応性と効率性に課題がある。
- 最適化の履歴から行動と協調パターンを学習し，自己設計型マルチエージェントシステムを実現する。
- 提案手法LACMASは，標準的なベンチマークおよび実世界タスクにおいて，既存手法を上回る性能を示した。
- 特に，解の質，収束効率，および通信効率において顕著な改善が見られた。
- これにより，手動設計から自己設計型分散協調システムへの実用的な道筋が示唆される。
緑内障経過層別化のための深層カーネル学習 [cs.LG]目的：緑内障患者の経過層別化
- 慢性疾患管理において，患者のリスク層別化は重要である。早期介入による進行抑制に繋がるため。
- 電子カルテのデータは不規則で疎であるため，患者のリスク評価が困難である。
- 本研究は，電子カルテデータから緑内障患者の進行リスクを正確に予測することを目指す。
- 提案手法は，臨床的に異なる3つの患者サブグループを特定することに成功した。
- モデルは，現在の重症度と病状の進行を分離して学習し，平均的な視力は良好ながら進行リスクが高いグループを識別した。
- これにより，モデルが現在の疾患状態だけでなく，進行リスクを識別することが示された。
グラフ表現学習のためのAitchison埋め込み [cs.LG, cs.SI]目的：グラフ構造と学習された特徴の関係性の洞察
- グラフ機械学習は，リンク予測やノード分類などのタスクにおいて重要な役割を担う表現学習の中核である。
- 既存のグラフ埋め込みは解釈が難しく，学習された特徴とグラフ構造の関係性が不明瞭であるという課題がある。
- 潜在的な原型要素の混合としてノードを記述するrole-mixtureの視点に基づき，解釈可能なグラフ埋め込みを提案する。
- Aitchison幾何学に基づき，ノードをシンプレックス値の組成として表現し，等距離的対数比（ILR）座標を用いて埋め込むことで，解釈可能性を確保した。
- ノード分類およびリンク予測において，既存手法と同等の性能を達成し，構造的に説明可能性を提供することが確認された。
- 部分組成の一貫性により，要素の制限が可能となり，原型グループが表現や予測に及ぼす影響を分析するための次元削減手法を適用した。
生成的なインパルス応答の拡張による話者距離推定の精度向上 [cs.SD, cs.AI, eess.AS, eess.SP]目的：話者距離推定モデルの性能向上
- 音響空間における音源の位置特定は，様々な応用で重要である。
- 話者距離推定において，データ不足が精度向上の課題となる。
- データ拡張により，少ないデータでも高い精度を目指す。
- 提案手法により，GWA環境での平均絶対誤差が1.66mから0.6mに減少した。
- 同様に，Treble環境でも2.18mから0.69mへと大幅な改善が見られた。
- 特に中距離から長距離における推定精度が向上したことが示された。
組合せ複体におけるワイスファイラー・レーマンテスト：トポロジカルニューラルネットワークの汎化表現力 [cs.LG]目的：組合せ複体におけるワイスファイラー・レーマンテストの導入と表現力の解析
- グラフや超グラフなど多様な構造を扱う上で，トポロジーの利用が重要視されている。
- 既存のトポロジカルニューラルネットワークは理論的基盤が不統一であり，深層学習への応用が限定的である。
- 組合せ複体という共通の枠組みでトポロジカル深層学習を統一的に捉え，表現力を高めることを目指す。
- 組合せ複体ワイスファイラー・レーマンテスト(CCWL)を導入し，トポロジカルメッセージパッシングを形式化することができた。
- CCWLの表現力は，４種類の隣接関係のうち，上下近傍のみでも十分に高いことが証明された。
- CCWLを基盤とした組合せ複体同型ネットワーク(CCIN)が，既存手法を上回り，汎化された表現力を持つことが実験で示された。
疎結合関係アラインメントによる異種グラフ基盤モデルの強化 [eess.SY, cs.SY, cs.CE, physics.comp-ph, physics.med-ph, q-bio.QM, cs.SI, cs.AI]目的：異種グラフにおける知識転移能力の向上
- グラフ基盤モデルは均一グラフで成功を収めているが，異種グラフへの拡張は困難である。
- 既存手法ではタイプ固有の意味が歪み，元のトポロジーが破壊され，「タイプ崩壊」や「関係混乱」が生じる。
- 関係構造と特徴意味を分離し，構造を意識した潜在空間を構築することで問題を解決する。
- DRSAは，既存のグラフ基盤モデルに容易に組み込むことができる汎用的な前処理モジュールである。
- 実験結果から，DRSAはクロスドメインおよびFew-shot知識転移能力を大幅に向上させることが示された。
- DRSAは，関係に基づいた低ランク潜在空間内でタイプ間の相互作用を調整する二重関係部分空間投影メカニズムを導入する。
EASE：絡み合いを考慮したアンカー閉鎖による連合マルチモーダルアンラーニング [cs.NI, cs.AI, cs.LG, cs.MM]目的：連合マルチモーダルアンラーニングの効率化
- プライバシー保護が重要視される中，分散環境でのマルチモーダルモデル学習のニーズが高まっている。
- 連合学習において，削除された知識が異なるモダリティやクライアント間で絡み合い，効果的なアンラーニングを妨げる。
- クロスモーダル再構成チャネルの遮断と，忘却に特有の更新方向の分離を実現し，アンラーニング性能を向上させる。
- EASEは，３つの残差アンカーを閉鎖することで，連合マルチモーダルコントラストアンラーニングを実現する。
- 視覚および言語ブランチの双方向変位により，クロスモーダル再構成チャネルを遮断する。
- クライアント更新サブスペースのコサイン-サイン分解により，忘却に特有の方向を分離し，Flickr30Kデータセットで高い性能を示す。
LLMツール呼び出しの評価と最適化フレームワーク：呼ぶべきか否か [eess.SY, cs.SY, cs.DB, cs.AI]目的：LLMツール呼び出しの評価と最適化に関するフレームワーク
- LLMに外部ツールを組み合わせることで，その能力が飛躍的に向上する点が重要である。
- ツール呼び出しは必ずしも有益ではなく，無駄や有害な呼び出しが存在する点が課題である。
- ウェブ検索ツール等の利用において，LLMの判断の質を改善し，より効果的なツール利用を目指す。
- モデルが認識するツール呼び出しの必要性と有用性は，実際の必要性と有用性と乖離していることが示された。
- モデルの隠れ状態に基づく軽量な必要性と有用性の推定器を訓練し，ツール呼び出しの意思決定を改善した。
- 提案手法は，3つのタスクと6つのモデルにおいて，自己認識型設定よりも優れたタスクパフォーマンスを達成した。
入院無計画再入院予測のための時間的データ要件 [cs.LG]目的：入院無計画再入院予測における最適履歴データ期間の特定
- 電子カルテの普及により，医療データの活用が重要視されている。
- 予測モデルの精度を最大化するための最適な履歴データ期間の決定が課題である。
- データ形式ごとの最適な期間を明らかにし，予測モデルの精度向上を目指す。
- 非構造化臨床記録の最適な期間は手術の3〜6ヶ月前であり，構造化データは12ヶ月で限界に達した。
- モデルの複雑さやエンコーダの種類に関わらず，この時間的パターンは一貫していた。
- より多くの履歴データが常に良い予測につながるとは限らないことが示唆された。
エージェントAIオーケストレーションはベイズ整合的であるべき [cs.AI, cs.LG, stat.ML]目的：エージェントAIシステムのベイズ整合的な制御
- AIエージェントは不確実性下での意思決定が重要であり，その精度向上が求められている。
- 既存のAIオーケストレーションは，ベイズ的な信念更新や意思決定の枠組みが不足している。
- ベイズ原理をAIオーケストレーション層に導入し，より合理的な行動選択を可能にすること。
- LLM自体をベイズ的な信念更新エンジンとするのは困難だが，オーケストレーション層でのベイズ原則の適用は現実的である。
- エージェントAIシステムにおける信念の維持，更新，行動選択に，ベイズ決定理論が有効な枠組みを提供する。
- 校正された信念と有用性に基づいたポリシーが，エージェントAIオーケストレーションの改善に貢献する。
NonZero：マルチエージェントモンテカルロ木探索における相互作用誘導探索 [cs.LG]目的：マルチエージェントモンテカルロ木探索における効率的な探索手法
- 協調型マルチエージェント環境では，複雑な戦略決定が求められるため，効率的な探索が重要である。
- 従来のモンテカルロ木探索は，行動空間の指数関数的な増加により，探索が困難になるという課題がある。
- 相互作用を考慮した探索によって，行動空間を効率的に縮小し，探索性能を向上させることを目指す。
- 提案手法NonZeroは，低次元表現と相互作用スコアに基づき，探索空間を効率的に絞り込む。
- NonZeroは，MatGame，SMAC，SMACv2などの環境において，既存手法と比較してサンプル効率と最終的な性能を向上させた。
- 局所的な最適解への到達に関して，NonZeroは亜線形な後悔保証を持つことが示された。
Themis: 柔軟な多基準スコアリングのためのロバストな多言語コード報酬モデルの学習 [cs.SE, cs.LG]目的：多言語，多基準コード報酬モデルの学習と評価
- 言語モデルの性能向上には，事後学習が不可欠であり，報酬モデルはその重要な要素である。
- コード生成における報酬モデルの研究は限られており，主に実行可能性のフィードバックに焦点を当てている。
- 機能的な正しさだけでなく，多様な基準に基づくコード報酬モデリングを可能にすること。
- Themis-CodeRewardBenchは，5つの基準と8つのプログラミング言語に対応したコード報酬モデルの評価ベンチマークである。
- Themis-CodePreferenceは，35万件以上のペアからなる，現時点で最大のオープンソースのコード選好データセットである。
- Themis-RMは，6億から320億パラメータの多言語コード報酬モデル群であり，良好なスケーリング傾向とクロスリンガル転移性を示す。