arXiv雑要約
AI - 2026/05/07 公開
損失なしコンテキスト管理：LCM [cs.AI, cs.PL, cs.SE]目的：LLMのメモリに関する決定論的アーキテクチャ
- 大規模言語モデルの性能向上には，長文コンテキストの効率的な処理が不可欠である。
- 既存のLLMでは，長文コンテキストを扱う際に性能が低下する問題がある。
- 損失なしコンテキスト管理により，長文コンテキスト処理の性能限界を打破することを目指す。
- LCMは，長文コンテキストタスクにおいて，Claude Codeよりも優れた性能を示す。
- LCMを組み込んだコーディングエージェントVoltは，Opus 4.6を用いた評価で，32Kから1Mトークンまでの全コンテキスト長で，Claude Codeを上回るスコアを達成した。
- 再帰的パラダイムを拡張し，コンテキスト操作における決定論的なアプローチを確立する。
制約を考慮したハイブリッド宇宙地上コンピューティングワークロードの実行計画 [cs.DC, cs.CV, cs.LG]目的：ハイブリッド宇宙地上コンピューティングワークロードの実行計画
- 低軌道衛星の高性能化により，エッジコンピューティングの可能性が広がり，リアルタイム処理への期待が高まっている。
- 衛星が生成するデータ量は，地上へのダウンリンク能力を大幅に上回り，効率的なデータ処理と伝送が課題となっている。
- 地上と衛星の計算資源を最適に活用し，データ伝送量を最小限に抑える実行計画の自動生成を目指す。
- 提案手法CAEは，衛星の軌道環境とリソース制約を考慮し，2秒以内に実行可能な計画を生成する。
- CAEは，オンボードでのデータ削減を効果的に活用し，データ転送量を最小限に抑えることに成功した。
- 伝送路の状態に応じて，前方誤り訂正やマルチパス割り当てを適応的に調整し，信頼性の高いデータ伝送を実現する。
スカラー既約学習ダイナミクスによる内生的な状態遷移 [cs.LG]目的：内生的な状態遷移の実現
- 自律的知能の創発には不可欠であり，機械学習の重要な研究課題である。
- 既存の機械学習フレームワークでは，状態遷移が外部から与えられることが多い。
- スカラー既約ダイナミクスを用いて，内部生成的な状態遷移を可能とする。
- スカラー既約ダイナミクスは，高速な変数と構造適応のフィードバックを通じて，内部生成的な状態遷移を自然に実現する。
- 最小限のダイナミックモデルを用いて，外部からのスケジュールなしに持続的な状態遷移が生成されることを示した。
- 新たなダイナミックパラダイムを提示し，自己組織化された適応行動を持つ自律学習システムの開発に貢献する。
グループ適応学習率と重み減衰を持つ自己注意メタオプティマイザ [cs.LG]目的：パラメータグループごとの学習率と重み減衰を動的に調整する自己注意メカニズムを組み込んだ新しいオプティマイザ
- 深層学習モデルの性能はオプティマイザに大きく依存し，効率的な学習が重要である。
- AdamWのような適応的オプティマイザは，層やモジュール間の最適化の異質性を無視する。
- 層ごとの最適化ダイナミクスを考慮し，より効率的な学習を実現することを目指す。
- MetaAdamWは，5つの異なるタスクにおいて，標準のAdamWよりも一貫して優れた性能を示した。
- MetaAdamWは，学習時間を最大17.11%削減，または性能を最大11.08%向上させた。
- 提案手法は，早期終了による収束不足の問題を軽減することも可能である。
パラメータ分割を用いた群分解理論に基づく変換のカテゴリ化 [cs.LG, cs.AI]目的：変換のカテゴリ化
- 人間の発達を模倣する表現学習において，意味のある知覚表現の獲得は重要である。
- 従来の表現学習は，独立した要素の分離に偏り，要素間の結合を捉えられない場合がある。
- 群分解理論に基づき，補助的な仮定なしに変換のカテゴリ化を可能とする手法を提案する。
- パラメータ分割により，変換全体を部分に分割し，準同型制約を課すことでカテゴリ化を実現した。
- 実験により，回転，並進，スケールを含む画像ペアにおいて，群分解制約が適切なカテゴリ化を促すことが示された。
- 以前の手法で必要であった運動や等距離性などの補助的な仮定を排除し，より広範な適用を可能とした。
LLM駆動型ニューラルアーキテクチャ探索のための構造化された漸進的な知識活性化 [cs.LG, cs.AI]目的：ニューラルアーキテクチャ探索における知識統合と探索の効率化
- ニューラルネットワークの性能向上には，適切なアーキテクチャ設計が不可欠である。
- 既存の知識を活かしつつ，新たな設計を探求することが困難である。
- LLMの知識を効果的に活用し，機能的な絡み合いを抑制すること。
- SPARKは，特定の機能要素を選択的に修正することで，意図しない副作用を低減する。
- CLRS-DFSデータセットにおいて，アーキテクチャ進化速度が28.1倍向上した。
- 外挿精度が22.9%相対的に改善された。
MP-ISMoE：効率的な転移学習のための混合精度インタラクティブサイド混合エキスパート [cs.LG, cs.AI]目的：パラメータ効率の良い転移学習におけるメモリ効率と性能の向上
- 事前学習済みモデルの転移学習は，計算資源を節約しつつ高性能を実現するため重要である。
- 転移学習において，勾配計算によるメモリ消費がボトルネックとなる場合がある。
- サイドネットワークの学習能力を制限することなく，メモリ効率を向上させる。
- 提案手法MP-ISMoEは，Gaussian Noise Perturbed Iterative Quantization (GNP-IQ)により量子化誤差を抑制しつつ，メモリ消費量を削減する。
- Interactive Side Mixture-of-Experts (ISMoE)を用いることで，メモリ効率を維持しつつサイドネットワークの規模を拡大し，性能を向上させる。
- 多様なタスクにおける実験により，MP-ISMoEが最先端のメモリ効率の良い転移学習手法と比較して，顕著な精度向上を示すことが確認された。
異なるドメインからの教師モデルの継続的知識蒸留 [cs.LG, cs.CV]目的：教師モデルからの継続的な知識蒸留による学習手法
- 深層学習モデルの規模拡大に伴い，モデルの保存容量が課題となっている。
- 過去の教師モデルへのアクセスが制限される継続的知識蒸留は，知識の喪失が問題となる。
- 教師モデルの専門性が異なる状況下で，知識の獲得と忘却のバランスをとることを目指す。
- 外部のラベルなしデータを用いることで，未知の知識の転移を可能にする。
- 提案手法SE2Dは，外部データ上のロジットを保持することで学習の安定化を図る。
- 複数のベンチマークにおいて，SE2Dは知識の忘却を軽減し，ドメイン間の汎化性能を向上させる。
先読みドリフトモデル [cs.LG, cs.AI, cs.CV]目的：分布のマッピング
- 画像生成の性能向上は，コンピュータビジョンの重要な課題である。
- 既存手法では，生成される画像の品質や多様性に課題が残る。
- より高精度な画像生成手法を確立し，生成画像の品質向上を目指す。
- 提案手法は，過去に計算されたドリフト項を活用することで，より高次の勾配情報を捉える。
- 実験結果から，提案手法はベースラインよりも優れた性能を示すことが確認された。
- これにより，画像生成における新たな可能性が開かれると考えられる。
単一位置介入は失敗する：分散出力テンプレートが文脈学習を駆動する [cs.LG, cs.CL]目的：大規模言語モデルにおける少数の事例からのタスク同一性の符号化機構
- 機械的解釈可能性において，言語モデルがタスクをどのように理解するかを解明することが重要である。
- 既存研究では，タスク表現の局在化に線形プロービングが用いられるが，因果的重要度との乖離が課題である。
- 本研究は，タスクの符号化が分散的であることを実証し，文脈学習のメカニズムを解明することを目指す。
- 単一位置アクティベーション介入では，全レイヤーにおいてタスク転移が全く見られなかった。
- 複数位置介入では，層8において最大96%の転移率が確認され，文脈学習におけるタスク同一性の因果的局在性が特定された。
- 出力形式テンプレートが，文脈学習におけるタスク同一性の符号化の鍵となることが示された。
エッジレイザー：混合精度量子化認識蒸留による大規模言語モデルの軽量化フレームワーク [cs.LG, cs.AI]目的：大規模言語モデルの軽量化
- 近年のリソース制約のあるデバイスでのLLM利用増加に伴い，軽量化技術の重要性が高まっている。
- 従来の量子化手法は，低ビット化に伴い性能劣化が大きく，計算資源や教師データへの依存度が高い。
- エッジレイザーは，混合精度と極めて低ビットな量子化を用いた軽量化フレームワークを提供し，これらの課題を解決する。
- エッジレイザーは，3ビットの精度を持つ既存手法を1.88ビットで上回り，特に2ビットPTQ手法を11.3ポイント上回る性能を示した。
- 1.58ビットのQwen3-0.6Bは，1.41GBから0.28GBへストレージを削減し，16ビットベースラインと比較して15.1倍のデコード速度向上を実現した。
- エッジレイザーは，量子化ビット幅に関わらず高い圧縮率を実現し，低コストで高い性能を達成する。
アルツハイマー病進行解析のための非パラメトリック深層サバイバルモデルの信頼性に関する調査 [cs.LG, cs.AI, cs.CY]目的：アルツハイマー病進行解析における非パラメトリック深層サバイバルモデルの信頼性評価
- アルツハイマー病は進行性の疾患であり，患者ケアには正確な進行モデリングが不可欠である。
- 深層学習の生存分析への応用は進んでいるが，アルツハイマー病への応用研究は少ない。
- モデル内に学習されたバイアスが存在する場合，予測の公平性と信頼性が損なわれる可能性がある。
- 深層学習を用いたサバイバルモデルは，アルツハイマー病ケアの決定を支援する有用なツールである。
- しかし，これらのモデルはしばしば著しいバイアスを示すことが示された。
- 性別，人種，教育などの機微属性に関するバイアスを定量化するための，新たな公平性指標が提案された。
軌跡認識型プロセス監督による医療VQAの改善 [cs.LG, cs.CV]目的：医療VQAにおける推論能力向上
- 医療画像と自然言語処理の融合は，診断支援や治療計画に不可欠である。
- 既存の医療VQAデータセットは，推論過程の説明が乏しいという課題がある。
- 推論過程を明示的に監督することで，より高度な医療VQAモデルを開発する。
- COMCTSアルゴリズムを用いて6つの医療VQAベンチマークに対する推論軌跡を生成した。
- 生成されたデータセットを用いて，プロセスに基づく報酬関数を用いた2段階の学習フレームワークを提案した。
- 軌跡認識型報酬関数を導入することで，平均精度が0.598から0.689に向上し，医療VQAの性能が大幅に改善された。
大規模言語モデルにおける教師なし推論のための適応的アドバンテージシェイピングを用いた自由エネルギー駆動型強化学習 [cs.CL, cs.ET, cs.LG]目的：大規模言語モデルの教師なし推論能力向上
- 大規模言語モデルの性能向上は，自然言語処理分野における重要な課題である。
- 従来の教師なし強化学習は，モデルの推論能力の変化に適応できず，最適化が誤方向へ進む場合がある。
- 自由エネルギー原理に基づき，報酬と学習信号を適応的に調整することで，この問題を解決する。
- 提案手法FREIAは，9つのデータセットで既存手法を上回る性能を示した。
- 特に数学的推論タスクにおいて，Pass@1のスコアで0.5～3.5ポイントの改善が見られた。
- 自由エネルギー駆動型報酬と適応的アドバンテージシェイピングが，性能向上に貢献している。
適応して繁栄する！LLMの推論能力向上に向けた適応型Power-Mean方策最適化 [cs.CL, cs.ET, cs.LG]目的：大規模言語モデル(LLM)の推論能力向上
- LLMの推論能力は，様々なタスクにおいて重要であり，その向上はAI技術の発展に不可欠である。
- 既存の強化学習手法では，モデルの推論能力の進化に追随できない静的な方策最適化スキームが課題となっていた。
- モデルの推論能力の変化に適応し，学習のダイナミクスと推論性能を向上させることを目指す。
- 提案手法であるAPMPOは，Power-Mean方策最適化(PMPO)とFeedback-Adaptive Clipping(FAC)という2つの革新的な要素を備えている。
- PMPOは，算術平均から幾何平均への適応的な移行を可能にし，信号増幅と一貫性維持のバランスを取る。
- 実験の結果，APMPOは数学的推論ベンチマークにおいて，GRPOと比較してPass@1スコアを平均3.0ポイント向上させた。
SemiConLens：2D半導体探索のための視覚分析 [cs.HC, cond-mat.mtrl-sci, cs.LG]目的：2D半導体材料の効率的かつ信頼性の高い探索
- シリコン微細化の限界を克服するため，新たな2D半導体材料の探索が重要性を増している。
- 既存手法は，データセットの小ささ，信頼性，不確実性の問題に直面している。
- 限られたデータからでも，不確実性を考慮した半導体特性予測を可能とする。
- SemiConLensは，Correlation Aware Multivariate Imputation (CAMI)という新しい手法と機械学習モデルを組み合わせる。
- インタラクティブなフィルタリング，探索，比較を可能にする視覚化モジュールを搭載している。
- ユーザーが設定可能なキー属性と予測の不確実性を効果的に表示する独自の円形グリフデザインを採用している。
強靭な需要予測のための二重深層強化学習選択ツールの設計 [cs.LG, cs.AI]目的：需要予測モデルの自動選択
- サプライチェーンにおける予測精度向上は，効率的な在庫管理やコスト削減に不可欠である。
- データセットの特性により最適な予測モデルが異なり，適切なモデル選択が課題となっている。
- 深層強化学習を用いて，データセットに応じた最適な予測モデルを自動的に選択することを目指す。
- 提案手法は，食料品販売データとスナック需要データを用いた実験において，既存手法と比較して堅牢性を示すことが確認された。
- 二重深層強化学習エージェントとしてアーキテクチャを提案し，予測時に予測モデル委員会から自動的にモデルを選択する。
- 平均報酬収束に基づく新規の早期停止アプローチを導入し，学習時間を短縮することに成功した。
LAWS：実ワークロードからの記号的学習 - ニューラル推論，ロボティクス，エッジ展開のための自己認証パラメトライズドキャッシュアーキテクチャ [cs.LG, cs.AI, cs.IT, cs.NE, math.IT]目的：実ワークロードから記号的に学習する自己認証推論キャッシュアーキテクチャの構築
- ニューラルネットワークの推論速度向上は，様々な応用において不可欠であり，計算資源の効率的な利用が求められている。
- 既存のキャッシュ手法では，キャッシュの精度と安全性の保証が難しく，誤った推論結果を招く可能性がある。
- LAWSは，安全性が保証されたキャッシュにより，ニューラル推論の効率性と信頼性を高めることを目指す。
- LAWSは，実環境でのワークロード観察から専門家関数ライブラリを構築し，入力空間を定義する確率的言語トライを用いて自己認証を行う。
- LAWSの近似誤差は，モデルのLipschitz定数，埋め込み直径，専門家訓練誤差によって制限され，これらは展開時に検証可能である。
- LAWSは，MoEやKVプレフィックスキャッシュを一般化し，固定KのMoEや有限キャッシュよりも表現力に優れていることが示された。
多様なタスクにおける人間とAIの相補性に向けて [cs.HC, cs.AI, cs.LG]目的：人間とAIの判断を組み合わせることによる性能向上
- 高度なAIシステムの堅牢な監視には，人間とAIの協力が不可欠である。
- 現実的なタスクにおいて，人間とAIの相補性が達成可能かどうかは未解明であった。
- 多様なタスクにおける人間とAIの相補性の可能性と限界を明らかにすること。
- 単純なハイブリッド化では，AI単独と比較してわずかな性能向上（+0.4%）しか見られなかった。
- AIの確信度が低い場合にトップ2アシスタンスを適用することで，人間の正答率が向上したが，AIの正答を採択した結果が主であった。
- 人間のタスク精度自体よりも，適切なタイミングで判断を人間へ委ねることと，AIの誤りを捕捉できる支援方法の開発が課題である。
FlatASCEND：連続時間予測と関連に基づく薬理学的テストを用いた自己回帰的臨床シーケンス生成 [cs.LG, cs.AI, q-bio.QM]目的：臨床イベントの自己回帰的予測
- 臨床データ分析は，医療の質の向上や効率化に不可欠である。
- 介入に対する臨床シーケンスの生成と，薬理学的関連性の検証が十分ではない。
- 患者固有のデータから，薬理学的に妥当な臨床経過を生成することを目指す。
- FlatASCENDは，患者固有のデータに基づいた条件付き生成において，薬理学的効果を増幅することが示された。
- 薬剤間のメカニズムに基づいた関連性の方向性を，ある程度の割合で再現することが確認された。
- 報酬最適化は，学習された関連性を損なう可能性を示唆しており，因果関係の識別が課題である。
臨床シーケンスモデル表現のスパースオートエンコーダ分解：特徴の複雑性，タスクの専門化，および死亡率予測 [cs.LG, cs.AI, cs.CL]目的：臨床シーケンスモデル表現の特徴複雑性，タスクの専門化，および死亡率予測に関する解析
- 電子健康記録（EHR）は医療データ解析において重要であり，その活用は臨床的知見の向上に不可欠である。
- EHRデータは高次元かつ複雑であり，有用な特徴抽出が困難であるという課題が存在する。
- 本研究は，スパースオートエンコーダを用いてEHRデータの表現を分解し，より効果的な特徴抽出を目指す。
- スパースオートエンコーダ分解により，トランスフォーマーの層の深さとともに特徴表現が抽象化していく様子が明らかになった。
- 短いシーケンスでの線形プローブを用いた評価では，スパースオートエンコーダの特徴表現が離散イベント予測（死亡率）において優れていた。
- 一方，連続値予測（在院日数）においては，密な表現の方が優れており，プローブレベルでの表現特性が示された。
保釈決定におけるラベルの不確定性への対処 [cs.LG, cs.AI]目的：保釈決定におけるラベルの不確定性に対処するための手法の評価
- 司法判断の自動化は，効率化や公平性の向上に繋がる重要な分野である。
- 過去の保釈データには，保釈が認められなかった場合の裁判出頭状況が不明であるため，ラベルの不確定性が存在する。
- この研究は，不完全なデータからバイアスを排除し，より公正な保釈決定支援システムの構築を目指す。
- ペンシルベニア州の保釈決定データを用いて，5つの既存手法と新規のラベル補完手法を比較検証した。
- 各手法は検証不可能な仮定に基づいているものの，モデルの予測性能に大きな影響を与えることが示された。
- 説明可能なAI分析により，これらの影響がモデルの意思決定プロセスにまで及んでいることが明らかになった。
AIデータセンターの短期GPU電力需要予測のための物理モデルに基づくフレームワーク [cs.LG, cs.AI, cs.CE, cs.DC, cs.ET, cs.OS]目的：AIデータセンターの短期GPU電力需要予測
- AIの発展によりデータセンターの電力消費が増大しており，安定的な電力供給が重要である。
- AIワークロードの変動が大きく，電力需要の予測が困難である。
- 物理モデルを組み込むことで，電力需要予測の精度向上を目指す。
- 提案手法PI-DLinearは，既存の最先端モデルと比較して，MSE，MAE，RMSEにおいて0.37%-51.82%の精度向上を達成した。
- 予測結果が物理法則に整合しており，電力制限や負荷変動時にも安定した予測が可能である。
- AIデータセンターの電力需要予測において，物理モデルの有効性を示した。
RetentiveKV: 不確実性認識型マルチモーダルKVキャッシュ退去のための状態空間メモリ [cs.LG, cs.AI, cs.CL]目的：マルチモーダル大規模言語モデルにおける計算効率とメモリ消費の改善
- マルチモーダルLLMは，長大な視覚的コンテキスト処理時に，計算資源とメモリの制約を受ける。
- 既存のKVキャッシュ圧縮法は，視覚トークンの「遅延重要性」に対応できず，早期退去を引き起こす。
- 状態空間モデルに基づき，KV退去を連続的なメモリ進化として捉え，情報ポテンシャルを定量化する。
- RetentiveKVは，KVキャッシュを5.0倍圧縮し，デコーディング速度を1.5倍に向上させることを実証した。
- エントロピー駆動型のアプローチにより，低注意トークンの情報ポテンシャルを捉え，動的な再活性化を可能にする。
- 視覚的特徴の空間的連続性を維持しつつ，マルチモーダルベンチマークにおいて優れた性能を発揮する。
米国銀行におけるAI駆動型金融不正検知のための規制ガバナンスフレームワーク：OCC，SR 11-7，CFPB，FinCENコンプライアンス要件の統合 [cs.LG, cs.AI, cs.CY]目的：AI駆動型金融不正検知における規制ガバナンスフレームワークの構築
- 金融機関におけるAI活用は拡大する一方，不正検知の精度向上は喫緊の課題である。
- 各規制当局の要件が分散しており，モデル開発から監視までのライフサイクル全体での統合が課題である。
- 規制遵守を確保しつつ，AI不正検知システムの性能を最大化することを目指す。
- 提案フレームワーク（RGF-AFFD）は，OCC，SR 11-7，CFPB，FinCENの各規制要件を同時に満たす初の統合的な設計図である。
- LSTM+XGBoostアンサンブルモデルは，ROC-AUC 0.9289，F1スコア0.6360，費用対効果6:1を達成した。
- XGBoostはLSTMと比較して，時間的安定性が高く，ROC-AUCの変動が小さかった（ΔAUC = -0.0017 vs. -0.0626）。
バランスのとれた集約：GRPOにおける集約バイアスの理解と修正 [cs.LG, cs.AI, cs.CL]目的：報酬検証付き強化学習における集約バイアスの理解と修正
- 大規模言語モデルの推論・コード生成能力向上に，報酬検証付き強化学習が不可欠な手法となっている。
- GRPO形式の学習におけるトークンレベルの勾配集約方法が十分に検討されていなかった。
- トークンとシーケンスの集約がもたらす最適化バイアスを解消し，学習の安定性と性能を向上させる。
- 提案手法であるBalanced Aggregation (BA) は，トークンレベルの平均を正負部分集合ごとに計算し，シーケンス数に基づく重みで組み合わせることで，学習の安定性を向上させる。
- BAは，Qwen2.5-Math-7BおよびQwen3-1.7Bを用いた実験で，DAPO-17kとPolarisにおける6つの推論・コーディングベンチマークで，従来の集約手法よりも優れた性能を示した。
- トークンとシーケンスの集約の有効性は，応答長の変動や正負の長さの差によって左右され，集約がGRPO形式の学習において重要な要素であることが示された。
妥当性較正による推論蒸留 [cs.LG, cs.AI]目的：大規模言語モデルの多段階推論能力を，より小型で効率的なモデルへ転移させること
- 推論能力はAIの高度化に不可欠であり，複雑な問題を解決するための重要な要素である。
- 既存の手法は静的な教師・生徒の関係に依存し，厳密な経路模倣に偏りがちである。
- 推論の各ステップにおける妥当性を考慮し，学習信号を適切に配分することで蒸留の精度向上を目指す。
- 本研究では，推論蒸留を局所的な学習信号の配分問題として捉える新しい枠組みを提案した。
- 教師と生徒の次のステップ予測の妥当性を比較し，その相対的な妥当性に基づいて蒸留更新の強度を調整する。
- 数学的推論，コード生成，指示応答のベンチマークにおいて，既存手法を上回る性能を達成した。
効率的な筆跡に基づくアルツハイマー病診断：低ランク混合エキスパート深層学習フレームワーク [cs.LG, cs.AI]目的：アルツハイマー病の筆跡分析による診断
- 早期発見は，臨床介入や治療戦略評価に不可欠である。
- 認知機能低下の非侵襲的な指標が求められている。
- 筆跡データを用いた効率的かつ高精度な診断手法の確立。
- 提案手法は，DARWINデータセットで優れた診断性能を示した。
- 軽量な低ランクアダプターにより，パラメータ数を大幅に削減し，学習安定性を向上させた。
- 推論時に活性化されるパラメータ数が少なく，計算効率に優れる。
機械学習によるオンライン犯罪行動の関連付け：著者特定を用いた潜在的なオンライン人身売買者の分析と連携 [cs.CL, cs.AI, cs.CV, cs.CY, cs.LG, cs.SI]目的：オンライン犯罪行動の理解と関連付け
- オンライン上での犯罪増加に対処するため，データ駆動型アプローチの重要性が高まっている。
- 匿名アカウントやIDの頻繁な変更により，犯罪ネットワークの規模や関連性の特定が困難である。
- オンライン広告における書き方や画像表現のパターンを分析し，関連アカウントの特定を目指す。
- オンライン広告における書き方や画像表現には，匿名化を試みても一貫したパターンが認められた。
- これらのパターン分析により，複数のオンライン市場における関連アカウントや反復行動の特定が可能となった。
- プライバシー，公平性，透明性を尊重した責任ある利用のためのガイドラインを提案した。
変数ラグを用いた時系列因果探索 [cs.LG, cs.AI]目的：時系列データの因果関係構造学習
- 現実世界の複雑な問題解決には不確実性下での推論が不可欠であり，因果ベイジアンネットワークはその強力なツールである。
- 既存の時系列因果探索法は固定されたラグウィンドウを仮定し，エッジ固有のラグを最適化しない場合が多い。
- エッジ固有のラグを考慮し，時間順序を尊重した因果構造を効率的に学習することを目的とする。
- 提案手法は，局所的な最適性や妥当性の理論的保証を持つ。
- シミュレーション実験では，高い精度でグラフ構造とラグを推定できた。
- COVID-19政策データ分析では，遅延効果と行動・疫学的影響の一致が確認された。
排水処理における空間的に変動するN2Oモデル予測の解釈可能性向上：ソフトセンサーによる検討 [cs.LG]目的：排水処理プラントにおけるN2O排出量のモデル予測解釈可能性の向上
- 地球温暖化の原因となるN2O排出量削減は，環境保全において重要な課題である。
- 既存のN2O予測モデルは，データや測定方法の不確実性が解釈を困難にしている。
- ソフトセンサーを用いることで，N2O予測モデルの解釈可能性向上を目指す。
- 機械学習モデルはN2O排出量の予測において高い精度を示したが，特徴量の重要性はモデルや測定スケールに依存した。
- N2Oソフトセンサーモデルの予測は，測定場所やデータセットの不確実性の影響を受ける。
- モデル構造の分析から，好気性亜硝酸生産の過大評価やN2O生成経路へのバイアスが示唆された。
AsymmetryZero：人間の専門家による嗜好を意味的評価として運用するためのフレームワーク [cs.LG, cs.AI]目的：人間の専門家の嗜好を意味的評価として運用するためのフレームワーク
- 強化学習の評価設計は，ベンチマークと報酬信号の両方として重要であり，その精度が学習成果を左右する。
- 現実世界のタスクは主観的，手続き的，ドメイン固有の要件に左右され，既存の評価方法では表現が困難である。
- 専門家の要件を評価自体に忠実にエンコードすることで，ポストトレーニングの課題解決を目指す。
- AsymmetryZeroは，評価基準を明示化した安定した評価契約を定義し，モデルとエージェント両方の評価を可能にする。
- Harborを用いた実験で，最先端モデル群とコンパクトモデル群を比較した結果，基準レベルの一致率は75.9%～89.6%であった。
- コンパクトモデル群は内部での意見の不一致が高く（3--2 split rate 28.7%--32.4%），判断コストおよびレイテンシは大幅に削減された。
FASQ：キャリブレーション不要なLLM圧縮のための柔軟な加速サブスペース量子化 [cs.LG, cs.AI, cs.AR]目的：大規模言語モデルの圧縮手法
- LLMの利用拡大には，計算資源の制約克服が不可欠であるため，モデル圧縮技術が重要視されている。
- 従来の量子化手法は，固定ビット幅に制限され，柔軟な圧縮率の調整が困難であった。
- FASQは，キャリブレーション不要で，連続的な圧縮率調整を可能にする新しい量子化手法を提案する。
- FASQは，Meta-Llama-3-8Bにおいて，4bit GPTQやAWQよりも高い精度を37-42%のモデルサイズで実現した。
- RTX 3090上では，FASQは有効4bitで45.2 tok/s，有効3bitで51.8 tok/sのデコード速度を達成し，FP16 tensor-core性能を上回った。
- FASQは，キャリブレーション不要，連続的なサイズ・品質のトレードオフ，および単一のコンシューマーGPUでのリアルタイム推論を可能にする。
生成AIにおける患者安全リスク評価：生成された臨床コンテンツに対するFMECAフレームワークの開発と検証 [cs.CY, cs.AI, cs.CL, stat.ME]目的：生成AIによる臨床テキスト要約における患者安全リスク評価のためのFMECAフレームワーク
- 臨床現場でのAI活用が拡大する中，患者安全確保は最重要課題である。
- LLM生成コンテンツの安全性評価手法が確立しておらず，リスク管理が困難である。
- LLM生成臨床要約における潜在的な患者安全リスクを体系的に特定・評価すること。
- 新規FMECAフレームワークは，14種類の故障モードを分類し，体系的なリスク評価を可能にした。
- 評価者間信頼性はラウンド間で向上し，故障モード特定と重症度・検出可能性のスコアリングで良好な一致が見られた。
- ユーザビリティ評価では良好な結果（平均SUS: 79.2/100）が得られ，フレームワークの実用性が示された。
マルチモーダルLLMは臨床皮膚科の現場で活用できるか？ 皮膚科における実世界での評価 [cs.NI, cs.CY, cs.CV, cs.AI, cs.CY]目的：臨床皮膚科におけるマルチモーダルLLMの性能評価
- 皮膚科領域では，画像診断の精度向上が課題であり，AI技術の活用が期待されている。
- ベンチマークでの高い性能が，実際の臨床現場での性能を反映しているとは限らない。
- ベンチマークと臨床現場の性能差を定量的に評価し，LLMの臨床応用可能性を探る。
- 公開データセットでは一定の診断精度が確認されたが，実際の臨床データでは精度が大幅に低下した。
- 臨床情報を加えることで性能は向上したが，不完全または誤った情報に影響を受けやすいという課題が明らかになった。
- 重症度に基づくトリアージにおいては，ある程度の感度は示したが，臨床での利用には信頼性が不十分である。
正則化された中心化強調型時間差学習 [cs.AI]目的：オフポリシー時間差学習における安定性，射影幾何学，分散制御のトレードオフ改善
- 強化学習において，効率的な価値関数近似は重要な課題である。オフポリシー学習はその学習効率の高さから注目されている。
- オフポリシー学習では，関数近似を用いる際に安定性，射影幾何学，分散制御の間のトレードオフが生じやすい。
- 強調型時間差学習の不安定性を解消しつつ，その有利な射影幾何学を維持することを目指す。
- 本研究では，補助的な中心化再帰を正則化することで，中心化強調型学習の不安定性を回避する手法を提案した。
- 提案手法は，強調型学習の有利な射影幾何学を維持しつつ，正則化パラメータに対してロバストな中間領域を示すことが実験で確認された。
- 保守的な十分条件の下で，提案手法の収束性を数学的に証明した。
HERCULES：ハードウェア効率，堅牢性，継続学習のためのニューラルアーキテクチャ探索 [cs.LG, cs.AR, cs.CL, cs.CV, cs.NE]目的：効率，堅牢性，継続学習を考慮したニューラルアーキテクチャ探索手法の分類と課題
- AIの進化に伴い，精度と効率に加え，実環境での信頼性や適応能力が重要になっている。
- 従来のNASはハードウェア効率に偏っており，堅牢性や継続学習といった側面が十分ではない。
- 効率，堅牢性，継続学習を同時に最適化するNASの枠組みを提示し，今後の研究の方向性を示す。
- 本研究では，効率，堅牢性，継続学習という三つの視点からNAS手法を分類し，それぞれの関係性を明らかにした。
- HERCULESという新たなフレームワークを定義し，多目的NASにおける探索空間の探索と計算コストの課題に取り組む。
- アルゴリズム，アーキテクチャ，ハードウェア・ソフトウェアの共同設計による，実用的な継続学習AIシステムの開発に向けたロードマップを提示した。
TSCG：エージェント型LLM展開のための決定論的なツールスキーマコンパイラ [cs.SE, cs.AI, cs.CL]目的：エージェント型LLMにおけるツールスキーマの変換
- LLMの能力を最大限に引き出すためには，ツールとの連携が不可欠である。
- JSON形式のツールスキーマはLLMにとって解釈が難しく，ツール利用の失敗を招く。
- LLMへのアクセスやファインチューニングなしに，この問題を解決することを目指す。
- TSCGは，JSONスキーマを効率的なテキスト形式に変換することで，ツール利用の精度を大幅に向上させる。
- Phi-4 14Bにおいては，ツール数が20個で精度を0%から84.4%に，50個で90.3%に改善した。
- TSCGは，トークン数を52-57%削減しつつ，実際のMCPスキーマでも高い精度を維持することが示された。
FPGA 上での微分可能論理ゲートネットワークのリソース利用 [cs.AR, cs.AI]目的：FPGA 合成における微分可能論理ゲートネットワーク（LGN）の電力，リソース利用率，推論速度，モデル精度間のトレードオフ
- エッジ機械学習では，小型モデルの知能を最大化しつつ，回路サイズと消費電力を最小化することが重要である。
- LGN は性能面で優れる一方，パラメータとハードウェア合成特性の間のトレードオフが十分に理解されていない。
- FPGA 向け LGN アーキテクチャ選択のための基盤となるトレードオフ情報を提示し，リソース効率を向上させる。
- LGN の最終層がタイミングとリソース使用量を最小化する上で重要であり，ロジックサイズの削減に貢献する。
- タイミング制約下では，最終層を狭くすることで，より深く，より広い LGN を FPGA で合成できる。
- Lut 数を固定した FPGA 上で LGN を設計する際の，アーキテクチャ選択に関する知見を提供する。
低ランクRNNにおける学習が不可視構造を明らかにする [cs.LG, cs.AI, q-bio.NC]目的：低ランクRNNの学習過程における構造の解明
- 神経システムにおける学習は，行動の基盤となる表現を再構築するシナプス変化から生じる。
- 低ランクRNNは，結合性と機能の関連付けに有効だが，その学習過程の理論的理解は十分ではない。
- 低次元の重なり空間における学習の勾配降下ダイナミクスを導き出し，学習過程を解明することを試みる。
- 損失に影響を与える重なりと，そうでない重なりに分類し，学習過程を分析した。
- 学習が機能的に同等なネットワーク間の結合性の違いを明らかにする可能性があることを示した。
- 損失に影響を与えない重なりが，学習履歴を記憶する変数の役割を果たす条件を明らかにした。
検索ベースのIn-Context Learningに対するメンバーシップ推論攻撃 [cs.CR, cs.LG]目的：文書質疑応答のための検索ベースのIn-Context Learningにおけるメンバーシップ推論攻撃
- 機械学習モデルのプライバシー保護は重要であり，機密情報の漏洩を防ぐ必要がある。
- In-Context Learningは強力だが，学習データに関する情報を漏洩する脆弱性がある。
- 検索機能を用いたIn-Context Learningにおけるメンバーシップ推論攻撃のリスクを軽減する。
- 外部ホスト型アプリケーションは，検索機能を用いてIn-Context Learningを行う際，メンバーシップ推論攻撃に対して脆弱性を持つことが示された。
- クエリテキストのプレフィックスを利用する2つのブラックボックス攻撃を提案し，メンバーデータと非メンバーデータを区別できることを示した。
- 提案手法は，言い換え攻撃に対してより強い耐性を示し，既存の攻撃手法よりも優れた性能を発揮することが確認された。
多様体上の同時CNN近似と境界値問題への応用 [cs.LG, cs.NA, math.NA]目的：多様体上の同時CNN近似と物理情報ニューラルネットワークの枠組み
- 高次元データに対する効率的な近似手法の確立が求められている。次元の呪いの克服は重要な課題である。
- 従来のPINNでは境界条件の扱いが不十分であり，精度や安定性に問題があった。
- 多様体上の関数を効率的に近似し，境界値問題に対するPINNの精度と安定性を向上させる。
- 本研究では，多様体上のSobolev近似に関する結果を導出し，次元の呪いを緩和することを示した。
- 境界条件の不一致問題を，Laplace-Beltrami演算子に基づくスペクトル境界損失関数を導入することで解決した。
- 数値実験により，提案手法が従来のPINNよりも高い精度，収束性，安定性を持つことが確認された。
炭鉱のカナリア：確率的オウムの現状。モデル崩壊は低資源コミュニティへの脅威である [cs.LG, cs.CL, cs.CY]目的：モデル崩壊がAIの民主化努力に及ぼす脅威
- 生成AIの利用拡大に伴い，生成されるコンテンツの質と公平性が重要となる。
- 大規模言語モデルはデータ偏りを増幅させ，効率的な学習を阻害する可能性がある。
- モデル崩壊による低資源コミュニティへの不均衡な影響を軽減する対策を検討する。
- モデル崩壊は，学習効率の低下とデータ分布の歪みを引き起こし，低資源コミュニティに深刻な影響を与える。
- この現象は環境的および文化的な側面において，AIの民主化の取り組みを脅かす。
- モデル崩壊の影響を緩和するための初期的な方向性が提示されている。
統合されたマルチモーダル理解と生成における空間知能の覚醒 [cs.GR, cs.AI, cs.CL, cs.CV, cs.LG]目的：視覚的理解，テキストから画像への生成，および指示に基づいた画像編集のための統一マルチモーダル基盤モデル
- 視覚情報と言語情報を統合し，より高度なAIシステムを構築する上で重要である。
- 既存モデルは，空間的な推論能力や視覚的な制御性に課題を抱えている。
- 空間認識能力を強化し，より制御可能で創造的な画像生成を実現すること。
- JoyAI-Imageは，視覚理解，画像生成，編集において最先端または非常に高い性能を達成した。
- モデルの理解力，空間編集能力，そして新しい視点からの推論が相互に作用し，空間知能を向上させている。
- 本研究は，ビジョン・言語・行動システムやワールドモデルといった下流アプリケーションへの有望な道を示す。
パラメータ適応型簡約化モデルのための制約付き極大勾配ブースティング [cs.LG]目的：パラメータ依存的な主成分分析(POD)基底の予測
- 複雑な工学システムのモデル化に不可欠だが，計算コストが高いという課題がある。
- パラメータ変動により，簡約化モデルの性能が低下する可能性がある。
- パラメータ変化に対応した基底構築を可能にし，簡約化モデルの精度を向上させる。
- 提案手法(cXGBoost)は，流体力学や波動伝播問題を含む4つの数値例で評価された。
- パラメータ依存的な基底を正確に予測し，非線形領域においても堅牢性を示した。
- 幾何学的学習と制約付きアンサンブル法の組み合わせが，高次元パラメータシステムの簡約化モデリングに有効である。
強直化学反応系のinVAErtネットワークによるモデル合成と識別可能性解析 [cs.LG]目的：強直化学反応系のデータ駆動型レプリカの学習
- 化学反応動力学は，化学プロセスを理解し予測する上で不可欠である。
- 反応速度などのパラメータの推定は，計算コストが高く困難である。
- inVAErtネットワークを用いて，パラメータ推定の逆問題を解決する。
- 提案されたエミュレータは，低次元系では$10^{-5}$，高次元系では$10^{-4} \sim 10^{-3}$の相対二乗平均平方根誤差を達成した。
- 復元された識別不可能な反応速度の多様体は，単純系では解析的に検証され，高次元系では局所的な識別可能性解析と一致した。
- inVAErtネットワークは，反応速度，積分時間，初期条件の推定に有効であることが示された。
フロンティアの遅延：学術AI評価における能力の誤認に関する書誌学的監査 [cs.CY, cs.AI, cs.CL]目的：学術AI評価における能力の誤認の程度とその原因の特定
- AI技術の発展は目覚ましく，社会への影響も大きい。その評価は技術進歩の方向性を示す上で重要である。
- AI評価論文において，最新モデルではなく，過去のモデルの能力が評価されている場合がある。
- 最新モデルの能力と評価論文の対象モデルの能力との乖離を定量的に把握し，その原因を究明する。
- AI評価論文の対象モデルは，評価時点のフロンティアモデルより平均してECIで約1.4倍の遅れをとっていた。
- この遅延は年率5.53ECIずつ拡大傾向にあり，論文査読の遅延と過剰な遅延がその要因と考えられる。
- 論文のアブストラクトでは，推論モードに関する情報が開示されるケースが少なく，また「AI」全体としての結論が述べられる傾向が見られた。
山火事から煙の分布を予測する多線形演算子によるリアルタイム学習の実現 [cs.CL, cs.LG, physics.ao-ph, physics.comp-ph]目的：山火事による煙の分布予測手法の開発
- 山火事はPM2.5等の大気汚染物質の主要な発生源であり，人々の健康や電力網に影響を及ぼす。
- 複雑な火災モデルは計算コストが高く，長期的な煙の予測には不向きである。
- データ駆動型アプローチにより，計算コストを抑えつつ高精度な煙予測を目指す。
- 本手法では，多線形演算子を用いて，発火からの経過時間と煙濃度場の間の関係を学習する。
- 学習はCPUで30秒以内に完了し，予測は1ミリ秒以下で実行可能である。
- エアロゾル光学的深さの予測精度はモンテカルロ法と同等であり，既存の煙分類器より大幅に高いIoUとAUCを達成した。
手術チームダイナミクスの時間展開型相互作用グラフによるリアルタイムモデリング [cs.MA, cs.HC, cs.AI, cs.LG]目的：手術チームダイナミクスの構造化モデリング
- 手術の成功には，技術的遂行能力とコミュニケーション，連携などの非技術的スキルが重要である。
- 既存の手術AIシステムは視覚的ワークフローに重点を置き，術中チーム間の相互作用の時間的構造を捉えられていない。
- チーム間の相互作用をモデリングし，手術効率の予測と改善に繋げることを目指す。
- 時間展開型相互作用グラフを用いることで，チームメンバー間のコミュニケーションを時間的に追跡し，動的な相互作用モデリングを可能にした。
- モデルは手術時間の逸脱を予測し，リアルタイムでの展開と静的グラフニューラルネットワークによる効率的な推論を実現した。
- 反事実分析により，コミュニケーション構造の変更と行動変数の関連性を特定し，手術結果の改善に繋がる洞察を得た。
グロモフ-ワッサースタイン最適輸送のための，証明可能な収束性と実用的なアルゴリズム [cs.LG, math.OC]目的：グロモフ-ワッサースタイン最適輸送における，証明可能な収束性を持つ実用的なアルゴリズムの開発
- 多様なデータ間の関係性を捉えるため，近年，測度空間間の最適輸送問題への関心が高まっている。
- 大規模な問題において，目的関数が非凸であり，正確な射影計算が困難であることが課題となっている。
- 近似的な射影を用いながらも，厳密な収束性を保証するアルゴリズムを提案し，その実用性と信頼性を高める。
- 二乗損失を持つグロモフ-ワッサースタイン最適輸送に対し，実行可能な残差に基づく近似的な射影フレームワークを提案した。
- 提案手法は，厳密な射影点のような未知量を必要とせず，実装可能な条件のもとで定常点への収束を証明した。
- 許容誤差を適切に減衰させることで，系列全体の収束も保証され，プロジェクション勾配法の実用性と信頼性が向上する。