arXiv雑要約
AI - 2026/06/17 公開
TuneAhead：フルトレーニング開始前のファインチューニング性能予測 [cs.LG, cs.AI]目的：ファインチューニング性能の事前予測
- 大規模言語モデルの活用が広がる中で，効率的なモデル調整が不可欠となっている。
- ファインチューニングは計算コストが高く，データやハイパーパラメータに依存し，性能低下のリスクがある。
- 不要なフルトレーニングを削減し，有望な試行を効率的に選別することを目指す。
- TuneAheadは，データセット記述子と短いプローブによる動的特徴を組み合わせたメタ特徴ベクトルを用いる。
- 予測モデルは，これらの特徴から性能を推定し，SHAP値を用いて解釈可能性の高い診断を提供する。
- Qwen2.5-7B-Instructを用いた1300件以上の実験で，既存手法を上回るRMSE 1.47%ポイントを達成した。
教師なし検索のための時間的優先度最適化 [cs.IR, cs.AI]目的：教師なし検索における時間的関連性の改善
- 情報検索において，時間的要素は重要な役割を果たす。特に，長期間にわたる文書集合では不可欠である。
- 教師なし検索モデルは，時間的関連性を捉えるのが苦手であり，時間的に不整合な文書を検索してしまう場合がある。
- 本研究は，ラベル付けされたタイムスタンプなしに，時間的に整合性の高い文書を検索する手法を開発する。
- 提案手法TPOURは，時間的参照最適化(TRPO)という新しい学習方法を用いて，時間的に整合性の高い文書を優先的に検索する。
- TPOURは，学習された時間埋め込みによる補間により，未知の時間範囲にも一般化し，連続的な時間的整合性を実現する。
- 実験の結果，TPOURは，教師あり・なし両方のベースラインモデルを上回り，特に小規模ながら高い性能を発揮した。
FacProcessTwin：LLMに基づくプロセスツイン開発システム [cs.SE, cs.AI]目的：プロセスツインの迅速な開発
- 製造プロセスの効率化が求められる中，プロセス全体の可視化が重要である。
- 従来のデジタルツインは単一機械に焦点を当て，プロセス全体の相互作用を捉えきれない。
- プロセスツイン開発のコストと時間を削減し，実用化を促進すること。
- FacProcessTwinは，LLMを活用し，プラントのプロセス文書とオペレーターの自然言語入力を基にプロセスツインを生成する。
- 生成されたモデルの精度はF1スコアで95.2%と高く，手動開発時間の約6分の1で完了する。
- 安全に関わるバインドにおいて，オペレーターの介入により誤バインドをゼロに抑えることが可能となった。
学習可能なグラフパッチによる特徴量の異質性の処理 [cs.LG, cs.AI]目的：グラフデータの特徴量の異質性に対処するための手法
- グラフデータは，様々な分野で利用されており，その分析は重要である。
- 既存のモデルは，テキスト情報なしにグラフデータの特徴量の異質性に対応できない。
- 異なるデータセット間でのグラフモデルの汎化性能向上を目指す。
- 提案手法は，グラフデータを学習可能なパッチに分解し，ドメインを跨いだ情報伝達を可能にする。
- パッチエンコーダとパッチ集約器により，各パッチの知識抽出と全体への統合を学習する。
- 様々なダウンストリームデータセットとタスクにおいて，性能が向上し，データ量増加に伴い改善が認められた。
分子動力学における多段階時系列予測のための時空間情報変換器ASTEROID [cs.LG, cs.AI, q-bio.QM]目的：分子動力学シミュレーションの多段階時系列予測
- 分子動力学シミュレーションは，物質科学や創薬など幅広い分野で不可欠な計算手法である。
- 大規模システムや長期間の解析には計算コストが膨大であり，効率的な予測手法が求められている。
- ASTEROIDは，従来の反復積分を回避し，直接的に原子座標を予測することで，計算コスト削減を目指す。
- ASTEROIDは，既存手法と比較して，様々なベンチマークにおいて多段階予測の精度が向上した。
- 従来の分子動力学シミュレーションと比較して，計算コストを大幅に削減することが示された。
- 本研究は，分子動力学シミュレーションを加速するための堅牢かつ汎用的なデータ駆動型パラダイムを確立した。
まず見て，後で答える：十分性駆動型強化学習による視覚的証拠の事前調整 [cs.CV, cs.AI]目的：視覚的証拠の事前調整
- マルチモーダル大規模言語モデルの発展に伴い，視覚情報の効果的な活用が重要となっている。
- 既存の事前学習では，粗いキャプションに偏り，詳細な視覚的証拠の利用が不十分である。
- 質問に基づいた視覚的証拠記述を最適化し，視覚的根拠の強化を目指す。
- 提案手法VEPAは，多様なベンチマークにおいて，視覚的に要求の高い評価で性能を向上させる。
- 標準的な教師あり事後学習を補完し，視覚的根拠の強化が性能向上に寄与する。
- VEPAによって獲得された視覚的根拠は，タスク固有の学習に依存せず，転移可能なものである。
EnvRL：エージェント強化学習における環境ダイナミクスの学習 [cs.LG, cs.CL]目的：エージェント強化学習における環境ダイナミクス学習の活用
- 大規模言語モデルをエージェントとして訓練する強化学習は，複雑なタスク遂行において重要性が増している。
- 従来の強化学習は，長期的なタスクにおいて報酬が疎であるため，学習が困難になるという課題がある。
- ロールアウト時の環境ダイナミクス情報を活用し，エージェントの環境モデル構築を支援することで，学習効率を向上させる。
- EnvRLは，状態予測と逆ダイナミクスという2つの補助目的関数を導入し，環境ダイナミクスの学習を強化学習に組み込む。
- 実験の結果，EnvRLはALFWorldにおいてQwen-2.5-1.5B-Instructの成功率を72.8%から77.4%に，WebShopにおいては56.8%から67.0%に向上させた。
- これにより，従来の強化学習のみでは達成できなかった高い成功率を実現し，長期的なタスクにおけるエージェントの性能を向上させることを示した。
SuCo：十分性に基づく継続的適応推論 [cs.CL, cs.AI]目的：大規模推論モデルにおける，必要最小限の思考過程の特定
- 複雑なタスクにおいて高性能を示す一方，計算コストが課題となる。
- 思考過程が冗長になりやすく，不必要な計算が増加する。
- 十分な推論のみを行うことで，効率と精度を両立することを目指す。
- 提案手法SuCoは，推論過程の長さを削減し，計算効率を向上させる。
- 問題の難易度に応じて，最適な思考過程を自動的に制御可能。
- 数学，コード，科学のベンチマークにおいて，精度と効率の両面で改善が確認された。
LSTMとTransformerを用いた短期電力負荷予測のためのデルタベースの目標再構成 [cs.CL, cs.LG]目的：短期電力負荷予測における精度の向上
- 電力系統の安定運用と経済的効率化のため，高精度な負荷予測が不可欠である。
- 既存研究では，非定常性への対応が不十分であり，直接的な絶対負荷予測に焦点が当てられている。
- 負荷変化量を予測することで学習目標を安定化させ，予測の困難性を軽減することを試みる。
- デルタベースの目標再構成は，時間先読み予測において，すべての評価モデルで予測精度を改善し，MAPEを50%以上削減した。
- 日先読み予測では，デルタ目標はLSTMとTransformerのような深層シーケンスモデルに特に有効であった。
- デルタ再構成はニューラルネットワークに強力な誘導バイアスを与える一方で，その効果はモデルと予測期間に依存する。
FllumaOne：実行可能プログラムとカーネル検証済みのフィーチャー履歴を持つコードネイティブなマルチモーダルCADデータセット [cs.AI, cs.GR]目的：実行可能なプログラムと検証済みのフィーチャー履歴を含む，マルチモーダルCADデータセット
- CADは製品開発において不可欠であり，効率的な設計と製造を支える基盤技術である。
- 既存のCADデータセットは，編集可能性を考慮した表現や検証機能が不足している場合がある。
- 編集可能なCAD研究を促進するため，操作，パラメータ，依存関係を伴う検証済みのジオメトリを提供する。
- FllumaOne-100Kは，4つの複雑度レベルを持つ10万件のサンプルを含むデータセットである。
- Qwen2.5-Coder-1.5B LoRAモデルは，Python構文の有効性99.98%，Fllumaビルド成功率99.97%を達成した。
- 表面点群への変換された9,909件の予測において，平均正規化Chamfer Distanceは0.002124であった。
EComAgentBench：分散型隠れた意図を持つ長期タスクにおけるショッピングエージェントのベンチマーク [cs.AI, cs.CL]目的：ショッピングエージェントの長期タスクにおける性能評価
- LLMを用いたショッピングエージェントの実用化が進んでおり，その性能評価が重要になっている。
- 既存のベンチマークは，消費者の要求がどのように提示されるかを考慮しておらず，エージェントの課題を捉えきれていない。
- 隠れた意図の解明や，要求源の特定など，より現実的な状況下でのエージェントの性能向上を目指す。
- EComAgentBenchは，Amazonの製品とレビューに基づいた662のタスクで構成されており，エージェントに隠れた意図の発見を求めている。
- 評価の結果，最新のモデルでも全体的な正答率は57.1%に留まり，隠れた要求源からの満足度は低いことが示された。
- EComAgentBenchは，ショッピングエージェントの長期的な支援能力を向上させるための，再現性のある基盤となると期待される。
SegTME-UNI2：汎用的な多クラス細胞セグメンテーションとLLM駆動の組織病理における腫瘍微小環境特性評価のための基盤モデルベースフレームワーク [cs.CV, cs.AI]目的：組織病理画像からの腫瘍微小環境の特性評価
- 腫瘍微小環境は，治療効果や予後を左右するため，詳細な解析が重要である。
- 高品質なピクセルレベルのアノテーションデータが不足しており，大規模な解析が困難である。
- 擬似ラベルを用いた段階的な学習により，アノテーション不足の問題を解決し，精度の高いセグメンテーションを実現する。
- UNI2-UPERHOVERという二つのUperNetデコーダーを持つセグメンテーションモデルを開発した。
- このフレームワークは，細胞のセグメンテーション，特徴抽出，そして解釈可能な臨床レポートを統合的に行う。
- 公開されたデータセットとチェックポイントは，腫瘍微小環境プロファイリングと空間生物学研究を促進する。
混乱を考慮した転移教師カリキュラム学習フレームワーク：スコアリングとペース配分の影響の分離 [cs.LG, cs.AI]目的：カリキュラム学習におけるスコアリングとペース配分の影響の解明
- 機械学習の性能向上には，効率的な学習戦略が不可欠であり，カリキュラム学習はその有力な手法の一つである。
- カリキュラム学習では，難易度に基づいたサンプル選択と，難易度に応じた学習ペース配分の両方が重要だが，それぞれの寄与を特定することが困難である。
- 本研究では，カリキュラム学習におけるスコアリングとペース配分の影響を分離し，より効果的な学習戦略を開発することを目指す。
- 提案手法である混乱を考慮した難易度スコアは，人間直感と一致する解釈可能な難易度ランキングを生成する。
- しかし，全データセットを用いた実験では，カリキュラム学習や逆カリキュラム学習は，標準的な学習よりも精度向上をもたらさなかった。
- 一方，初期段階のデータ（20%）において，混乱を考慮したカリキュラム学習はランダムな順序付けよりも最大8.7%のデータ効率向上を示す。
胸部X線写真に対するビジョン言語モデルは，必ずしも画像を必要としない [cs.IR, cs.CV, cs.AI, cs.CL, cs.LG]目的：胸部X線写真におけるビジョン言語モデルの画像利用状況の検証
- 医療画像診断の精度向上は，早期発見・治療に不可欠であり，AI技術の応用が期待されている。
- 既存の評価指標では，モデルが実際に画像を解析しているか，事前知識を利用しているかを区別できない。
- 画像に依存しないモデルの存在と，その性能評価方法の確立を目指す。
- 複数のビジョン言語モデルにおいて，画像を用いないテキストのみのモデルが，マルチモーダルモデルと遜色ない精度を達成した。
- 画像利用の有無を検証する因果的監査により，モデルは画像を利用しない，不安定，または一部の所見において選択的に利用することが示された。
- テキストのみのモデルは，画像利用モデルと比較して根拠（グラウンディング）がゼロでありながら，放射線科医と同等の精度を示した。
ボロノイ図による構造化された敵対的迷彩 [cs.CV, cs.AI]目的：敵対的迷彩手法の研究
- セキュリティシステムにおいて，物体検出の信頼性確保は重要である。誤検出や回避は重大なリスクを招く。
- 従来の敵対的パッチは計算コストが高く，視覚的に検知されやすいという課題があった。
- 限られた計算資源下で，視覚的に自然な敵対的迷彩パターンを生成し，検出性能を低下させることを目指す。
- ボロノイ図を用いた敵対的迷彩は，固定されたパレット内で種点位置のみを最適化することで，構造化された迷彩パターンを生成する。
- 衣服レベルでの適用により，COCOスタイルのAP@[.5:.95]が大幅に低下し，異なる背景や検出器にも頑健であることが示された。
- パレットを変更することで効果は打ち消され，単色調整では耐性が低いことから，構造とパレットの結合が重要であることがわかる。
LongWebBench：長期的設定における構造的・機能的なWebページ生成の評価 [cs.AI]目的：長期的設定におけるWebページ生成の構造的・機能的評価
- Webページ生成は，視覚情報から情報を効率的に伝える手段として重要である。
- 既存の評価は短く静的なWebページに偏っており，長文ページの評価が不足している。
- 長文Webページにおける構造と機能の両面からの評価手法を確立することを目指す。
- LongWebBenchは，構造的忠実度と機能的評価のためのベンチマークを提供する。
- Webページの長さが長くなるにつれて，構造的忠実度が低下することが示された。
- 視覚的に妥当な生成であっても，実行可能な多段階インタラクションをサポートできない場合が多い。
進化アルゴリズムと，限られた異なる重み値を持つ多目的最小全域木 [cs.NE]目的：限られた異なる重み値を持つ多目的最小全域木のパレート最適解の探索
- 最適化問題は，工学，経済，科学など様々な分野で頻繁に現れるため重要である。
- 多目的最適化問題に対する進化アルゴリズムの理論的な実行時間解析は十分ではない。
- 重み値の種類数が少ない場合のパレート最適解の構造を分析し，実行時間解析を深める。
- 重み値の種類数が少ない場合，パレート最適解の構造に特徴があることが示された。
- 進化アルゴリズムの実行時間に関する新たな理論的結果が得られた。
- 実験により，理論結果の妥当性が確認された。
自己回帰の呪いを打ち破る：動的認識的エントロピーによる消去可能な強化学習（LLM向け） [cs.AI]目的：大規模言語モデルにおける長期的論理推論の自己回帰的脆弱性の克服
- 大規模言語モデルの認知能力向上に強化学習が貢献しているが，長期的推論において課題がある。
- 推論初期の小さな誤りが，その後の過程全体に波及し，推論が破綻する「自己回帰の呪い」が存在する。
- モデル自身のエントロピーを用いて誤りを局所的に修正し，自己修復能力を付与することを目指す。
- 提案手法$\text{E}^3\text{RL}$は，モデル内部のエントロピーを不確実性の指標とし，外部信号に依存しない。
- セグメントレベルでの動的閾値と利点配分により，論理的な欠陥を精密に除去し，KVキャッシュを再利用する。
- DeepMath-103kデータセットでの実験で，AIMEなどの数学的推論ベンチマークにおいて，最先端の結果を上回った。
ED3R：協調型ロボットエージェントによるエネルギー効率の高い分散型災害検知 [cs.RO, cs.AI, cs.CV, cs.MA]目的：エネルギー効率を考慮した分散型災害検知のためのフレームワーク
- 環境モニタリングや自然災害管理において，ロボットの活用は不可欠である。不確実性下での迅速な意思決定が求められる。
- ロボットのエネルギー制約や運用時間の制約が，災害現場での活動範囲を狭めている。
- エネルギー消費を抑えつつ，迅速かつ高精度に災害を検知するシステムの実現。
- ED3Rは，ロボットとリモートコントローラー間の階層的な協調意思決定を可能にする。
- シミュレーション結果から，ED3Rは最悪の場合でも97.18%のミッション成功率を達成した。
- 厳しいミッション条件下では，ベースラインと比較してエネルギー消費量を最大36.4%削減し，災害検知時間を最大41%短縮した。
ランキングのための公平性を考慮した確率的多元基準受容分析の拡張 [cs.LG]目的：ランキング問題における公平性の向上
- AIの倫理的利用が重要視される中で，公平なランキング手法の確立が不可欠である。
- 既存の多元基準意思決定分析では，公平性を明示的に考慮したランキングが難しい。
- 確率的多元基準受容分析を拡張し，公平性を組み込んだランキング手法を提案する。
- 提案手法SMAA-Fairは，グループ間の公平性を考慮してシミュレーションされたランキングを重み付けする。
- これにより，より公平なランキングが受容性指標や中心重みベクトルに強く寄与する。
- 数値実験の結果，SMAA-Fairは，ランキング上位における保護されたグループの代表性を改善し，同時に優先順位の不確実性に対する堅牢性を維持する。
データとの対話：個人向け健康振り返りインターフェースとしての具現化された会話 [cs.HC, cs.AI]目的：個人向け健康データの振り返りを通じた理解促進
- 健康意識の向上と自己管理の重要性が高まる中，個人の健康データを活用する技術が求められている。
- ウェアラブルデバイスのデータは視覚的なダッシュボードで提示されることが多く，解釈に労力を要する。
- 対話的なエージェントを通してデータを振り返ることで，より直感的で能動的な理解を促す。
- 従来のダッシュボードと比較して，具現化された会話による振り返りが理解度向上に寄与することが示唆された。
- システムは，ウェアラブルデータの記述統計と時間的傾向を抽出し，客観的な情報として提供する設計である。
- この研究は，健康データに基づいた物語生成のデザインパターンと，具現化がデータ解釈に与える影響に関する初期的な知見を提供する。
効率的な音声イベント検出のためのニューロモーフィックトリガー [cs.SD, cs.AI, cs.NE]目的：効率的な音声イベント検出のためのニューロモーフィックトリガーの提案
- リアルタイム・省電力システムにおいて，継続的な音声ストリームの効率的な処理は重要な課題である。
- 従来の音声処理は計算コストが高く，特にリソース制約のある環境では困難である。
- 計算コストを削減しつつ，音声イベントの検出精度を向上させることを目指す。
- 提案するニューロモーフィックトリガーは，都市環境音データセットにおいて，クラスを識別せずに異常音を高い精度で検出した(F1スコア:0.97)。
- DCASE 2017チャレンジタスク2において，計算量(FLOPs)を約42.6倍削減しつつ，イベントベースのエラー率の下限を0.41から0.25に低減した。
- これらの結果は，ニューロモーフィックトリガーがリアルタイムかつ省電力なフロントエンドフィルタとして有効であることを示唆する。
MIVE：Softmax，LayerNorm，RMSNorm高速化のためのミニマル整数ベクトルエンジン [cs.AR, cs.AI]目的：大規模言語モデルにおける非線形ベクトル正規化演算の高速化
- 大規模言語モデルの急速な発展に伴い，低遅延かつ低消費電力な推論処理が求められている。
- LayerNorm，RMSNorm，Softmax等のベクトル正規化演算がボトルネックとなりやすい。
- 共通の計算パターンを利用し，ハードウェア共有を最大化することで効率的な演算処理を実現する。
- MIVEは，LayerNorm，RMSNorm，Softmaxの３つの演算を単一のデータパスで実行可能とする。
- 物理的なASIC実装の結果，MIVEは既存の専用アクセラレータと比較して，面積効率とハードウェア効率に優れる。
- MIVEは，多機能なサポートと高い効率性を両立する。
潜在ドメインの盲目的な回復：教師なし対称性の発見によるアプローチ [cs.LG]目的：潜在ドメインと信号の回復
- 逆問題において，隠されたメカニズムが不明な観測から信号を復元する重要性。
- 一般的な線形変換による構造の隠蔽に対し，従来の盲目的な畳み込みでは対応が困難。
- データ分布の対称性を発見し，構造化されていない観測から潜在信号を復元する。
- 提案手法は，観測を潜在的な乱数場の線形測定としてモデル化し，グループ畳み込みネットワークを最適化する。
- モデルは潜在的な対称性作用と適切なフィルタを学習し，観測を対称性に基づく表現に変換することで，潜在信号を明らかにする。
- 様々な実験により，本手法が構造化されていない観測から潜在ドメインと信号を回復できることが示された。
LiveStarPro：階層的メモリによる長時間のストリームに対するプロアクティブな動画理解 [cs.HC, cs.DB, cs.CV, cs.AI]目的：長期にわたる動画ストリームにおけるプロアクティブな動画理解
- 動画理解技術は，リアルタイムなインタラクションや情報検索において重要性が増している。
- 既存の動画LLMは，継続的な動画ストリーム処理，応答タイミングの決定，長期記憶の保持が困難である。
- 本研究は，リアルタイム性と長期記憶の課題を解決し，動画ストリーム理解の精度向上を目指す。
- LiveStarProは，単一パスのperplexity検証による応答タイミングの特定により，明示的な無音トークンへの依存を排除する。
- Streaming Causal Attention Masks (SCAM)という学習戦略により，可変長のストリーム上で動画と言語の整合性を強化する。
- Tree-Structured Hierarchical Memory (TSHM)により，過去の情報をイベントチェーンとして効率的に管理し，長期的なリコールを可能にする。
コーディングベンチマークはエージェント型ソフトウェアエンジニアリングと整合していない [cs.SE, cs.AI, cs.CL]目的：エージェント型ソフトウェアエンジニアリングにおけるベンチマークの不整合性
- ソフトウェア開発において，AIエージェントの活用が拡大しており，その性能評価が重要になっている。
- 既存のベンチマークは，モデル，ハーネス，環境を統合的に評価するため，改善の方向性を示しにくい。
- ベンチマークをエージェント型ソフトウェアエンジニアリングに適応させ，より詳細な評価指標を提供することを目指す。
- 現在のベンチマークは，モデル単体の性能とシステム全体の性能を区別できていない。
- 単一の正解にのみ基づく評価は，有効な代替案を適切に評価できない。
- 個々のコンポーネントレベルでの信号がないため，システム全体のスコアの改善が困難である。
軽量な経験的潜在記憶による継続的な自己改善 [cs.LG]目的：推論時の計算資源を活用した，継続的な知識獲得メカニズム
- 大規模言語モデルの推論能力向上は重要だが，状態を持たない点が課題。
- 推論過程の痕跡を再利用するだけでは，抽象化が不足し，汎化が難しい。
- 推論過程を潜在的な記憶として効率的に蓄積し，継続的な改善を目指す。
- 推論時の計算資源から学習することで，オフライン学習を超える性能を実現した。
- 軽量な潜在記憶による手法は，既存のゼロショットや生データICLよりも優れている。
- モジュール設計により，破滅的忘却を防ぎつつ，継続的な改善を可能にした。
クエリマーケット：データ市場におけるコストを意識したオンラインアクティブラーニング [cs.LG]目的：リアルタイムストリーム学習におけるデータ獲得戦略
- 機械学習において，データ量は性能に大きく影響するため，効率的なデータ獲得が重要である。
- 既存のアクティブラーニングは，価格，情報利得，予算制約，概念ドリフトを統合的に扱えていない。
- 価格と情報利得を考慮し，変動する予算内で最適なデータ獲得を目指す。
- 提案手法OVBALは，D-最適性基準と指数的忘却を用いて，各サンプルの限界有用性を推定する。
- OVBALは，オンラインで意思決定を行い，非定常ストリームと異質なラベルコストに適応する。
- 実験結果から，OVBALは特に売り手中心の価格設定下で有効であり，実世界のタスクでより有利な誤差コストのトレードオフを実現する。
No-Free-Fairness：学習システムの根本的な限界とトレードオフ [cs.LG, cs.AI]目的：学習システムにおける不公平性の根本的な原因の特定
- 機械学習の社会実装が進む中，公平性への意識が高まっているため。
- 既存研究では，データバイアスや最適化の不備が原因とされてきたが，本質的な限界が不明であった。
- 学習問題の構造，有限データ，モデル表現力の制約が不公平性を引き起こすことを示す。
- 不公平性は，データや最適化の問題だけでなく，学習問題の構造に内在することが示された。
- タスクに本質的なコストが存在する場合，公平性と性能の間にトレードオフが存在する。
- 厳密な相対的公平性を実現するには，指数関数的に多くのサンプルが必要となる可能性がある。
現代ニューラルネットワークにおける保存則 [cs.LG, cs.AI]目的：現代ニューラルネットワークにおける保存則の特性
- 過パラメータ化モデルの成功を説明するには，勾配降下法のダイナミクス理解が不可欠である。
- 線形およびReLUネットワークでは保存則がよく理解されているが，現代アーキテクチャでは未解明な点が多い。
- GELU，SiLU，SwiGLU活性化関数，多頭注意機構，MoEアーキテクチャなどにおける保存則を明らかにする。
- GELU，SiLU，SwiGLUなどの活性化関数を持つフィードフォワードネットワークに対する保存則の統一的なフレームワークを開発した。
- 正弦波および回転位置埋め込みを用いた多頭注意機構，多様なゲーティング設計を持つMoEアーキテクチャにおいても保存則を特徴付けた。
- 理論的知見は，予測される不変量を検証する実験によって支持されている。
大規模評価のためのエージェントスキル評価フレームワーク [cs.SE, cs.AI, cs.CL]目的：エージェントスキルの評価方法
- LLMエージェントの能力向上に不可欠なエージェントスキルの活用が広がっている。
- エージェントスキルのクロスドメインでの影響や，評価方法論が確立されていない。
- 個々のエージェントスキルを客観的に評価するフレームワークを構築すること。
- 提示されたフレームワークにより，スキル作成者は現実的なタスクを作成し，スキルの重要な側面を厳密に評価できる。
- 500の実際のスキルを大規模に評価した結果，モデルによって指示への適合度に大きな差が見られた。
- スキルへのアクセスはモデルの振る舞いを大きく変え，LLMエージェントに意見のあるワークフローを組み込む上で重要なメカニズムとなることが示された。
DecoSearch: 複雑性に応じたルーティングとプランレベルの修復による自然言語からSQLへの変換 [cs.CL, cs.AI]目的：複雑なクエリに対する複雑性に応じた推論とプランレベルの修復
- 自然言語をSQLに変換する技術は，データに基づいた意思決定を自動化する上で不可欠である。
- 既存手法は，複数ステップの推論を必要とする複雑なクエリにおいて性能が低下する。
- 複雑なクエリに対する推論プロセスを最適化し，SQL生成の精度を向上させる。
- DecoSearchは，BIRDデータセットで70.53%の実行精度，Spiderデータセットで88.31%の実行精度を達成した。
- 既存の学習不要なベースラインを上回り，トークン消費量を大幅に削減した。
- ファインチューニングされたSQL生成モデルのパイプラインを変更することなく，性能を向上させるモデル非依存のラッパーとして機能する。
インタラクティブコンテンツワークフローのためのアトラスベース3Dアセットセグメンテーション：人間介入型手法 [cs.CV, cs.AI]目的：3Dアセットのセグメンテーション
- 3Dコンテンツ制作において，アセットを意味のある領域に分割することは不可欠である。
- セグメンテーション基準がアプリケーションに依存し，ユーザー制御が求められる場合，自動化が困難である。
- インタラクティブなメディア制作ワークフローに適合したセグメンテーション手法を開発する。
- 提案手法は，3Dモデルからパラメータ化された2Dアトラスを生成する人間介入型パイプラインである。
- このパイプラインは，多様な形状のオブジェクトに対して利用可能なセグメンテーションアトラスを生成できることが示された。
- 微細構造，空洞，および弱い外観境界において，手動修正が必要となる傾向が明らかになった。
複数の文字体系が重要な場合：臨床環境におけるASRの評価 [cs.CL, cs.AI]目的：臨床環境における多文字体系の変動に対するASRの性能評価
- 医療現場では，多様な言語や文字体系が使用され，ASRの重要性が高まっている。
- 同一用語が複数の表記形で存在する場合，従来の評価指標ではASRの性能が過小評価される。
- 多文字体系変動に強いASRモデルを評価するためのベンチマーク構築と性能向上を目指す。
- MultiClinベンチマークを用いて評価した結果，多文字体系を考慮した評価がより公平な性能評価を提供することが示された。
- トレーニング時の文字体系の一貫性の影響を調査した結果，一貫性のないマッピングはモデルの収束を妨げる可能性が示唆された。
- 文字体系の統一は，ASR性能の向上に貢献することが確認された。
注意における機能的同値性：線形モード接続性への応用に関する包括的研究 [cs.LG, cs.AI]目的：注意機構における機能的同値性の構造
- 深層学習モデルの理解を深める上で，パラメータ空間の対称性は重要である。
- Transformerモデルにおける位置エンコーディングが，対称性に与える影響は未解明であった。
- 位置エンコーディングが対称性に与える影響を明らかにすること。
- 正弦波位置エンコーディングは，従来の注意機構の同値構造を維持することが示された。
- 回転位置エンコーディング（RoPE）は対称性を大幅に減少させ，表現力を向上させることが示された。
- Transformerの設定における線形モード接続性は，位置エンコーディングに強く依存することが実験的に確認された。
ドリフトからコヒーレンスへ：LLMにおける信念の安定化 [cs.RO, cs.HC, cs.LG]目的：LLMにおける予測信念の安定化
- LLMは高度な推論能力を持つと期待され，その内部動作の理解が重要である。
- LLMの予測信念がマルチンゲール性質を満たさない場合があることが課題となっている。
- 予測リサンプリングによって信念の安定化を図り，コヒーレンスを向上させることを目指す。
- LLMに同一質問に対する回答を繰り返し生成させることで，初期段階での信念のドリフトが確認された。
- 十分なリサンプリング回数を行うことで，信念プロセスは自己安定化し，コヒーレンスな予測分布に収束することが示された。
- 提案手法（シード回答プロンプティング，自己整合性損失）により，信念ドリフトが軽減され，予測コヒーレンスが向上した。
自己教師あり音声モデルにおける音調文脈の知覚的補償 [cs.RO, cs.CL, cs.AI, eess.AS]目的：自己教師あり音声モデルにおける音調文脈の知覚的補償の程度
- 音声認識の性能向上には，音韻構造の理解が不可欠である。
- 既存の自己教師あり学習では，音韻構造の抽象化が十分でない場合がある。
- 音調文脈の知覚的補償が自己教師あり学習で獲得可能か検証する。
- wav2vec2.0モデルにおいて，自己教師あり学習のみでは音調文脈の補償は認められなかった。
- ファインチューニングされたモデルでは，層ごとに分類性能が向上し，一部補償の兆候が見られた。
- しかし，人間の性能には至らず，事前学習のみで音韻構造が獲得されるとは示されなかった。
MRIからの骨盤臓器の高精度3D幾何再構成：ハイブリッド深層学習と反復最適化アプローチ [cs.CV, cs.AI, cs.CG, cs.GR]目的：MRI画像からの骨盤臓器の3D幾何形状再構成
- 骨盤底の研究や患者固有の解析には，正確な骨盤臓器の3Dモデルが不可欠である。
- 従来の再構成は手間がかかり，標準化されていない。高精度な形状再構成が課題である。
- 深層学習と反復最適化を組み合わせ，高品質な骨盤臓器の3D再構成を自動化することを目指す。
- 提案手法は，既存の深層学習ベースの臓器再構成モデルと比較して，幾何学的忠実度で顕著な優位性を示した。
- 膀胱，直腸，子宮の再構成において，Chamfer Distanceが有意に低く，Dice Similarity Coefficientが高い値を示した。
- 高い計算効率を維持しつつ，全体的なボリューメトリックメッシュ品質も向上させた。
Qwen-RobotManip技術報告：アライメントがロボット操作の基盤モデルのスケーリングを可能にする [cs.CL, cs.RO, cs.HC, cs.NI, cs.RO, cs.CV, cs.LG]目的：ロボット操作における汎用的な基盤モデルの構築
- ロボット操作は，自動化や生活支援に不可欠であり，その重要性は増している。
- ロボット操作データは収集コストが高く，多様性に乏しいため，汎化性能を高めるのが困難である。
- 異質なデータを統合し，大規模な学習を可能にするアライメント技術を確立し，汎化性能を向上させる。
- Qwen-RobotManipは，表現，動作，行動の各次元におけるアライメントフレームワークを導入し，大規模な多源データ学習を可能にした。
- オープンソースデータと人間によるデモンストレーションのみを用いて，約38,100時間の事前学習コーパスを構築し，優れた汎化能力を示した。
- 既存の最先端モデルを上回り，RoboChallengeで20%の相対的な改善を達成し，実ロボットプラットフォームでも検証された。
WallZero：戦略的分析によるWallGoの攻略 [cs.AI, cs.LG]目的：WallGoにおける戦略的分析と攻略
- 近年人気を集める戦略ボードゲームであり，AI研究の新たな挑戦対象となる。
- ゲームの複雑さゆえに，最適な戦略や公平性の評価が困難である。
- AlphaZeroに基づいたAIエージェントを開発し，攻略と公平性評価を目指す。
- 開発したAIエージェントWallZeroは，プロ棋士2名に対し平均1.98倍の領土を獲得し，優位性を示した。
- WallZeroを用いてゲームの公平性を評価した結果，Netflixシリーズで使用された序盤がよりバランスが取れていることが示唆された。
- 本研究は，WallGoの攻略戦略の解明と，ゲームデザインへの示唆を提供する。
ニューロシンボリック推論のホモトピー型理論による一般化 [cs.AR, cs.AI, cs.LO]目的：ニューロシンボリックシステムの推論における，ホモトピー型理論に基づく一般化
- ニューロシンボリック推論は，記号推論とニューラルネットワークを組み合わせ，両者の利点を活かす研究分野である。
- 従来のニューロシンボリックシステムは，理論の対称性や証明の数を考慮していないため，推論の効率や正確性に課題がある。
- ホモトピー型理論を導入することで，対称性や証明の数を考慮し，より効率的かつ正確な推論を実現することを目指す。
- ホモトピー型理論を用いることで，信念重み付きホモトピー基数という新しい概念が導出された。
- この基数は，対象の対称性を考慮してサイズを測るものであり，推論のショートカットを捉えることができる。
- MNISTのベンチマークテストでは，この手法がアンサンブル学習よりも優れたキャリブレーション性能を示した。
スパイクニューロンの生物学的妥当性自動評価のための最適化フレームワーク [cs.NE]目的：スパイクニューロンモデルの生物学的妥当性評価
- ニューロモルフィックコンピューティングにおいて，生物学的妥当性は重要な概念である。
- 生物学的妥当性の定義が一貫せず，定量化が困難であるという課題がある。
- 生物学的妥当性の評価を自動化し，モデルの動的特性を定量的に評価すること。
- 本フレームワークは，Izhikevichの分類に基づき，生物学的なニューロンの発火パターンを再現する能力を評価する。
- モデルをブラックボックスとして扱い，パラメータを最適化することで，事前の解析モデリングを必要としない実用的な評価が可能となる。
- Pythonで実装され，PyTorchやNorseライブラリと互換性があり，機械学習の文脈での利用に適している。
FlowRAG：周波数に基づいた多粒度グラフフローによる明示的な推論の相乗効果 [cs.AI]目的：知識集約型かつ多段階クエリタスクにおける性能向上
- 知識の利用と推論能力が求められるAIタスクの重要性が高まっている。
- 既存手法では，抽象的なクエリに対する検索性能や，多段階推論におけるノイズの影響が課題である。
- より堅牢で信頼性の高い推論経路の抽出と，生成モデルへの活用を目指す。
- FlowRAGは，文章，要約，文，エンティティの4層構造の異種グラフを構築し，意味的な関連性を捉える。
- 二重粒度活性化モジュールにより，要約とクエリの整合性と文レベルのマッチングを組み合わせ，関連エンティティを正確に活性化する。
- 周波数に基づいた重み付きフローモジュールは，ノイズを抑制し，信頼性の高い推論経路を抽出することで，複雑な推論ベンチマークで最先端の性能を達成した。
ランキング相関と最近傍法を用いたワンクラス分類モデルのメタ分類 [cs.LG]目的：ワンクラス分類モデルのメタ分類
- 機械学習は多様な問題に応用されているが，機械学習モデル自体を対象とする研究は少ない。
- 既存手法では，機械学習モデルの特性を包括的に理解し，分類することが困難である。
- ワンクラス分類モデルをランキングとして表現し，データセットやアルゴリズムの分類を可能にすること。
- 提案手法は，クラスラベルがデータセットの場合に高い精度を達成する。
- 同一クラスを含むデータセットで訓練された場合，アルゴリズムの分類も可能となる。
- 本研究は，ワンクラス分類モデル，データセット，ランキングを統一的に分類するソリューションを提供する。
アルツハイマー病における多角的バイオマーカーの定量分析 [cs.CV, cs.AI]目的：アルツハイマー病における多角的バイオマーカー間の関係性の定量的な特徴付け
- アルツハイマー病の早期発見と治療法の開発には，正確なバイオマーカーの特定が不可欠である。
- 分子，構造，臨床，遺伝的バイオマーカー間の関係性が十分に解明されていない。
- バイオマーカー間の冗長性の特定と，効果的な組み合わせの発見を目指す。
- 多角的バイオマーカー間の相互情報量と説明分散を定量的に評価し，冗長性と予測依存性を評価した。
- タウPETトポロジーと脳領域における構造的萎縮との関連性を解析し，情報豊富なROIを選択した。
- タウと認知機能の関連性を，萎縮関連成分と非萎縮関連成分に統計的に分解した。
StepGuard：単一ステップ較正によるWebナビゲーションの保護 [cs.AI]目的：Webナビゲーションにおける精度向上
- Webナビゲーションは，自然言語による指示理解と正確な回答生成が不可欠であり，応用範囲が広い。
- 既存手法は，報酬の誤りや誤差伝播により，単一ステップのわずかなミスが致命的になりやすい。
- 報酬の矛盾を解消し，単一ステップの誤差を較正することで，Webナビゲーションのロバスト性を高める。
- 提案手法であるStepGuardは，ナビゲーションと回答生成を動的に切り替えるDDPOと，誤差を検知・修正するCANRを組み合わせる。
- CANRはステップごとの信頼度を推定し，必要に応じてリフレクションを実行，コントラスト報酬で自己修正を促す。
- 標準的なWebナビゲーションベンチマークにおいて，ナビゲーションと回答の精度が大幅に向上し，最高性能を達成した。
AnchorKV：リファサルアンカーを用いた安全性を考慮したKVキャッシュ圧縮 [cs.LG, cs.AI]目的：有害なプロンプトに関連するキー空間方向からのトークン保持スコアの偏り
- 大規模言語モデルの性能向上に伴い，メモリ使用量と計算コストが課題となっている。
- 既存のKVキャッシュ圧縮手法は，安全性に対する防御が不十分である。
- 安全性を維持しつつ，KVキャッシュ圧縮による効率化を図ること。
- AnchorKVは，KVキャッシュ圧縮へのドロップイン修正であり，有害なプロンプトに関連するトークンの保持を抑制する。
- 差分の平均表現を適用し，層固有のキー投影空間で安全アンカーを構築することで，安全性を向上させる。
- ソフトなペナルティによるトークン選択ルールを採用し，わずかな性能低下を許容することで，安全性と効率性の両立を実現する。
自己注意による順序非依存セル表現を用いた自己回帰マルチタスク表認識における構造依存性の再検討 [eess.SY, cs.SY, cs.CV, cs.LG]目的：表構造予測，セル位置特定，セル内容認識の共同処理
- 表形式データの理解は，情報抽出や知識獲得において重要である。
- 既存手法では，自己回帰的処理によりセル表現が順序に依存し，一貫性が損なわれる場合がある。
- 非因果的注意機構を用いた構造洗練モジュールにより，セル表現の順序依存性を軽減する。
- 提案手法は，セル位置特定とエンドツーエンド認識において一貫した性能向上を示す。
- 推論時間を約3分の1に削減し，効率的な処理を実現する。
- 非因果的注意により，各セルがグローバルな文脈を考慮した処理が可能となる。
グラフニューラルネットワークの構造保存性と論理表現力 [cs.AI]目的：グラフニューラルネットワークの論理表現性の構造的保存性
- グラフ構造データは現実世界の様々な関係性を表現でき，その分析は重要である。
- 既存研究では，特定のアーキテクチャに依存した論理表現の対応付けに限界があった。
- 構造的性質を保存するGNN分類器の論理表現性を明確にすることを目指す。
- 埋め込み，単射ホモモーフズム，ホモモーフズムの各構造的保存性は，それぞれ対応する種類の graded modal logic によって特徴付けられることが示された。
- 特に，埋め込みに関する保存性は existential graded modal logic に，単射ホモモーフズムは existential-positive fragment に，ホモモーフズムは existential-positive modal logic に対応する。
- これらの結果は，特定のアーキテクチャに依存せずGNNの表現力を特徴づける。また，各クラスに対応するGNNアーキテクチャの存在も示した。
単調コモロコフ・アーノルドネットワーク：単調性を帰納的バイアスとする理論的・実証的研究 [cs.LG]目的：単調性を保証するコモロコフ・アーノルドネットワーク(MKAN)の提案と評価
- ニューラルネットワークにおいて，単調性は表形式データや科学・経済分野など，出力が特定の入力に対して単調に変化する状況で重要な帰納的バイアスとなる。
- 既存の単調性を持つニューラルネットワークは，MLPやフローベースであり，エッジごとの機能的な透明性に欠けるという課題があった。
- MKANは，すべてのパラメータ値で厳密な単調性を保証し，エッジごとの透明性を維持することで，この課題を解決することを目指す。
- 提案するMKANは，Bスプライン係数の指数再パラメータ化，正のエッジ重み，単調な基本活性化関数を用いることで，厳密な単調性を実現し，標準的な勾配降下法で学習可能である。
- 理論的には，任意の$C^K$特徴抽出器に対して，単調な表現が元の特徴空間の最大2倍の次元で実現可能であることを示す「表現コスト」の定理を提示した。
- 実験的に，MKANはSMM/ICML-2024ベンチマークにおいて最先端の単調ニューラルネットワークと同等の性能を示し，自己教師あり学習と制御された単調生成データセットにおいて，真の因子を高い相関係数で再現した。