arXiv雑要約
AI - 2026/08/04 公開
AIによる代替に対する集団選択の保護機能 [cs.AI, econ.TH]目的：生成AI利用が人間の文化的進化に及ぼす長期的な影響の検討
- 文化的多様性は創造性にとって不可欠であり，AIの普及はその多様性を脅かす可能性がある。
- AIへの過度な依存は，文化的な均質化を招き，モデル崩壊やハルシネーションを引き起こすことが問題となっている。
- AI利用戦略が文化的多様性に与える影響を分析し，文化崩壊のリスクを軽減する方策を提示する。
- AIによる代替利用は，個体レベルの選択では優勢になるものの，文化的な多様性を損なう。
- 一方，AIを補完的に利用する者は，多様性を維持することで集団選択において有利になる可能性がある。
- 本研究は，AI普及の長期的な影響を示唆し，リスク軽減のための政策や組織戦略に貢献する。
Transformerは適応的部分プーリングを実行する [cs.CL, cs.AI]目的：Transformerにおける次単語予測における適応的部分プーリングのメカニズムの解明
- 言語モデルは，類似の文脈からの情報に基づいて，未知の文脈での発言を決定する必要がある
- 稀な文脈において，モデルが過去の文脈からの情報をどのように利用しているかの理解が不足している
- Transformerが，文脈頻度に基づいてプーリングを調整する様子を，階層回帰との比較を通して明らかにする
- Transformerの次単語予測は，現在の文脈外の観察の影響を受けるが，学習が進むにつれてその影響は減少する
- プーリングの度合いは，文脈頻度，文脈数，文脈の変動性によって，階層回帰と同様のパターンを示す
- 学習の中間段階において，Transformerは階層回帰の挙動を最もよく再現し，文脈頻度のプーリングへの影響が最大となる
言語モデルにおけるほぼ直交特徴による孤立介入：干渉なしの重ね合わせに向けて [cs.LG, cs.AI, cs.CL]目的：言語モデルにおける，ほぼ直交な特徴を用いた孤立介入の実現
- 言語モデルの解釈可能性向上は，AIの安全性と信頼性確保に不可欠である。
- 既存の特徴は絡み合っており，局所的な介入が意図しない影響を及ぼすことが課題である。
- 特徴間の干渉を抑制し，因果的介入に適したモジュール性の高い表現を目指す。
- 特徴辞書の自己コヒーレンスで特徴干渉の伝播を上限化する手法を提案した。
- 正則化により，数学的推論の概念に対するより孤立した介入が可能になった。
- モデルの性能を維持しつつ，介入時の干渉を低減することを示した。
SVRepair：自動プログラム修復のための構造化視覚的推論 [cs.SE, cs.AI, cs.CV]目的：自動プログラム修復における構造化視覚的推論の活用
- ソフトウェアの品質向上は，現代社会におけるシステム信頼性の維持に不可欠である。
- 既存の自動プログラム修復技術は，視覚的な情報（スクリーンショットや制御フローグラフ）の活用が不十分である。
- 視覚的情報の構造化により，プログラムの誤りの正確な特定と修正を可能にすることを目指す。
- SVRepairは，異種視覚情報をセマンティックシーングラフに変換することで，GUI要素と構造の関係を捉える。
- SWE-Bench Mインスタンスにおいて，517件中186件（約36％）を解決し，OmniGIRLインスタンスでは，19件中4件（約21％）を解決した。
- MMCodeやCodeVisionといったマルチモーダルコード推論ベンチマークにおいても高い性能を示した。
学習可能な活性化関数を持つニューラルネットワークの最適化された区分線形抽象化 [cs.CL, cs.LG, cs.AI, cs.LO]目的：ニューラルネットワークの範囲検証
- AIの安全性確保は重要であり，ニューラルネットワークの動作範囲を保証することが不可欠である。
- 非線形活性化関数を持つニューラルネットワークの正確な範囲検証は計算コストが高いという課題がある。
- 活性化関数を区分線形関数で近似することで，効率的な範囲検証を可能にすることを目指す。
- 提案手法では，動的計画法を用いて，活性化関数の最適化された区分線形抽象化を計算する。
- この手法により，既存手法よりもタイトな出力範囲を得ることが可能となる。
- Kolmogorov-Arnold Networks (KANs) のベンチマーク実験で，その有効性が確認された。
自然言語によるSQLクエリとREST API呼び出し生成のためのRAG戦略 [cs.SE, cs.AI, cs.CL]目的：自然言語によるSQLクエリとREST API呼び出しの生成
- 企業システムはデータベースとAPIで機能公開しており，専門知識が不可欠である。
- LLMは企業固有のスキーマやドキュメントの知識が不足し，信頼性が低い。
- RAGを用いて外部ドキュメントを参照し，構造化されたコード生成の精度向上を目指す。
- 検索拡張生成(RAG)は，企業固有の構造化生成において不可欠であり，大幅な性能向上を示した。
- SQLクエリとREST API呼び出しの組み合わせにおいて，CoRAGが最も高い精度を達成した。
- 混合ドキュメント環境下では，検索戦略が構造化生成の性能に大きく影響することが示された。
非再帰型マルチパスニューラルネットワークにおけるハイパーパラメータ伝達則 [cs.LG]目的：非再帰型マルチパスニューラルネットワークにおける有効深度に基づく最適な学習率の減衰則
- 深層学習モデルの高性能化には計算コストがかかり，ハイパーパラメータの調整は重要な課題である。
- モデルの幅に対するハイパーパラメータ伝達は理解が進んでいるが，深さのスケーリングは未解明な部分が多い。
- CNN，ResNet，Transformerなどの多様なアーキテクチャを統合的に理解し，深さスケーリングを予測可能な問題とする。
- 有効深度の概念を導入し，最大更新基準の下で，最適な学習率が有効深度の-3/2乗則に従って減衰することを示した。
- 様々なアーキテクチャでの実験により，予測される傾きが確認され，深さや幅にわたる学習率のゼロショット伝達が可能になった。
- 本研究は，深さスケーリングを予測可能なハイパーパラメータ伝達問題に変えることを可能にした。
SoK：DARPAのAIサイバーチャレンジ（AIxCC）：競技設計，アーキテクチャ，および得られた教訓 [cs.CR, cs.AI]目的：AIを活用した自律的なサイバー推論システムの構築に関するAIxCCの包括的分析
- サイバーセキュリティは重要性が増しており，脆弱性への対応は喫緊の課題である。
- 既存の脆弱性分析は人的リソースに依存しており，自動化が求められている。
- AIxCCの分析を通じて，自律的なサイバー推論システムの性能向上に貢献する。
- AIxCCの競技設計，参加チームのアーキテクチャ，そして結果を体系的に分析した。
- LLM等のAI技術が，サイバー推論システムの性能向上に大きく寄与していることが示された。
- 今後の競技設計や，実用的な自律型サイバー推論システムの開発に向けた課題が明らかになった。
自己進化型推薦システム：LLMエージェントによるエンドツーエンドの自律モデル最適化 [cs.LG, cs.AI]目的：大規模推薦モデルの自律的な最適化
- グローバルプラットフォームにおける推薦モデルは，ユーザー体験に不可欠であり，その最適化は重要である。
- 複雑なユーザー行動に対応するためには，高度な最適化手法やアーキテクチャ設計が課題となる。
- LLMエージェントを活用し，モデルの進化を自動化することで，最適化の効率化を目指す。
- LLMを活用した自己進化システムが，従来の開発手法を上回る速度とパフォーマンスを発揮することが示された。
- オフラインエージェントが高速な仮説生成を行い，オンラインエージェントが実運用環境で検証するサイクルを実現した。
- YouTubeでの実運用により，自律的なLLM駆動型の進化が有効であることが確認された。
LakeMLB：データレイク機械学習ベンチマーク [cs.LG, cs.AI]目的：データレイク環境における機械学習性能の評価
- 大規模データ活用においてデータレイクの重要性が増している。
- データレイク環境下での機械学習性能評価のための標準化されたベンチマークが不足している。
- マルチテーブル機械学習におけるデータレイク環境下の性能評価の標準化を目指す。
- LakeMLBは，UnionとJoinの代表的なシナリオに対応した初のベンチマークである。
- 多様なドメインを網羅する6つの実データセットと，標準化されたデータ分割と評価プロトコルを提供する。
- 最先端のテーブル学習手法を用いた実験により，データレイクシナリオにおける性能に関する洞察を得た。
LLM APIにおける効率的な変化検出 [cs.LG, cs.CR]目的：LLM APIにおける変化検出手法
- 大規模言語モデルの安定運用には，モデルの変化を迅速かつ正確に検出することが不可欠である。
- 既存手法は，コストが高くスケーラブルでないか，モデル内部情報へのアクセスを必要とする。
- 出力トークンのみを観察する，低コストで厳密なブラックボックスな変化検出手法を確立すること。
- Border Inputsと呼ばれる特定の入力を用いることで，効果的な変化検出が可能となることが示された。
- 提案手法B3ITは，既存手法と比較して30倍のコスト削減を実現し，厳密なブラックボックス環境で動作する。
- 非推論タスクにおいてBorder Inputsが容易に発見でき，グレーボックス手法と同等の性能を達成する。
まさにその時：拡散言語モデルのトークンレベルでの早期停止 [cs.LG, cs.CL]目的：拡散言語モデルにおける計算効率の向上
- 言語モデルは，自然言語処理の基盤であり，その性能向上が様々な応用分野に不可欠である。
- 拡散言語モデルは高い性能を示す一方，計算コストが高く，効率改善が課題となっている。
- トークンごとの収束を検出し，不要な処理を削減することで，計算効率を改善すること。
- 本研究では，追加学習なしに，トークンレベルで早期停止を行う手法を提案した。
- モデルの予測と局所的な文脈から得られる軽量な信号を用いて，各トークンの最終化タイミングを動的に判断する。
- 数学的推論，質疑応答，科学的理解など，多様なベンチマークで効率性と生成品質を両立した。
多段階戦略的分類：昇格と降格のダイナミクスを通じた改善のインセンティブ設計 [cs.LG]目的：戦略的分類における，昇格と降格のメカニズムを通じた改善インセンティブの設計
- 自己利益追求者が分類器の判断を操作し，有利な結果を得ようとする問題に対する研究分野である。
- 既存研究は分類器の重み付け最適化に偏り，閾値設計や難易度進行に着目した研究が少ない。
- 長期的な視点でのエージェントの戦略分析を通じて，誠実な努力を促す閾値設計を模索する。
- エージェントの最適な長期戦略が特徴付けられ，原則者が効果的なインセンティブ設計を行えることが示された。
- 特定の条件下では，エージェントが真の努力のみによって任意のレベルに到達可能となるメカニズムが証明された。
- スキル維持や実績による好循環効果など，時間的なインセンティブが考慮されたモデルが構築された。
キメラ：信頼性の高いデータプレーンインテリジェンスのためのニューロシンボリック注意プリミティブ [cs.RO, cs.NI, cs.AI, cs.CR, cs.LG]目的：データプレーンにおける信頼性の高い推論
- ネットワークトラフィック分析の高速化が求められている
- ハードウェア制約と予測可能な動作の保証が課題である
- ニューロシンボリックな手法で課題を解決することを目指す
- キメラは，注意メカニズムとシンボリック制約をデータプレーンのプリミティブにマッピングするフレームワークである。
- カーネル化された線形化された注意近似と，キー選択階層，カスケードフュージョン機構が特徴である。
- 商用プログラマブルスイッチのリソース制約内で高精度な推論が可能であることを実証した。
ガイアフロー：セマンティック誘導拡散チューニングによるカーボンフットプリント削減検索 [cs.IR, cs.IR, cs.LG]目的：カーボンフットプリント削減検索のためのセマンティック誘導拡散チューニング
- 高性能なニューラルアーキテクチャの電力消費が増大しており，情報検索における環境持続可能性が重要課題となっている。
- 既存のニューラルランキングモデルは高精度だが，大規模展開における環境負荷が無視されがちである。
- 検索精度と環境負荷のバランスを最適化し，持続可能な次世代検索システムを実現することを目指す。
- ガイアフローは，検索誘導ランジェバン力学とハードウェア非依存の性能モデリングを組み合わせることで，検索精度と環境負荷のトレードオフを最適化する。
- 適応的な早期終了プロトコルと精度に応じた量子化推論により，運用時のカーボンフットプリントを大幅に削減しながら，堅牢な検索品質を維持する。
- 実験評価により，ガイアフローが効果とエネルギー効率の優れたバランスを実現し，スケーラブルで持続可能な検索システムへの道を示すことが示された。
設計上の欠損：取り消し可能なマルチモーダル感情分析のための認証可能なモダリティ削除 [cs.CL, cs.LG]目的：取り消し可能なマルチモーダル感情分析のための枠組み
- 個人情報を取り扱うマルチモーダルシステムが増加しており，プライバシー保護が重要課題となっている。
- 特定のモダリティを削除する機能がプライバシー保護とユーザーの自律性のために不可欠である。
- モダリティの削除要求に対応し，効率的なアンラーニングを実現することを目的とする。
- MBDは，構造化された表現学習と認証可能なパラメータ修正パイプラインを組み合わせることで，高い予測性能を発揮する。
- 欠損した入力下でもタスク関連の信号を維持し，プライバシーと実用性のトレードオフを両立する。
- モダリティ削除証明書により，機械検証可能な削除操作を可能にする。
TempoNet：スラック量子化トランスフォーマー誘導強化学習スケジューラによる適応型期限重視リアルタイムディスパッチ [cs.LG, cs.OS, cs.SY, eess.SY]目的：リアルタイムスケジューリングにおける期限充足率向上
- リアルタイムシステムにおいて，厳格な計算資源制約下で厳密な期限を守ることが重要である。
- 既存のスケジューラは，タスクセットの複雑さが増すにつれて，効率的かつ正確な期限充足が困難である。
- 本研究は，スラック量子化トランスフォーマーを用いた強化学習スケジューラにより，この問題を解決することを目指す。
- TempoNetは，期限が近いタスクを認識し，効率的なスケジューリングを可能にする「Urgency Tokenizer」を導入した。
- TempoNetは，既存の解析的スケジューラやニューラルベースラインと比較して，期限充足率において一貫した改善を示した。
- 本研究は，Transformerベースの意思決定をリアルタイムスケジューリングに応用するための実用的なフレームワークを確立した。
時間的因果関係発見のための大規模因果モデル [cs.LG]目的：時間的因果関係発見のための事前学習済みニューラルアーキテクチャ
- 因果推論は，科学的発見や意思決定において重要な役割を担う。
- 従来の因果関係発見はデータセット固有であり，汎化性能に限界があった。
- 大規模データセットを活用し，より高度な因果関係発見を目指す。
- 大規模因果モデル（LCM）は，変数数が増加しても高い性能を維持し，スケーラビリティに優れる。
- LCMは，既存の古典的およびニューラルなベースラインと比較して，特に分布外の設定で競争力または優れた精度を達成する。
- LCMは，時間的因果関係発見のための有望なファウンデーションモデルとして機能する。
制約バリア関数を用いた安全な生成サンプリング [cs.LG, cs.AI, cs.SY, eess.SY, math.OC]目的：生成サンプリングの安全性確保
- 複雑なデータ分布の学習において，フローベース生成モデルの性能は目覚ましい。しかし，安全性確保が課題である。
- 安全性が重要な分野では，生成されたサンプルが制約を満たす保証がない点が課題となっている。
- 生成モデルに安全性フィルタを付加し，制約を満たすサンプリングを実現する。
- 提案手法は，既存の生成モデルを再学習なしで利用でき，様々な分野で100%の制約充足率を達成した。
- 制約バリア関数を用いて安全管を定義し，サンプリング各段階でフィードバック制御入力を合成することで，安全性を保証する。
- 特に，ノイズが大きい初期段階では介入コストが低いため，モデルの学習構造への影響を最小限に抑えつつ制約を適用する。
コンテナサンドボックスからの脱出能力の定量化 [cs.RO, cs.CR, cs.AI]目的：大規模言語モデルのサンドボックス脱出能力の測定
- LLMは自律エージェントとして利用が拡大しており，セキュリティリスクが顕在化している。
- LLMを安全に運用するためのサンドボックス環境には，脆弱性が存在する可能性がある。
- サンドボックス環境の脆弱性をLLMが突く能力を評価し，安全性を検証すること。
- 提案されたSANDBOXESCAPEBENCHベンチマークを用いて，LLMのサンドボックス脱出能力を安全に測定できる。
- 脆弱性を追加した場合，LLMがそれを特定し，実際に脱出を試みる能力が確認された。
- SANDBOXESCAPEBENCHのような評価が，高度なLLMの安全なサンドボックス運用に不可欠であることが示された。
我々から私へ：帰納的推論に基づいた物語転換理論 [cs.CL, cs.AI]目的：物語の転換
- 効果的なコミュニケーションには，聞き手の物語や世界観との整合性が不可欠である。
- 既存のLLMは，物語の核心を維持しつつ，異なる物語枠組みへとテキストを変えることが難しい。
- LLMによる一貫性のある標的化された物語転換を支援する手法を開発すること。
- 本研究で提案する手法は，社会科学理論と帰納的推論に基づき，物語転換を自動化する。
- GPT-4oを用いた実験では，集団主義から個人主義への転換において，ゼロショットベースラインを55.88%上回る成果が得られた。
- また，元の物語との意味的な類似性も高く，KLダイバージェンスを40.4%改善した。
ローカルシャプレイ値：モデル誘導局所性とデータ評価における最適な再利用 [cs.LG, cs.AI, cs.DB, cs.GT]目的：データ評価のためのシャプレイ値の計算効率化
- データは機械学習モデルの性能を左右する重要な要素であり，その価値を定量的に評価するニーズが高まっている。
- シャプレイ値は公平なデータ価値評価の理論的基盤を提供するが，計算量が指数関数的に増加するため，現実的な規模の問題には適用が困難である。
- モデルの構造的特性に着目し，影響を与える訓練データの範囲を局所化することで，シャプレイ値の計算量を削減し，効率的なデータ評価を実現する。
- モデルが持つ局所性により，シャプレイ値の計算をモデルの計算経路によって定義されるサポート集合に限定することが可能である。
- LSMR（Local Shapley via Model Reuse）は，サポートマッピングとピボットスケジューリングにより，各影響力のある部分集合を一度だけ学習することで，計算量を最適化する。
- 大規模なサポート集合に対しては，LSMR-Aという再利用を考慮したモンテカルロ推定器を開発し，バイアスを維持しつつ計算時間を大幅に短縮する。
位置ゼロが特別な理由：LLMにおける位置ゼロアテンションシンクのメカニズム研究 [cs.LG, cs.CL]目的：LLMにおける位置ゼロアテンションシンクの発生メカニズムの解明
- 大規模言語モデルの性能向上には，注意メカニズムの理解が不可欠である。
- アテンションシンクの発生原理が不明であり，モデルの解釈性と制御が困難である。
- 位置ゼロアテンションシンクのメカニズムを解明し，学習効率と性能向上に貢献する。
- 位置ゼロアテンションシンクは，モデルの構造的特性から生じるものであり，意味内容に依存しないことが示された。
- P0-Sink Circuitと呼ばれる2ブロックのサブネットワークが，このシンク形成に責任を持つことが特定された。
- パラメータフリーな手法によるP0シンクの早期形成は，事前学習を加速し，下流タスクの性能を向上させる効果が確認された。
異種分散型拡散モデル [cs.LG, cs.AI, cs.CV]目的：大規模拡散モデルの効率的な分散学習手法
- 拡散モデルは高品質な画像生成が可能だが，学習に膨大な計算資源が必要とされている。
- 既存の分散学習は，計算資源や学習目標の均一性が求められ，参入障壁が高い。
- 本研究は，異種な環境下でも効率的に学習を進め，分散学習へのアクセスを容易にすることを目指す。
- 本手法は，従来の分散型拡散モデルの計算コストを16分の1，データ量を14分の1に削減した。
- 異なる学習目標（DDPMとFlow Matching）を組み合わせることで，統一的な推論が可能となった。
- アラインメントされた推論設定において，FIDスコアとプロンプト内多様性が同質的なベースラインを上回った。
ARおよび拡散LLMにおける層ごとの表現能力の比較分析 [cs.CL, cs.LG]目的：ARモデルと拡散LLMにおける内部表現の差異の解明
- 自然言語処理の発展に伴い，大規模言語モデルの性能向上は重要課題である。
- 拡散LLMがARモデルと同等の性能を示すも，内部表現の変化は不明確である。
- 拡散学習がモデルの表現能力に与える影響と，その冗長性の活用を目指す。
- 拡散LLMは，早期層に冗長性を持たせ，局所的な構造への依存を低減した，よりグローバルな表現を獲得する。
- ARモデルから初期化された拡散LLMは，拡散学習を経てもARモデルの動特性を維持し，初期化バイアスが顕著である。
- 拡散LLMは冗長性を利用し，計算コストを削減しつつ，数学的推論やコーディングの性能を維持可能である。
FinToolBench：現実世界の金融ツール利用におけるLLMエージェントの評価 [cs.AI]目的：金融ツール利用におけるLLMエージェントの評価基準
- 金融分野へのLLM導入は，情報検索から能動的な対話へと変化をもたらしており，その重要性が高まっている。
- 既存の評価はテキスト分析やQAに偏り，実際のツール実行の複雑さや金融特有の厳格さを考慮していない。
- 現実世界の金融ツールを用いた実行可能な評価基準を確立し，信頼性の高いAIの実現を目指す。
- FinToolBenchは，760の金融ツールと295の質問からなる，初の現実世界の金融ツール学習エージェント評価ベンチマークである。
- 評価フレームワークは，実行成功の二元評価に加え，金融分野における重要要素（タイムリーさ，意図タイプ，規制適合性）を評価する。
- FATRという金融分野に特化したツール検索・推論のベースラインを提案し，安定性とコンプライアンスを向上させている。
エージェントタスクにおけるユーザーシミュレーションのSim2Realギャップに注意を払う [cs.SI, math.CO, cs.AI]目的：ユーザーシミュレーションにおけるSim2Realギャップの定量化
- 自然言語処理の評価は静的なベンチマークから対話的な設定へと移行しており，ユーザー代理としてのLLMシミュレーターの重要性が増している。
- LLMシミュレーターは現実の人間の行動を忠実に再現しているとは限らず，その検証が不十分である。
- LLMシミュレーターと現実の人間の対話行動の類似性を定量化し，エージェント開発におけるシミュレーター利用の妥当性を検証する。
- LLMシミュレーターは過度に協力的で，スタイルが均一であり，現実的な欲求不満や曖昧さが欠如していることが示された。
- LLMシミュレーターは人間のベースラインよりもエージェントの成功率を高く評価する「簡単なモード」を作り出している。
- ルールベースの報酬は，人間が生成する多様なフィードバック信号を捉えられていないことが明らかになった。
OSMDA：リモートセンシングVLMsのためのOpenStreetMapベースのドメイン適応 [cs.RO, cs.CV, cs.LG]目的：リモートセンシングVLMsのドメイン適応
- リモートセンシング技術は，環境モニタリングや災害対応など，多岐にわたる分野で重要性が増している。
- リモートセンシング画像の学習には高品質なアノテーションが必要だが，その作成にはコストと時間がかかる。
- OpenStreetMapを活用し，大規模な教師モデルへの依存なしに，リモートセンシングVLMsを効率的に適応させる。
- OSMDAは，航空画像とOpenStreetMapタイルを組み合わせることで，モデル自身がアノテーションを生成する。
- 衛星画像のみでモデルをファインチューニングすることで，手動アノテーションや強力な外部モデルを必要としないVLMsを開発した。
- 複数のベンチマークにおいて，OSMDAは既存手法を上回り，低コストで高い性能を実現した。
AI天気予報からインフラ強靭性へ：熱帯低気圧影響予測のためのリアルタイム補正・ダウン スケーリングフレームワーク [eess.SY, cs.LG, cs.SY]目的：熱帯低気圧によるインフラへの影響予測の精度向上
- 気候変動により極端な気象現象が増加しており，社会インフラへの影響評価が重要である。
- 従来の数値予報モデルでは，局地的な地形効果や構造物の脆弱性を考慮した詳細な影響評価が困難であった。
- AI天気予報をインフラ評価に活用するための，迅速かつ高精度なダウン スケーリング手法が求められている。
- 提案手法（ACDF）は，リアルタイムのバイアス補正と地形を考慮したダウン スケーリングを組み合わせることで，風速予測の平均絶対誤差をPangu-Weatherと比較して38.8%削減した。
- ACDFは，中国浙江省における11の台風の事例で検証され，サブキロメートルスケールの風速分布を再現することに成功した。
- 台風ハグピットの事例では，ACDFが実際に故障した送電線を特定するなど，タワーや送電線レベルでの実用的な情報を提供できることを示した。
GPrune-LLM：大規模言語モデルの汎化性能を考慮した構造化プルーニング [cs.LG, cs.AI]目的：大規模言語モデルの圧縮
- 近年の大規模言語モデルは高い性能を示す一方，計算コストが高いという課題がある。
- 既存の構造化プルーニング手法は，キャリブレーションデータに依存し，汎化性能が低下しやすい。
- ニューロンの分布感受性を考慮し，キャリブレーションバイアスを軽減することで汎化性能を向上させる。
- GPrune-LLMは，ニューロンのクロス分布挙動を測定・活用し，公平な比較を実現する構造化プルーニングフレームワークである。
- 実験の結果，GPrune-LLMはベースラインのプルーニング指標の汎化性能を向上させ，特に高いスパース率で顕著な効果が見られた。
- 重要度指標の選択への依存度を低減することも確認された。
MVHOI：3D基盤モデルを用いた複雑な人間-物体相互作用ビデオの再現におけるマルチビュー条件の橋渡し [cs.CV, cs.AI]目的：複雑な人間-物体相互作用ビデオの再現における手法
- 人間と物体の相互作用の理解は，ロボット工学やコンピュータビジョンの発展に不可欠である。
- 既存手法は，2Dモーション制御に依存し，複雑な動きや視点変化への対応が不十分である。
- マルチビュー情報を活用し，より現実的な相互作用ビデオの再現を目指す。
- 本研究では，暗黙的なモーション抽出，3D認識によるマルチビュー推論，ビデオ生成を組み合わせたMVHOIを提案する。
- 提案手法は，対象物体のマルチビュー参照を用いて粗いオブジェクトアンカーを予測し，構造的・外観的なガイダンスとして活用する。
- 実験結果から，提案手法は，オブジェクトの忠実度，モーションの一貫性，視覚的品質，相互作用のリアリズムにおいて，既存手法を上回ることが示された。
最終的なテキストのみが残存する場合：マルチエージェント監査のための暗黙的な実行追跡 [cs.AI, cs.CL]目的：マルチエージェントシステムの最終的なテキストからのセグメントレベルの帰属と信頼性の高い遷移回復
- マルチエージェントシステムは複雑化の一途をたどっており，その説明責任の確保が重要となっている。
- 従来の帰属方法は，完全な実行トレースに依存するため，メタデータが不足した環境では機能しない。
- 本研究は，メタデータ喪失下でのマルチエージェント言語システムの説明責任のための実用的な基盤を提供する。
- IETは，生成時にエージェント固有のキー条件付き統計的信号をトークン生成プロセスに埋め込むことで，最終テキストを自己検証可能な provenance record に変換する。
- オフライン監査人は，各エージェントをキーにマッピングする検証レジストリを使用し，実行ログやプライベートトレースへのアクセスなしに，最終テキストからセグメントレベルの provenance を回復する。
- 実験により，IETは，IDの削除，境界の破損，プライバシー保護のための削除下で，正確なセグメントレベルの帰属と信頼性の高い遷移回復を達成することが示された。
データ不均一なエッジコンピューティングシステムにおける勾配整合型並列分割学習（GAPSL） [cs.RO, cs.LG]目的：データ不均一なエッジコンピューティングシステムにおける勾配整合型並列分割学習フレームワーク
- リソース制約のあるエッジデバイスでの分散型機械学習の民主化が課題であり，その実現には効率的な学習手法が不可欠である。
- エッジコンピューティングシステムにおけるクライアントデータの不均一性は，従来の並列分割学習の学習発散を引き起こす主要な原因である。
- クライアント間の勾配方向の不一致を軽減し，モデルの収束を促進することで，データ不均一な環境下での学習性能を向上させる。
- 提案手法GAPSLは，リーダー勾配の特定と勾配方向の整合という2つの主要な要素から構成され，データ不均一な環境下で高い学習精度を達成する。
- 実験結果から，GAPSLは最先端のベンチマークと比較して，学習精度，収束遅延，システム堅牢性において一貫して優れた性能を示すことが明らかになった。
- 動的に方向性の整合したデバイス勾配を選択し，リーダー勾配を構築することで，グローバルな収束傾向を捉え，学習の安定化に貢献する。
差分プライバシーとワイヤレス連合学習の融合：プライバシーと収束に関する改善された分析 [cs.LG]目的：差分プライバシーを考慮したワイヤレス連合学習におけるプライバシー損失と収束の分析
- 個人情報保護の重要性が増す中，データ活用とプライバシー保護の両立が求められている。
- 連合学習におけるプライバシー損失の正確な評価が困難であり，収束性解析に制約が多い。
- 非凸損失関数下におけるプライバシー損失と収束性を理論的に保証することを目指す。
- 提案手法は，デバイス選択とミニバッチサンプリングを考慮し，反復回数が増加してもプライバシー損失が発散しないことを示した。
- 勾配クリッピングを用いた収束性を保証し，プライバシーと精度（ユーティリティ）のトレードオフを明確化した。
- 数値実験により，理論的結果の妥当性を検証した。
MAPLE：メタデータ拡張型プライベート言語進化 [cs.CL, cs.AI, cs.CR, cs.LG]目的：大規模言語モデルの差分プライバシーファインチューニングにおける初期化問題の解決
- 大規模言語モデルの活用は重要だが，プライバシー保護と性能維持が課題である。
- プライベート進化は有望だが，初期分布がモデルの事前分布から乖離すると性能が低下する。
- MAPLEは，メタデータ活用で初期分布をターゲットドメインに固定し，性能と効率を向上させる。
- MAPLEは，既存のプライベート進化手法と比較して，プライバシーと有用性のトレードオフが向上する。
- MAPLEは，収束速度が大幅に速く，APIコストを削減する。
- ドメイン固有のテキスト生成タスクにおいて，MAPLEの優位性が確認された。
No-Clash Teaching DimensionはVC次元によって上限される [cs.IT, cs.LG, math.IT]目的：No-Clash Teaching Dimensionの上限
- 機械学習理論において，教師あり学習の効率的な学習手法の複雑性を評価する上で重要である。
- No-Clash Teaching DimensionがVC次元によって上限されるかどうか不明であり，理論的な限界が未解決であった。
- 有限概念クラスに対するNo-Clash Teaching DimensionのVC次元による上限を証明することを目的とする。
- 有限概念クラスに対して，VC次元に等しいサイズのフラグメントを構築し，概念を識別できることを示した。
- 構築されたフラグメントは，教師データとして利用可能であり，非衝突条件を満たすことを確認した。
- これにより，有限概念クラスにおけるNo-Clash Teaching DimensionがVC次元によって上限されることが証明された。
信頼か検証か：AIシステムに対するユーザーの信頼の（進化的な）動態の理解 [cs.AI, cs.LG, cs.MA, nlin.AO]目的：AIシステムに対するユーザーの信頼の進化的な動態
- AI技術の発展と普及に伴い，AIシステムへの信頼は不可欠な要素となっている。
- 既存研究では，ユーザーの信頼を静的な選択と捉え，動的な相互作用による変化を考慮していない。
- 信頼と安全性の関係性を進化ゲーム理論で分析し，最適なガバナンス戦略を提示する。
- シミュレーションの結果，ユーザーの信頼と開発者の安全性確保戦略が共進化する3つの安定状態が確認された。
- 安全なAIシステムが広く普及するには，安全性確保コストを上回る罰則と，ある程度の監視コストが必要である。
- 透明性の確保，低コストな監視，有意義な制裁が，安全性の低下や普及の停滞を防ぐ上で重要であることが示された。
GraphER：検索拡張生成のための効率的なグラフベースのエンリッチメントと再ランク付け手法 [cs.LG, cs.CL, cs.IR]目的：検索拡張生成における情報検索の精度向上
- 検索拡張生成は複雑な情報ニーズに対応する上で重要だが，従来のセマンティック検索では課題がある。
- 関連する証拠が複数ソースに分散している場合，セマンティック検索では完全な証拠セットを検索できない場合がある。
- データ構造の組織性を活用し，セマンティック類似性以上の近接関係を捉えることで検索精度を向上させる。
- GraphERは，クエリ時に近接性に基づいてグラフを構築し，グラフベースのランキングを適用することで，候補ドキュメントを抽出する。
- テーブル検索，マルチホップ検索，長文書検索のベンチマークにおいて，検索の完全性に関して一貫した改善が確認された。
- GraphERは追加のグラフインフラを必要とせず，標準的なベクトルストアとシームレスに統合可能である。
SIGMA：分子自己回帰のための意味的識別子グルーピング [cs.LG]目的：分子表現の整合性向上
- 創薬や材料科学において，分子構造の正確な表現と予測は不可欠である。
- 分子の同一性が表現の順序に依存する問題があり，モデルの予測に不整合が生じることがある。
- 分子表現の順序依存性を解消し，よりロバストなモデルを構築すること。
- SIGMAは，化学的に同等な分子の表現を整列させることで，分子表現の品質を向上させる。
- SMILESおよびSELFIES形式のデータセットにおいて，Frechet ChemNet Distanceを大幅に低減することを示した。
- 分子特性予測の精度向上と，分子表現の順序依存性に対する感度低下を実現した。
ARMOR：欠損モダリティ下におけるマイクロサービスの根本原因分析のためのロバストな自己教師ありフレームワーク [cs.LG, cs.SE]目的：マイクロサービスにおける根本原因分析のためのロバストなフレームワーク
- マイクロサービスアーキテクチャの普及に伴い，システムの信頼性確保が重要になっている。
- 実際の運用環境では，ネットワーク障害やエージェントの故障により，データが欠損することが多い。
- 欠損データに強く，高精度な根本原因分析を可能にする手法が求められている。
- 提案手法ARMORは，異なるモダリティ間の分布の差異を分離する非対称エンコーダを採用している。
- 欠損モダリティに配慮したゲート付き融合機構により，不完全な入力からの干渉を防ぎ，ロバスト性を高めている。
- 自己教師あり学習とマスクガイダンスによる再構成により，異常検知，故障分類，根本原因特定を同時に最適化している。
船舶の軌跡から安全上重要な遭遇シナリオへ：自律運航船デジタルテストのための生成AIフレームワーク [cs.LG]目的：安全上重要な遭遇シナリオの生成
- 自律運航船の安全性確保は喫緊の課題であり，その検証には信頼性の高いテスト環境が不可欠である。
- 既存手法では，現実的なシナリオの数が限られており，特に稀な危険シナリオの網羅が困難である。
- 大規模な船舶追跡データを用いて，多様で現実的な危険シナリオを効率的に生成することを試みる。
- 提案手法は，実際の船舶交通データを基にした軌跡の生成において，高い忠実性と滑らかさを実現した。
- 統計的な整合性を維持しつつ，観測データだけでは得られない多様な危険シナリオを生成することが可能となった。
- 本フレームワークは，自律運航船のデジタルテスト，ベンチマーク，安全評価を支援するための実用的な道筋を提供する。
制約なし線形バンディットへの摂動アプローチ [cs.LG, stat.ML]目的：制約なし線形バンディット最適化問題に対する摂動に基づくアプローチの解析
- バンディット問題は，探索と活用のバランスが重要であり，機械学習の様々な分野に応用されている。
- 既存手法では，最適な探索戦略を決定することが難しく，高いリグレットが生じる可能性がある。
- 摂動アプローチを用いて，バンディット問題を標準的なオンライン線形最適化問題に帰着させ，性能向上を目指す。
- 摂動スキームとcomparator-adaptive OLOアルゴリズムの組み合わせにより，期待リグレットの上界を導出した。
- 動的リグレットについても，事前知識なしに最適な$\sqrt{P_T}$パス長依存性を持つ保証を初めて得た。
- uBLOにおける静的・動的リグレットに対する高確率保証を確立し，静的リグレットの下限も示した。
論争のある主張の検証のための漸進的RAGと役割交代による法廷形式のマルチエージェント議論 [cs.CL, cs.AI, cs.MA]目的：論争のある主張の検証
- 大規模言語モデルの信頼性は，高リスクな状況での主張検証において重要である。
- 既存のRAGやマルチエージェント議論は，一次的な情報検索や非構造化な議論に課題がある。
- 構造化された議論とモデルの多様性によるバイアス軽減と信頼性の向上を目指す。
- 提案手法PROClaimは，Check-COVIDベンチマークにおいて81.7%の精度を達成し，標準的なマルチエージェント議論を10.0%上回った。
- 漸進的RAG（P-RAG）が主要な性能向上に貢献し，7.5%ポイントの改善をもたらした。
- 法廷形式の構造化された議論とモデルの異質性が，系統的なバイアスを効果的に軽減することが示された。
大規模言語モデルによるビジョンエンコーダの階層的事前学習 [cs.CV, cs.AI, cs.CL, cs.LG]目的：ビジョンエンコーダと大規模言語モデル間の階層的なクロスアテンションによるビジョン言語整合性の向上
- コンピュータビジョン分野は発展してきたが，スケーラブルなモデルとマルチモーダル事前学習が重要視されている。
- 従来のビジョンエンコーダと大規模言語モデルは独立に扱われることが多く，階層的な視覚特徴の統合が不十分である。
- 本研究は，階層的な特徴統合によって，より効率的で表現力豊かなビジョン言語モデルを実現することを目指す。
- HIVEは，ビジョンエンコーダと大規模言語モデル間に階層的なクロスアテンションを導入することで，ビジョン言語整合性を高める新しいフレームワークである。
- 画像分類だけでなく，MME，GQA，OK-VQA，ScienceQAなどの様々なビジョン言語タスクにおいて，自己注意ベースの手法を上回る性能を示した。
- 段階的な訓練戦略によって，安定した最適化と効果的なマルチモーダル融合を可能にし，階層的な特徴統合の利点を示した。
拡散言語モデルにおける専門家選択ルーティングが適応的計算を可能にする [cs.LG, cs.CL]目的：拡散言語モデルにおける専門家選択ルーティングの有効性
- 拡散言語モデルは並列生成を可能にし，自然言語処理の効率化に貢献する。
- 既存の専門家混合モデルでは，トークン選択ルーティングにより負荷分散が不均衡になる。
- 本研究は，専門家選択ルーティングによる負荷分散と計算効率の向上を目指す。
- 専門家選択ルーティングは，トークン選択ルーティングよりも高いスループットと収束速度を実現する。
- ステップごとの専門家容量を調整することで，性能を最適化できることが示された。
- 既存のトークン選択DLMを専門家選択ルーティングに置き換えることで，収束速度と精度が向上する。
LangFIR：単一言語データからの言語特有の疎な特徴の発見による言語制御 [cs.CL, cs.CL, cs.CL, cs.AI, cs.LG]目的：多言語LLMの出力言語を制御するための言語特有の疎な特徴の発見
- 大規模言語モデルは多言語能力を持つが，出力言語の制御は依然として課題である。
- 言語制御には言語特有のベクトルが必要だが，その特定にはコストのかかる多言語データが用いられることが多い。
- 単一言語データのみで言語特有の特徴を効率的に発見し，言語制御の精度を向上させる。
- LangFIRは，ランダムトークンフィルタリングを用いて，少ない単一言語データから言語特有の疎な特徴を特定する。
- 発見された特徴は，特定の言語に選択的であり，その方向を遮断すると，対応する言語のクロスエントロピー損失が増加する。
- LangFIRは，GemmaやLlamaなどのモデル，複数のデータセット，12の言語において，既存手法を最大4.7倍上回る性能を示した。
OntoTKGE：オントロジー強化時系列知識グラフ外挿 [cs.AI]目的：時系列知識グラフにおける将来の事実の予測
- 知識グラフは，情報間の関係を表現し，様々な応用分野で重要である。
- 既存モデルは，過去の相互作用が少ないエンティティの処理に課題がある。
- オントロジー知識を活用し，エンティティの表現を強化することで予測精度向上を目指す。
- 提案手法OntoTKGEは，オントロジー知識を統合することで，エンティティ埋め込み表現を改善する。
- OntoTKGEは，様々な時系列知識グラフ外挿モデルに適用可能である。
- 5つのデータセットにおける実験で，既存手法を上回る性能が確認された。
LLMにおける確率性の錯覚 [cs.CE, cs.CL, cs.LG]目的：大規模言語モデル（LLM）における信頼性の高い確率的サンプリングの必要性
- LLMはエージェントとして機能するため，確率的サンプリングは不可欠である。
- LLMは内部確率推定と確率的出力の一致が不十分である。
- LLMが特定の分布から直接サンプリングする際の根本的な問題を解決する。
- LLMは，与えられた乱数シードから目標分布への変換は可能だが，特定の分布からの直接サンプリングには課題がある。
- 標準的な強化学習エージェントとは異なり，LLMは内部確率推定を確率的出力に正確にマッピングできないことが示された。
- 様々なモデル，サイズ，プロンプト，分布において，この問題が広く存在することが実証された。
大規模言語モデルの評価における自己選好バイアス [cs.CL, cs.AI]目的：大規模言語モデルの評価における自己選好バイアスの存在とその影響
- 大規模言語モデルの性能評価は，モデル開発において不可欠である。
- 評価者の主観が入りやすく，公平な評価が難しいという課題がある。
- 客観的な評価基準を用いた場合でもバイアスが存在することを示す。
- 評価基準が客観的な場合でも，自己生成された出力に対して適合と誤って判断する確率が高くなることが示された。
- 複数の評価者を組み合わせることでバイアスは軽減されるものの，完全に解消されるわけではない。
- 主観的な評価基準や特定のトピックにおいて，自己選好バイアスの影響がより顕著になることが確認された。
Face-D(^2)CL：二重継続学習による顔のディープフェイク検出のためのマルチドメイン相乗的表現 [cs.CV, cs.AI]目的：顔のディープフェイク検出のためのマルチドメイン相乗的表現と二重継続学習
- ディープフェイク技術の進歩は，公共の信頼と情報セキュリティに深刻な脅威をもたらしており，その対策が急務である。
- 既存の継続学習手法は，多様化するフォージェリ痕跡の表現能力の不足や，過去の知識の忘却といった課題を抱えている。
- 多様なフォージェリ痕跡の包括的な捕捉と，知識の忘却を抑制しつつ新たなフォージェリに対応できるモデルを構築すること。
- 提案手法Face-D(^2)CLは，空間領域と周波数領域の特徴を融合するマルチドメイン相乗的表現を用いることで，多様なフォージェリ痕跡を捉える。
- Real/Fake認識型EWCとドメインごとの直交勾配制約を組み合わせた二重継続学習メカニズムにより，忘却の抑制と適応性の両立を実現している。
- 実験結果から，提案手法は既存の最先端手法と比較して安定性と可塑性に優れ，平均検出誤り率を60.7%削減し，未知のフォージェリドメインでAUCを7.9%向上させる。