arXiv雑要約
AI - 2026/07/31 公開
イベント条件付き信用度に基づく証拠融合の決定志向型同時最適化 [cs.AI]目的：異質で精度にばらつきがあり，異常を含む複数の情報源からの証拠融合における決定問題
- 不確実な情報に基づいて意思決定を行う上で，多様な証拠を適切に統合することは重要である。
- 既存手法では，証拠間の比較に偏重し，重要な証拠を見落とす可能性がある。
- 候補事象に対する証拠の信用度を適切に評価し，より正確な意思決定を支援すること。
- 提案手法は，証拠の貢献度をより正確に反映した信用度ランキングを実現した。
- 代表的な証拠融合手法と比較して，正しい事象に対する支持力が向上した。
- モンテカルロテストにより，テスト環境下で高い固定点到達率が確認された。
AMPによる効率的なLLM：アテンションヘッドとMLPのプルーニング [cs.LG]目的：大規模言語モデルの効率的な圧縮
- 深層学習は計算システムの新時代を牽引し，複雑な問題の自動化を可能にしている。
- 大規模言語モデルはパラメータ数が多く，計算コストが高く，推論速度が遅いという課題がある。
- アテンションヘッドとMLPの構造を効率的にプルーニングすることで，LLMの圧縮と性能維持を目指す。
- 提案手法AMPは，既存手法に比べて柔軟性と効率性に優れ，LLMの圧縮を実現した。
- 常識推論タスクにおいて，最先端技術を最大1.49%上回り，30%のプルーニング率を達成した。
- AMPは推論速度を向上させ，リソース制約のある環境への展開に適していることを確認した。
CLAM：教師なしデモンストレーションからのロボット学習のための連続潜在行動モデル [cs.RO, cs.AI, cs.LG]目的：ロボット制御方策の学習
- ロボットの自律的な動作を実現するには，効率的な学習手法が不可欠である。
- 教師あり学習では，行動ラベル付きの専門家データ収集にコストがかかる。
- ラベルのないデモンストレーションデータのみから，ロボット制御方策を学習すること。
- 連続潜在行動モデル（CLAM）は，自己教師あり学習を用いて，観測系列から潜在行動を推定する。
- タスク非依存のプレイデータを用いて行動デコーダを同時学習することで，潜在行動を実行可能なモーターコマンドに変換する。
- CLAMは，DMControl，MetaWorld，WidowXロボットでの実験で，従来のlatent-actionベースラインを2-3倍上回る性能を示した。
デモグラフィックデータが不完全な場合の公平性監査レポートに記載すべきこと [cs.LG, stat.ML]目的：公平性監査の開示要件
- 機械学習の責任ある展開において，公平性の検証は不可欠である。
- 保護対象属性データが不完全な場合，監査レポートに何を記載すべきか明確ではない。
- 不完全なデータ下での監査結果の解釈に必要な情報を示す。
- 保護属性の欠損が，公平性改善策の選択に与える影響は，単純な再実行よりも小さいことが示された。
- 保護属性へのアクセスがない場合，候補は経験的リスク最小化に収束し，候補セットの構成が結果に影響を与えた。
- 公平化オッズ閾値最適化は，交差的サブグループを悪化させる傾向があるが，監査人が許容する設定に限定することで，その傾向は軽減された。
CLIP誘導によるバックドア防御：エントロピーに基づく汚染データセット分離 [cs.MM, cs.CR, cs.LG]目的：バックドア攻撃に対する防御手法の開発
- 深層学習モデルは広く利用されているが，そのセキュリティ上の脆弱性が課題となっている。
- 既存の防御手法は計算コストが高い，または高度な攻撃に対して効果が低いという問題がある。
- CLIPモデルを用いて，効率的かつ効果的にバックドア攻撃を軽減することを目指す。
- 提案手法CGDは，様々なバックドア攻撃の成功率を1%以下に低減し，クリーンデータの精度低下は0.3%以内に抑えることができた。
- CGDは，既存の防御手法と比較して，優れた性能を示すことが確認された。
- また，CGDはCLIPモデルが弱体化した場合や，CLIP自体がバックドア攻撃を受けた場合でも，高い堅牢性を維持する。
ポストトレーニングによる動画生成におけるシーン遷移認識の向上 [cs.CV, cs.AI]目的：シーン遷移認識の向上
- AI動画生成技術は急速に進歩しており，高品質な動画生成が期待される。
- 既存モデルは単一シーン動画学習が中心で，複数のシーンを含む長尺動画の生成に課題がある。
- シーン遷移の認識能力を高めることで，より自然な多シーン動画生成を目指す。
- 新たに「Transition-Aware Video (TAV)」データセットを構築し，シーン遷移を含む動画を学習データとして利用した。
- TAVデータセットを用いたポストトレーニングにより，プロンプトに基づいたシーン遷移の理解度が向上した。
- 生成されるシーン数と，プロンプトで求められるシーン数との乖離が縮小し，画像品質も維持された。
学習率とバッチサイズスケジュールによるSGDMの高速化：Lyapunov関数に基づく解析 [cs.LG]目的：確率的勾配降下法（SGDM）の収束性解析
- 深層学習の効率的な学習は重要であり，最適化アルゴリズムの改善が不可欠である。
- 固定されたハイパーパラメータでは十分な収束速度が得られない場合がある。
- 学習率とバッチサイズの動的なスケジュールが収束速度に与える影響を解析する。
- Lyapunov関数を用いた解析により，バッチサイズを増加させることで，期待される勾配ノルムの収束が保証されることが示された。
- バッチサイズと学習率を同時に増加させることで，より高速な減衰が理論的に証明された。
- 実験結果は理論を検証し，動的にスケジュールされたSGDMが固定ハイパーパラメータのSGDMよりも収束速度が大幅に向上することを示した。
VLMにおける継続学習：忘却を超えた調査と分類 [cs.CV, cs.LG]目的：視覚言語モデルの継続学習に関する課題と解決策の体系的な整理
- AIの発展において，視覚と言語を組み合わせたモデルの重要性は増しており，その能力向上は不可欠である。
- 継続的に変化するデータへの対応が難しく，過去の知識を失う「破滅的忘却」が大きな問題となっている。
- 視覚言語モデル固有の忘却メカニズムを解明し，継続学習を可能にするための指針を示す。
- 本調査は，予測型VLMと生成型MLLMにおける継続学習の現状を包括的にレビューし，その特性と課題を明確化した。
- 記憶のドリフトに対処するリプレイ戦略，モダリティ間の整合性を保つ正則化，効率的なパラメータ適応など，４つの主要なパラダイムを提示した。
- 評価プロトコルの重要性を強調し，領域と能力の双方を考慮したベンチマークへの移行を促した。
複合ストレス下における植物の窒素ストレス重症度を空間的・時間的深層学習フレームワークで高精度に分類 [cs.SC, cs.CV, cs.AI, cs.LG]目的：複合ストレス環境下における植物の窒素ストレス重症度の分類
- 植物は様々なストレスにさらされ，特に窒素欠乏は生育に大きな影響を与える。
- 窒素ストレスは，乾燥や雑草との競合など他のストレスと複合的に発生し，判別が困難である。
- 本研究は，複合ストレス下で窒素ストレスの重症度を正確に特定する手法を開発する。
- 提案するCNN-LSTMパイプラインは，98%という高い精度を達成した。
- 空間的特徴のみを利用するCNNモデル（80.45%）や，既存の機械学習手法（76%）を大きく上回る結果である。
- 本手法は，窒素欠乏，水ストレス，雑草圧の複雑な相互作用を捉え，効果的な窒素ストレスの早期発見に貢献する。
ドメインシフト下における連合グラフ集約の解剖：経験的分析による重要度を意識した集約 [cs.LG]目的：連合グラフ学習におけるドメインシフトの影響分析と，それに対応するための集約手法の改善
- 連合グラフ学習は，プライバシー保護と分散環境でのグラフモデリングを可能にする重要な技術である。
- 連合グラフ学習では，クライアント間のグラフ構造や特徴量の違い（ドメインシフト）が性能低下の原因となる。
- ドメインシフトの影響を受けにくい，効果的なサーバー側集約手法を開発し，モデルの汎化性能を向上させる。
- 本研究では，ドメインシフトがサーバー側の集約に与える影響を分析し，重要なパラメータ座標が希薄化される「集約誘発信号希釈効果」を明らかにした。
- 提案手法FedIAは，パラメータ選択とクライアント重みの調整により，重要度の高いパラメータ座標を重視した集約を行うことで，性能向上を実現した。
- Twitch GamersとWikiNetでの実験結果は，既存手法と比較して最大11.58%の改善を示し，特にドメインの偏りがある場合に強い効果を発揮した。
Kolmogorov-Arnoldネットワーク回帰推定量の収束速度について [cs.LG, cs.AI, stat.ML]目的：Kolmogorov-Arnoldネットワーク回帰推定量の収束速度
- 高次元データに対する関数近似において，次元の呪いを克服する手法の重要性が増している。
- 既存の非線形回帰手法では，高次元データにおける統計的効率が低い場合がある。
- Kolmogorov-Arnoldネットワークの収束速度を理論的に評価し，最適な推定方法を確立すること。
- Kolmogorov-Arnoldネットワークの収束速度は，$O((\log n / n)^{2r/(2r+1)})$ であることが示された。
- この収束速度は，次元数$d$に依存せず，理論的な下限と一致し，最適性が確認された。
- 未知の滑らかさパラメータに対して適応的なノット選択規則が導出され，一変数の成分の識別可能性に関する考察も行われた。
効率的な多様体密度推定のためのランダム射影フロー [cs.LG]目的：高次元データの密度推定手法
- 複雑な高次元データの理解には正確な密度推定が不可欠である。
- データが低次元多様体上に存在する場合，密度推定は困難となる。
- ランダム射影を用いた効率的な密度推定フレームワークを提案する。
- ランダム射影フロー（RPF）は，ランダム行列理論とランダム射影の幾何学を利用した正規化フローである。
- RPFは，ガウス行列のQR分解から得られるランダムな半直交行列を用いて，データを低次元潜在空間に射影する。
- RPFは，理論的根拠があり，生成モデリングにおいて有効なベースラインとなる。
ソーシャルメディアにおける統一的なマルチモーダルな誤情報検出：ベンチマークデータセットとベースライン [cs.AI, cs.CV]目的：ソーシャルメディアにおけるマルチモーダルな誤情報の検出
- ソーシャルメディア上での誤情報は社会に深刻な影響を与え，その検出は喫緊の課題である。
- 従来の誤情報検出手法は，人間が作成した情報とAIが生成した情報で異なるため，汎用性に欠ける。
- 人間とAIが作成した両方の誤情報を扱える，統一的な検出手法の開発を目指す。
- 本研究では，既存のリソースと新たに生成したAI生成例を組み合わせた98Kサンプルからなるベンチマークデータセット OmniFake を構築した。
- 両方の種類の欺瞞に対処できるフレームワーク UMFDet を提案し，視覚言語モデルを基盤とし，カテゴリを意識した専門家混合（CMoE）アダプターを使用する。
- 実験の結果，UMFDet は，両方の欺瞞タイプにおいて，競合する専門的なベースラインよりも常に優れた性能を示した。
LLMと誘導された小規模プロキシ：知識マイニングのためのスケーラブルな小言語モデル [cs.NI, cs.AI]目的：知識マイニングのためのスケーラブルな小言語モデルの構築
- 深層研究において，大量の非構造化テキストから構造化情報を抽出する知識マイニングは重要である。
- 従来の分類器と抽出器のパイプラインは効率的だが，柔軟性に欠け，新しいタスクへの対応が困難である。
- LLMの推論能力と軽量なプロキシモデルを組み合わせ，スケーラブルかつ効率的な知識マイニングを実現すること。
- Falconerは，LLMをプランナーおよびアノテーターとして活用し，小規模プロキシモデルの学習を可能にする。
- Falconerは，最先端のLLMと同等の精度で指示応答を実現し，推論コストを最大90%削減する。
- 大規模知識マイニングの速度を20倍以上向上させ，深層研究のための効率的かつスケーラブルな基盤を提供する。
分類器の性能上限とは何か？カテゴリー別影響関数を用いたパレート最適化分析 [cs.RO, cs.LG]目的：分類器の性能上限の推定と，カテゴリーごとの性能向上
- データ中心型学習は，データ品質の観点からモデル性能を向上させる重要分野である。
- 既存研究は主に性能向上に焦点を当てており，カテゴリー間のトレードオフを考慮していない。
- カテゴリーごとの性能を同時に向上させるパレート最適化の実現を目指す。
- 提案手法は，カテゴリー別影響関数と影響ベクトルを用いて，モデル改善の可能性を定量的に評価する。
- 線形計画法に基づくサンプル再重み付けにより，カテゴリー間のトレードオフを回避し，パレート改善を実現する。
- 合成データセット，画像認識，自然言語処理の実験で，提案手法の有効性を検証した。
RetiBridge：知識誘導型マルチモーダル大規模言語モデルによる定量的な網膜バイオマーカーと定性的な診断の架橋 [cs.AI]目的：定量的な網膜バイオマーカーと定性的な診断との間の関連性の明確化
- 網膜は全身疾患の兆候を捉え，早期発見・治療に重要である。
- 既存の眼科モデルは，臨床的に重要なバイオマーカーの定量化が不十分である。
- 網膜バイオマーカーに基づいた，定量的から定性的な診断への経路を学習する。
- RetiBridgeは，CFP，OCT画像，テキストを統合的に解析し，バイオマーカーと診断を結びつける。
- LoRAによる微調整のみで，既存のオープンソースモデルやOpenAI o3を上回る性能を達成した。
- 診断分類，レポート生成品質，臨床的質において，高い精度，根拠の信頼性，網羅性を実現した。
長文脈Transformerにおける注意機構の臨界スケーリング [eess.SY, cs.SY, cs.LG, cs.AI, cs.DM, math.CA]目的：長文脈Transformerにおける注意機構の臨界スケーリングの解明
- 大規模言語モデルの性能向上には，より長い文脈を扱えることが不可欠である。
- 文脈長が伸びると注意スコアが均一化し，トークン間の識別性が低下する問題がある。
- 注意スケーリングによるこの問題の理論的根拠を明確にすることを目指す。
- 本研究では，注意スケーリングの効果を強調する簡略化されたモデルを分析した。
- その結果，臨界スケーリングはlog nに比例し，YaRNやQwenにおける注意スケーリングの正当性を示すことができた。
- 適切なスケーリングが，長文脈においても疎で内容適応的な注意機構を維持する理由を明らかにした。
ソーシャルメディア分析のための協調エージェントフローによる異種データ連携 [cs.RO, cs.CL, cs.HC, cs.AI, cs.SI]目的：ソーシャルメディアデータの異種性に対応したインサイト発見
- ソーシャルメディアは，世論形成や情報拡散など，社会現象理解に不可欠なデータ源である。
- 既存手法は構造化データに限定され，ソーシャルメディアの異種データを扱うことが困難である。
- SIAは，多様なデータを連携し，新たなインサイト発見のアプローチを提供する。
- SIAは，テキスト，ネットワーク，行動データといった異種データを統合的に分析可能である。
- インサイト指向の分類体系に基づき，段階的な分析戦略を採用し，効率的なインサイト発見を実現する。
- 定量評価とケーススタディにより，SIAがソーシャルメディアから多様で有益なインサイトを導き出すことが示された。
MOON2.0：Eコマース製品理解のための動的モダリティバランス型マルチモーダル表現学習 [cs.RO, cs.CV, cs.AI, cs.IR, cs.LG]目的：Eコマース製品理解のためのマルチモーダル表現学習
- Eコマースにおける製品理解の精度向上は，顧客体験や売上増加に不可欠である。
- 既存のマルチモーダル大規模言語モデルは，モダリティ間の不均衡やノイズの影響を受けやすい。
- MOON2.0は，モダリティ間のバランスを改善し，製品内の情報の整合性を高めることで，この課題を解決する。
- MOON2.0は，動的なモダリティバランス機構により，マルチモーダルジョイント学習を促進し，モダリティ間の不均衡を軽減する。
- デュアルレベルアライメント手法により，製品内の視覚情報とテキスト情報の意味的な整合性をより効果的に活用する。
- MBE2.0ベンチマークにおいて，最先端のゼロショット性能を達成し，マルチモーダルアライメントの改善が可視化された。
分布を入力，分布を出力：ソフトラベル学習の妥当性 [cs.LG, cs.AI]目的：アノテーターの分布をターゲットとするソフトラベル学習の効果検証
- 機械学習における教師あり分類は，その性能向上が重要であり，ラベルの質が鍵となる。
- 既存手法では，複数アノテーターの意見を多数決で集約し，情報の損失を招く場合がある。
- アノテーター間の意見の不一致が曖昧性を示す場合に，分布全体を学習標的とすることで改善を目指す。
- ソフトラベル学習は，ハードラベル学習と同等またはそれ以上の精度を達成した。
- アノテーターの分布とのKLダイバージェンスを平均で32%削減することに成功した（p < 10^-4）。
- 予測のサンプルごとのエントロピーとアノテーターのエントロピーの相関が61%向上した。
ガウス分布データに対する2つの距離尺度を用いた新規k-meansクラスタリング手法 [cs.LG, cs.CE, stat.ME, stat.ML]目的：ガウス分布データに対するk-meansクラスタリングの改良
- データ分析において，データの構造やパターンを明らかにするために，クラスタリングは重要な手法である。
- 従来のk-means法では，外れ値の扱いが難しく，クラスタリング結果の精度が低い場合がある。
- クラスタ内距離とクラスタ間距離の両方を考慮することで，よりロバストなクラスタリングを実現する。
- 提案手法は，従来のk-means法と比較して，クラスタへのデータ収束の精度が向上した。
- 特に，外れ値のクラスタリングにおいて，より正確な結果が得られた。
- カルスキー・ハラバス基準を用いたk値決定により，より適切なクラスタ数で分析が可能となった。
EmoFeedback$^2$: LVLMベースの報酬とテキストフィードバックによる継続的な感情画像生成の強化 [cs.CV, cs.AI]目的：継続的な感情画像生成における品質向上
- ユーザーの記述と感情値を一致させる画像生成技術の重要性が高まっている。
- 既存手法では，生成画像からの感情フィードバックが不足し，感情の連続性の制御が困難である。
- LVLMを活用し，感情に応じた報酬とテキストフィードバックで感情の忠実度を高める。
- 提案手法EmoFeedback$^2$は，感情認識と報酬に基づき，生成モデルの微調整を導き，画像の感情の連続性を向上させる。
- LVLMは生成画像の感情を分析し，プロンプトを洗練させることで，より詳細な感情表現を実現する。
- カスタムデータセットと公開データセットの両方で，既存の最先端手法を上回る性能を示す。
生成的なインペインティング局所化におけるVAEと拡散アーティファクトの分離：DinoLizer [cs.CV, cs.AI]目的：生成的なインペインティングにおける操作領域の局所化
- 画像生成技術の発展に伴い，編集された領域の検出が重要になっている。
- 既存手法では，生成されたアーティファクトと元の画像の区別が困難な場合がある。
- DINOv2を活用し，インペインティング領域と再構成領域を分離することで，より正確な局所化を目指す。
- DinoLizerは，提案データセットと最先端のインペインティングデータセットで，既存の最先端手法を上回る性能を示した。
- JPEG圧縮（二重）に対しても非常に高いロバスト性を持つことが確認された。
- 平均して，DinoLizerは2番目に良いモデルと比較して，交差比率（IoU）スコアが20％向上した。
エッジストリームに対する異常検知モデルARES [cs.LG]目的：エッジストリームにおける異常な時間的接続の識別
- リアルタイムデータ処理の重要性が増しており，異常検知技術の高度化が求められている。
- 概念ドリフト，大量データ，リアルタイム性といった課題により，エッジストリームの異常検知は困難である。
- 動的なグラフ構造におけるエッジの異常を効率的に検出し，潜在的なリスクを軽減すること。
- ARESは，グラフニューラルネットワークとハーフスペース木を組み合わせた，教師なし異常検知フレームワークである。
- グラフニューラルネットワークは，ノードとエッジの特性を潜在空間に埋め込み，異常なスパイクやバーストを捉える。
- 統計的散布度を利用した閾値設定により，少量のラベルデータでドメイン適応性を確保している。
多視点分類のための適応重み付きLSSVM [cs.CL, cs.LG]目的：多視点分類における性能向上
- 異種データ統合の重要性が増しており，多視点学習はその有効な手法である。
- 既存手法は，視点間の連携を十分に活かせていないか，ペアワイズな相互作用に限定されている。
- 全ての視点間の補完的学習を促進し，グローバルな連携を実現することを目指す。
- 提案手法AW-LSSVMは，反復的なグローバル結合メカニズムにより，視点間の補完的学習を明示的に促進する。
- 各視点は，自身のデータから学習するだけでなく，他の視点の誤分類サンプルを補償するように適応的なサンプル重みを付与される。
- 実験の結果，AW-LSSVMは多くのベンチマークデータセットにおいて既存手法を上回る性能を示した。
動的にスケールされる活性化方向操作 [cs.LG, cs.AI]目的：生成モデルの望ましい結果への誘導
- 生成モデルの制御は，毒性軽減など，安全性と有用性の両立が重要である。
- 既存手法は入力全体に一様に介入するため，不要な場合に性能が低下する。
- 入力に応じた介入強度調整により，性能劣化を防ぎつつ制御効果を高める。
- DSASは，いつ，どのように操作するかを分離し，不要な介入を抑制する。
- 既存の操作手法と組み合わせることで，毒性軽減と有用性のバランスを改善する。
- テキスト生成モデルに加え，画像生成モデルへの適用も示し，汎用性の高さを示す。
忘却が無料なとき：低い影響点を利用して計算コストを削減 [cs.LG]目的：機械学習モデルからの特定のデータポイントの除去
- 機械学習におけるデータプライバシーへの関心の高まりから，データ削除の重要性が増している。
- 既存のデータ削除手法は，すべてのデータポイントを均等に扱うため，計算コストが高い。
- モデルへの影響が小さいデータポイントを特定し，効率的なデータ削除を実現すること。
- モデル学習への影響がごくわずかなデータセットを特定することに成功した。
- データ削除前にデータセットのサイズを削減する効率的なフレームワークを提案した。
- 実証実験により，計算コストを最大約50%削減できることが示された。
gp2Scale：コンパクトサポート非定常カーネルと分散計算による100万データ点に対する正確なガウス過程 [cs.LG, math.PR]目的：ガウス過程の計算規模拡大
- ガウス過程は様々な分野で強力なツールだが，データ量が増加すると計算コストが課題となる。
- 既存手法は近似に頼るため，精度低下やカーネル設計の自由度の制限が生じている。
- 正確なガウス過程を大規模データに適用し，カーネル設計の自由度を維持すること。
- 本研究で提案するgp2Scaleは，100万データ点以上のガウス過程を，近似手法に頼らずに扱える。
- コンパクトサポート非定常カーネルを用いることで，共分散行列の自然な疎性を利用し，計算を効率化する。
- カーネル設計，ノイズモデル，平均関数など，ガウス過程のカスタマイズに対する制約がない点が強みである。
ひとつの漏洩が招くもの：ファインチューニングされたLLMにおけるjailbreakリスクの増幅 [cs.CR, cs.AI]目的：ファインチューニングされたLLMにおけるjailbreak脆弱性の継承
- LLMは多様な応用を可能にするが，そのセキュリティは重要な課題である。
- ファインチューニングされたLLMが，事前学習済みモデルの脆弱性を引き継ぐ可能性が懸念される。
- 事前学習済みモデルからファインチューニングされたモデルへの脆弱性継承メカニズムの解明
- 事前学習済みモデルで最適化された敵対的プロンプトは，ファインチューニングされたモデルに効果的に転移し，脆弱性が継承されることが示された。
- 転移可能なプロンプトは，事前学習済みモデルの隠れ状態内で線形分離可能であり，転移性に重要な構造が事前学習済み表現に既にエンコードされていることが示唆された。
- Probe-Guided Projection (PGP)攻撃により，転移性の高い方向への最適化が可能となり，事前学習からファインチューニングへの脆弱性継承リスクが強調された。
言語モデル間の認識的多様性が知識の崩壊を緩和する [cs.LG, cs.AI, cs.CY, cs.MA]目的：言語モデルにおける知識崩壊の緩和
- AI技術の発展に伴い，AI自身が学習データ生成に関わる重要性が増している。
- AIが生成したデータでAIを学習させるフィードバックループにより，知識が偏り，多様性が失われる問題がある。
- モデルの多様性を高めることで，知識の崩壊を防ぎ，長期的な性能を維持することを試みる。
- 多様な言語モデル群は，単一のモデル群と比較して，長期的な性能向上が認められた。
- 最適な多様性のレベルは，自己学習の反復回数が増加するにつれて，単調増加する傾向が見られた。
- システム規模の拡大は，均質的な環境下での知識崩壊を加速させ，多様性の利点を増大させる可能性が示唆された。
コルモゴロフ・アーノルド・ネットワークの並列学習手法：分割データセットとFPGA実装 [cs.LG]目的：コルモゴロフ・アーノルド・ネットワークの学習における並列化戦略
- 機械学習分野において，高精度かつ高速な学習アルゴリズムの確立が重要である。
- 従来のニューラルネットワークの学習は逐次処理が基本であり，並列化による高速化が課題であった。
- 本研究は，並列化を促進し，学習時間を短縮するための新たな手法を提案する。
- 本研究では，ニュートン・カッツマルツ法に基づくコルモゴロフ・アーノルド・ネットワークの学習において，並列化を促進する3つの戦略を提案した。
- 分割されたデータセットでの学習や，モデルの統合，FPGA向けのアルゴリズムカスタマイズなどが含まれる。
- 実験結果から，提案手法により学習のスケーラビリティが向上し，既存の多層パーセプトロンと比較して優れた性能が確認された。
文脈が真実をどのように形作るか：LLMにおける文レベルの真実表現の幾何学的変換 [cs.CL, cs.AI]目的：LLMにおける文脈導入時の真実ベクトル変化の測定
- 大規模言語モデルの信頼性向上は，AI応用の根幹をなす重要な課題である。
- LLMが文脈をどのように処理し，真実度を更新しているのかは未解明な点が多い。
- 文脈がLLMの真実ベクトルに及ぼす幾何学的影響を明らかにすることを目指す。
- LLMの初期層では真実ベクトルがほぼ直交し，中間層で収束，終盤層で安定または増大する傾向が確認された。
- 文脈の追加は一般的に真実ベクトルの大きさを増大させ，真と偽の表現の分離を明確にする。
- 大規模モデルは方向の変化，小規模モデルは大きさの違いによって，関連性と無関係な文脈を区別する。
FinVault：実行に基づいた環境における金融エージェントの安全性のベンチマーク [cs.CR, cs.AI]目的：金融エージェントの安全性評価
- 金融分野は規制が厳しく，セキュリティリスクが深刻であるため，エージェントの安全性が不可欠である。
- 既存の安全評価は言語モデルレベルに偏っており，実際の運用ワークフローにおけるリスクを捉えられていない。
- 金融エージェント特有の攻撃に対する脆弱性を明らかにし，より強固な防御策を開発すること。
- FinVaultは，金融エージェント向けの初の実行に基づいたセキュリティベンチマークである。
- 既存の防御メカニズムは現実的な金融エージェント環境では不十分であり，攻撃成功率は最大50.0%に達する。
- 現在の安全設計の転移可能性に限界があり，金融に特化した防御策の必要性が示唆される。
マルチエージェントバンディット問題における手続き的公平性 [cs.MA, cs.AI, cs.GT, cs.LG]目的：マルチエージェントバンディット問題における手続き的公平性の定式化と評価
- 複数エージェントの行動を最適化する分野で，公平性は重要な検討課題である。
- 従来の公平性の指標は結果に偏重し，意思決定プロセスへの参加機会の不平等を見過ごす場合がある。
- 意思決定における発言権の平等という観点から公平性を捉え，新たな公平性指標を提案し評価する。
- 結果の公平性を重視する従来の指標では，発言権の平等が犠牲になることが確認された。
- 手続き的公平性を考慮したポリシーは，結果の公平性指標をわずかに犠牲にすることで，発言権の平等を担保する。
- 公平性の概念は価値観によって異なり，明示的な規範的選択が必要であることが示唆された。
信頼の多様体：言語モデルにおける正しさ表現の幾何学的構造 [cs.CE, cs.RO, cs.CL, cs.LG, cs.AI, cs.CL]目的：言語モデルにおける正しさ表現の幾何学的構造の特性把握
- 言語モデルの信頼性評価は，その応用拡大において不可欠な課題である。
- 言語モデルは誤った情報を流暢に提示するため，出力の不確実性だけでは誤り検出が困難である。
- 残留ストリームに含まれる真偽に関する信号の幾何学的構造を解明し，より正確な誤り検出を可能とする。
- 言語モデル内の正しさ表現は，2〜8次元の空間において線形分離可能なクラス重心として存在することが示された。
- 活性化の操作や概念の消去実験により，5次元以下の因果次元が誤り検出に重要であることが確認された。
- 単一データセットで学習したプローブは性能が低いが，複数データセットで学習すると高い精度が回復する。
異なるアーキテクチャ間でのタスクベクトル輸送：学習不要アプローチ [cs.IR, cs.NI, cs.DC, cs.LG, cs.AI, cs.CV]目的：異なる幅のモデル間におけるタスク更新の輸送
- 大規模事前学習モデルの応用は重要だが，各モデル変種での再学習コストが高い。
- 同アーキテクチャ間でのタスク更新の転移は可能だが，異アーキテクチャ間では未検討である。
- アーキテクチャの違いを考慮した，学習不要なタスク更新の転移手法を確立する。
- Theseusは，タスク更新を中間表現への影響として捉え，異なる幅のモデル間での輸送を可能にする。
- 表現空間を直交プロクルステス分析で整列させることで，安定した閉形式解が得られ，更新の幾何学的構造を維持する。
- 画像認識および言語モデル実験において，追加の学習や逆伝播なしにベースラインを上回る一貫した改善が確認された。
潜在的課題：深層状態空間モデルの学習 [cs.LG]目的：深層状態空間モデルの学習手法
- 時系列データ解析において，動的な変化を捉えることは重要である。
- 既存手法では，モデルが真のダイナミクスを学習している保証がない。
- ダイナミクスをより正確にモデル化する学習フレームワークの確立。
- 制約付き最適化フレームワークは，システム同定と予測精度を大幅に向上させる。
- 拡張カルマンVAE (EKVAE) は，既存モデルを上回り，予測精度で優れた結果を示す。
- EKVAE は動的システムの識別にも成功し，静的特徴と動的特徴を分離した表現を学習する。
Isingソルバーによるニューラルネットワークの厳密かつ漸近的に完全なロバスト性検証 [cs.LG, cs.AI, physics.optics, quant-ph]目的：ニューラルネットワークのロバスト性検証
- 近年，機械学習の安全性確保が重要視されており，特にニューラルネットワークのロバスト性は不可欠である。
- 既存の検証手法では，計算量が膨大になり，大規模ネットワークへの適用が困難であるという課題がある。
- Isingソルバーを活用し，計算効率を向上させ，より大規模なネットワークの検証を可能にすること。
- 区分線形活性化関数を持つネットワークに対し，厳密かつ効率的な検証を可能にするフレームワークを提案した。
- 一般的な有界要素ごとの活性化関数に対しては，漸近的に完全な検証を行うためのモデルを開発した。
- 実験により，区分線形ネットワークでは厳密な検証が可能であり，シグモイドネットワークでも高精度な検証が実現できることを示した。
RMBench：メモリ依存型ロボットマニピュレーションベンチマークとポリシー設計に関する知見 [cs.RO, cs.RO, cs.AI]目的：メモリ依存型ロボットマニピュレーションの評価とポリシー設計に関する知見
- ロボットマニピュレーションは実世界での応用が期待されており，その性能向上は重要である。
- 既存手法はメモリ能力への考慮が不十分で，過去の情報を活用するタスクに課題がある。
- メモリ依存型マニピュレーションの体系的な評価と，アーキテクチャ設計の影響分析を試みる。
- RMBenchという，メモリ複雑度が異なる9つのマニピュレーションタスクを含むベンチマークを提案した。
- Mem-0という，メモリコンポーネントを持つモジュール型のポリシーを開発し，詳細な実験を行った。
- 既存ポリシーのメモリに関する限界を明らかにし，アーキテクチャ設計が性能に与える影響について考察した。
エネルギー駆動型適応的視覚トークンプルーニング：効率的な視覚言語モデルのために [cs.RO, cs.CV, cs.AI]目的：視覚言語モデルにおける効率化のための視覚トークンプルーニング手法
- 視覚言語モデルの発展は目覚ましいが，計算コストが課題となっている。
- 既存手法は固定されたトークン予算を用いるため，画像の情報密度を考慮できていない。
- 画像ごとの情報密度に応じてトークン予算を最適化し，効率と精度を両立すること。
- 提案手法E-AdaPruneは，視覚特徴行列の特異値スペクトルから画像固有のトークン予算を決定する。
- 単純な画像ではトークン数を削減し，複雑な画像ではより多くのトークンを割り当てることで，計算資源を効率的に利用する。
- SQA$^\mathrm{I}$ベンチマークにおいて，トークン数を35.8%削減しつつ，性能劣化を0.52%に抑え，複雑なケースでは性能を1.94%向上させた。
LLMの高次不確実性の表現：不正確確率によるアプローチ [cs.AI]目的：大規模言語モデルにおける高次不確実性の表現と定量化
- LLMの利用拡大に伴い，その出力に対する信頼性評価が重要となる。
- 従来の確率的枠組みでは，LLMの曖昧性への対応が不十分である。
- 不正確確率を用いて，LLMのより高次の不確実性を表現し，定量化する。
- 提案手法は，LLMからより忠実な不確実性情報を引き出し，信頼性を向上させる。
- 曖昧な質問応答，文脈学習，自己反省といった状況下で，既存手法の課題を克服する。
- 提示されたプロンプトと後処理手順により，一次および二次的不確実性を定量化できる。
セマンティック・ジオメトリ保存による視覚言語モデルの継続学習 [cs.CV, cs.LG]目的：視覚言語モデルの継続学習におけるセマンティック・ジオメトリの保存
- 大規模な事前学習済みモデルの活用は，多様なタスクへの応用を可能にする重要な技術である。
- 継続学習において，過去の知識を忘却する「破滅的忘却」が大きな課題となっている。
- 事前学習と過去の段階で獲得した知識を維持しつつ，新しいタスクに適応することを可能にする。
- 本研究では，新しいタスクの学習によって生じるセマンティック・ジオメトリの歪みを抑制する手法を提案した。
- 敵対的アンカーを用いたセマンティック・ジオメトリ保存（SeGP-CL）により，安定性と前方転送性能を向上させた。
- 五つの継続学習ベンチマークにおいて，最先端の性能を達成し，セマンティック・ジオメトリをより良く保存することが示された。
REFINE-DP：強化学習によるヒューマノイドロボットのロコ・マニピュレーションのための拡散ポリシーのファインチューニング [cs.RO, cs.AI, cs.LG]目的：ヒューマノイドロボットのロコ・マニピュレーションにおけるタスク空間のモーションプランニングと安定したロコ・マニピュレーションコマンド追跡
- ヒューマノイドロボットは，人間のような複雑な作業を遂行可能であり，社会への貢献が期待されるため，研究が重要である。
- オフラインで学習したモーションプランナーとロコ・マニピュレーションコントローラーが分離しており，コマンド追跡の精度が低いという課題がある。
- 拡散ポリシーと強化学習を組み合わせ，ロコ・マニピュレーションの成功率向上と分布のずれの軽減を目指す。
- 提案手法REFINE-DPは，シミュレーション環境において90%を超える成功率を達成し，事前学習データに含まれない状況でも高い性能を示した。
- 実世界での実行が可能であり，特別な状態情報なしにロコ・マニピュレーションを実現した。
- 強化学習によるファインチューニングが，信頼性の高いヒューマノイドロボットのロコ・マニピュレーションに不可欠であることが示された。
検証可能な報酬を用いた強化学習におけるノイズデータの破壊的影響 [cs.RO, cs.LG]目的：強化学習におけるノイズデータの破壊的影響の検証
- 大規模言語モデルの能力向上に，検証可能な報酬を用いた強化学習が貢献している。
- ノイズデータに対するロバスト性に関して，先行研究に誤りがある可能性が指摘されている。
- ノイズデータが強化学習に与える影響を正確に評価し，データ品質の重要性を示す。
- 先行研究で使用された100%ノイズデータは，実際にはクリーンデータを含んでおり，その結果が誤っていた。
- 厳密な再検証の結果，ノイズは強化学習において依然として破壊的な影響を与えることが示された。
- 現実世界のText2SQLタスクにおいても，ノイズデータは精度を5-12%低下させることを確認した。
アクター・クリティック最適化フレームワークはアナログ設計を改善できるか [eess.SY, cs.SY, math.OC, cs.RO, cs.LG, cs.SY, eess.SY]目的：アナログ回路のサイズ最適化における性能向上
- アナログ回路設計は，高性能な解を得るために広大な探索空間を効率的に探索する必要がある。
- 従来の最適化手法は，設計者の判断を模倣しておらず，探索効率が低い場合がある。
- アクター・クリティックフレームワークを用いて，探索プロセスをより意図的かつ安定化させる。
- 提案手法ACOFは，既存の最適化手法と比較して，性能評価指標（FoM）を平均38.9%向上させた。
- また，後悔度（regret）を平均24.7%削減し，一部の回路では最大70.5%のFoM向上，42.2%のregret削減を実現した。
- ACOFは，シミュレーションと推論を組み合わせることで，より透明性の高い自動アナログ回路サイズ最適化への道を提供する。
大規模言語モデル述語から論理テンソルネットワークへ：規制された調達における神経記号的提案書検証 [cs.AI]目的：規制された公共機関における提案書の検証
- 公共調達は国民の税金を扱うため，透明性と公正性が不可欠である。
- 既存の提案書検証は，判断根拠が不明瞭で説明責任が困難な場合がある。
- 提案書の検証プロセスにおける透明性と説明可能性の向上を目指す。
- 本研究では，言語モデルと論理テンソルネットワークを組み合わせた神経記号的アプローチを提案する。
- このアプローチにより，事実に基づいた正確性と法的検証可能性を両立した意思決定が可能となる。
- 実データを用いた実験では，既存モデルと同等の性能を示しつつ，解釈性と説明可能性に優れることが確認された。
パーソナライズされたRewardBench：人間のアラインメントに基づくパーソナライズ機能を評価する [cs.CL, cs.LG]目的：報酬モデルのパーソナライズ機能を厳密に評価するためのベンチマーク
- 大規模言語モデルの発展において，多様な人間の価値観を捉える報酬モデルが重要である。
- 一般的な応答品質の評価は存在するが，個々のユーザーの嗜好を考慮した評価が課題である。
- ユーザー固有の基準に基づき，報酬モデルのパーソナライズ能力を評価するベンチマークを構築する。
- 構築したベンチマークでは，応答ペアの選択において，ユーザー固有の基準への厳格な準拠が確認された。
- 既存の最先端の報酬モデルはパーソナライズに苦戦しており，精度はわずか75.94％に留まることが示された。
- 本ベンチマークは，下流タスクにおける報酬モデルの性能と有意な相関関係を持つことが実験的に示された。
高品質な事前学習データの合成方法：プロンプト設計，生成モデル，およびソースデータの体系的研究 [cs.CL, cs.AI, cs.LG]目的：事前学習データの合成における重要な要素の特定
- 大規模言語モデルの性能向上には，大量の学習データが不可欠であるため，データ拡張技術が重要視されている。
- 既存の合成データ生成手法は体系的な比較が少なく，最適なデータ生成方法が不明確である。
- プロンプト設計，生成モデル，ソースデータの影響を分析し，高品質な合成データ生成の指針を示す。
- 構造化された出力形式（表，数学問題，FAQ，チュートリアルなど）は，既存のウェブデータや以前の合成手法よりも一貫して高い性能を示すことが判明した。
- 生成モデルのサイズを10億パラメータ以上に拡大しても，追加の性能向上は見られなかった。
- オリジナルデータの選択が性能に大きく影響することが示され，高品質な合成データセット「FinePhrase」（4860億トークン）が開発された。
多面体の学習に関するタイトな上限 [cs.DS, cs.LG]目的：多面体のPAC学習における誤差とマージンに関するアルゴリズム
- 機械学習の分野において，複雑な形状の学習は重要な課題である。
- 既存手法では，多面体の次元数やマージンの逆数に対して指数的な計算量が必要となる。
- 本研究は，次元数とマージンに関する既存の上限を改善することを目指す。
- 提案アルゴリズムは，既存手法と比較して，計算量において次元数とマージンに対する指数依存性を低減する。
- このアルゴリズムは，暗号理論および統計的クエリの下限との整合性を示す。
- また，本手法は，多面体の境界からの距離に関する制約が緩和された設定にも適用可能である。
S-GRPO：大規模視覚言語モデルの統一的なポストトレーニング [cs.LG, cs.CL, cs.CV]目的：大規模視覚言語モデルの適応に関する研究
- 視覚と言語を理解するAIの開発は，様々な応用を可能にする重要な研究分野である。
- 既存の手法は，汎用性の低下や最適化の停滞といった課題を抱えている。
- 本研究は，これらの課題を克服し，効率的な適応を実現することを目指す。
- 提案手法S-GRPOは，模倣学習と強化学習を統合することで，単独手法の欠点を克服する。
- 特に，探索に失敗した場合に正解データを注入するCGI機構が，学習の加速と安定化に貢献する。
- 実験結果は，S-GRPOが汎用性を維持しつつ，ドメイン適応において優れた性能を発揮することを示した。