arXiv雑要約
AI - 2026/04/28 公開
1ビットの危険信号からエージェントの安全仕様を発見 [cs.AI, cs.CL]目的:大規模言語モデルエージェントによる安全目標の自律的な発見
- AIの進化に伴い,意図しない行動による危険性が増大しており,安全性の確保が重要である。
- 従来の安全対策は,人間が設計したルールに依存しており,未知の危険に対応できない場合がある。
- エージェントが経験を通じて安全な行動を学習し,安全性を自律的に獲得することを可能にする。
- EPO-Safeにより,LLMは貧困な信号のみを用いて,1~2ラウンド(5~15エピソード)で安全な行動を発見した。
- 生成された自然言語の行動仕様は,危険に関する正しい仮説を含み,人間が読解可能であった。
- 報酬のみに基づく反省は安全性を低下させる一方,専用の安全チャネルとの組み合わせが,隠れた制約の発見に不可欠であることが示された。
乗算を用いないスパイクタイミング学習アルゴリズムと,チップ上SNN学習のための効率的なFPGA実装 [cs.CL, cs.NE]目的:チップ上SNN学習のための,乗算を用いないスパイクタイミングベース学習アルゴリズム
- SNNは生物学的インスピレーションに基づき,低消費電力でイベント駆動型の知能を実現する。
- チップ上でのSNNの直接的な教師あり学習は,ハードウェア上の重要な課題となっている。
- 効率的なFPGA実装を可能にする学習アルゴリズムを提案し,その実用性とスケーラビリティを示す。
- 提案手法は浮動小数点演算や勾配の明示的な保存を不要とし,完全なイベント駆動型デジタル学習パイプラインを実現した。
- Xilinx Artix-7 FPGA上での実装により,高速動作と最小限のリソース使用量,そして競争力のある精度を達成した。
- MNISTとFashion-MNISTにおいて,それぞれ96.5%と84.8%の精度でスケーラビリティが検証された。
深層学習におけるクロスエントロピー学習のための層分離最適化フレームワーク [cs.LG, math.OC]目的:深層学習の最適化
- 深層学習は画像認識や自然言語処理など,多くの分野で高い性能を発揮している。
- 深層ネットワークの学習は非凸性が強く,最適化が困難である。
- 層分離により,複雑な最適化問題を扱いやすい部分問題に分解する。
- 本研究では,層分離戦略を導入することで,深層ネットワーク学習における非凸性の問題を緩和することを示した。
- 層分離損失が,元のクロスエントロピー損失の上界となることを理論的に証明した。
- 提案手法は,特に全結合型および畳み込み型ニューラルネットワークにおいて,最適化性能の向上が確認された。
意味ベース通信に対する強度に基づく汚染による多態的バックドア [cs.CR, cs.AI]目的:意味ベース通信システムに対する多態的なバックドア攻撃手法
- 意味ベース通信は,通信効率向上に貢献するが,その安全性確保が重要である。
- 既存のバックドア攻撃は単一の攻撃対象に限定され,多様性や柔軟性に欠ける。
- 多様な攻撃結果を得られる,強度調整可能な多態的バックドア攻撃を提案する。
- 提案手法SemBuggerは,トリガーの強度を動的に調整することで,多様な悪意のある結果を生成する。
- 悪意のある損失を用いた階層的な学習により,入力の強度に応じたターゲット出力を実現する。
- 提案する防御機構は,制御されたノイズ付加により,SemBuggerの攻撃を効果的に抑制する。
痕跡の保護:蒸留攻撃に対する原理に基づいたブラックボックスアプローチ [cs.CR, cs.AI]目的:蒸留攻撃に対する抗蒸留手法
- 最先端モデルの能力は著しいが,その利用は計算コストが高い。
- 推論痕跡を介した蒸留により,モデルの安全性や知的財産が脅かされる。
- 推論痕跡を改ざんし,安全なモデル共有を実現すること。
- 本研究では,抗蒸留をスタケルバーグゲームとして定式化し,理論的基盤を確立した。
- 提案手法TraceGuardは,教師モデルの性能劣化を抑制しつつ,推論に重要な文を効率的に改ざんする。
- これにより,モデルの洞察を安全に共有し,AIの安全性と知的財産の保護に貢献する。
AdaMamba:長期時系列予測のための適応周波数ゲーティングマンバ [cs.AI]目的:長期時系列予測における,複雑な長距離依存性と動的な周期性パターンの把握
- 時系列データ分析は,経済,気象,医療など幅広い分野で重要な役割を果たす。
- 既存の周波数ベースの手法は,異質な周波数特性を持つデータへの適応が困難である。
- AdaMambaは,入力に依存した周波数分析により,多様な時系列データへの適応能力を高める。
- AdaMambaは,マンバのステート空間更新プロセスに,適応的かつ文脈を考慮した周波数分析を組み込む。
- 7つの公開ベンチマークと2つのドメイン固有データセットにおいて,最先端手法を上回る予測精度を達成。
- 計算効率を維持しつつ,学習した周波数領域の重要度に基づいて状態遷移を動的に調整する。
暗号化されたデータに対する機械学習モデルの学習:準同型暗号を用いたプライバシー保護フレームワーク [cs.CR, cs.AI]目的:暗号化されたデータを用いた機械学習モデル学習のプライバシー保護フレームワーク
- データ駆動型意思決定において,機密データの利用は不可欠であり,その保護が重要である。
- 従来の暗号化は処理中のデータ保護が難しく,不正アクセスによる情報漏洩のリスクがある。
- 準同型暗号を利用し,暗号化されたままのデータで学習を行い,プライバシーを保護することを試みる。
- 準同型暗号下で学習したモデルは,平文で学習したモデルと同程度の性能を達成することを示した。
- CKKSを用いた近似実数演算による,プライバシー保護フレームワークの実現可能性を実証した。
- K近傍法や線形回帰モデルの学習,基本的な多層パーセプトロンの暗号化推論の実行可能性を確認した。
AI支援コードレビュー:コード品質と自己調整学習の足場としての経験報告 [cs.RO, cs.SE, cs.AI]目的:AI支援コードレビューの実践を通じたコード品質向上と自己調整学習の促進
- ソフトウェア工学教育においてコードレビューは不可欠だが,大規模な実践は困難である。
- 学生の経験不足や時間制約から,十分な質と量のピアレビューが難しい場合がある。
- AIを活用し,効果的かつ効率的なコードレビュー環境を構築することで課題解決を目指す。
- 2024年度の学生は,プルリクエストの反復回数が大幅に増加し,改善が見られた。
- 2023年度に発生したAIレビューの失敗は,ツールの改良と指導によって完全に解消された。
- AIレビューを受けたプルリクエストの約3割で,追加のコミットが行われ,継続的な改善が確認された。
ヘルスケアシミュレーションにおける対話コーディングのためのスケーラブルなLLM活用:コーディング性能,処理時間,環境負荷のバランス [eess.SY, cs.SY, cs.HC, cs.AI, cs.CY]目的:ヘルスケアシミュレーションにおけるチーム対話のコーディング性能,処理時間,環境負荷のバランス最適化
- チーム学習において対話は重要な役割を果たすため,その分析は学習理論の発展と協調学習環境のデザインに不可欠である。
- 従来の対話分析は労力に依存しており,リアルタイムなフィードバックや大規模なデータセットへの適用が困難であった。
- LLMを活用することで,対話分析の自動化と効率化を図り,迅速かつ持続可能な学習分析を実現することを目指す。
- プロンプト設計とバッチ処理戦略の最適化により,コーディング精度,処理時間,エネルギー消費のバランスを取ることが可能となった。
- バッチサイズを増やすことで処理速度とエネルギー消費が改善される一方,コーディング精度が低下するトレードオフが示された。
- LLMを用いた定性的分析の実現可能性が示され,タイムリーでプライバシーに配慮し,持続可能性の高い学習分析への応用が期待される。
記号回帰におけるアーキテクチャ選択の重要性 [cs.NE, cs.AI, cs.LG, cs.SC]目的:記号回帰におけるアーキテクチャ選択が,探索結果に及ぼす影響
- データから数式を発見する記号回帰は,科学的発見やモデル解釈に貢献しうる。
- 記号回帰の性能は,探索空間の構造に大きく依存するが,適切な構造選択の指針は不足している。
- アーキテクチャ選択が探索結果に与える影響を定量的に評価し,性能向上への示唆を得る。
- アーキテクチャの選択によって,同じターゲットでも解ける場合と解けない場合があることが確認された。
- 表現力の高いアーキテクチャが必ずしも最適な結果をもたらすとは限らず,探索地形が重要であることが示された。
- バランスの取れた樹形構造は,勾配降下法によって回復されない傾向がみられた。
ソフトウェア工学における知識レバーリスク管理:知識喪失を軽減するための確率的フレームワーク [cs.SE, cs.AI]目的:ソフトウェア工学における知識喪失リスク軽減のためのフレームワーク
- ソフトウェア開発は知識集約型であり,暗黙知の損失はプロジェクト成功に不可欠な要素である。
- 従来のスケジュールや予算重視のリスク管理では,プロジェクト成功を左右する知識リスクへの対応が不十分である。
- 知識をリスク軽減の手段として捉え,知識喪失による悪影響を定量的に評価・抑制すること。
- 提案する知識レバーリスク管理(KLRM)フレームワークは,知識を能動的なリスク軽減メカニズムとして再定義する。
- モンテカルロシミュレーションの結果,知識レバーの完全な活用は期待される知識資本を63.8%増加させ,知識危機発生確率をほぼゼロにする。
- 知識レバーの活用は,プロジェクト管理の鉄の三角形(スコープ,時間,コスト)における整合性を向上させ,手戻りや再発見コストを削減する。
小規模言語モデルはLLMプロンプトの意味的曖昧性解消に役立つ [cs.CL, cs.AI]目的:LLMプロンプトにおける意味的曖昧性の解消
- LLMは高度な推論能力を持つが,その性能は入力プロンプトに大きく依存する。
- 自然なプロンプトは構文規則に従わないことが多く,複数の解釈を生む曖昧なクエリとなる。
- プロンプトの曖昧性を解消し,より的確な推論を可能にすること。
- 本研究では,プロンプト内の意味的リスクを特定し,多角的な整合性を検証することで曖昧性を解消する。
- 解消された曖昧性を論理的に構造化し,LLMへのクリーンな入力を提供する。
- 実験結果から,本手法は推論性能を2.5ポイント向上させ,コストはわずか0.02ドルであることが示された。
大規模言語モデルにおけるファインチューニングと文脈学習:形式言語学習の視点 [cs.DC, cs.CL, cs.LG]目的:大規模言語モデルの言語能力と帰納的バイアスの比較
- 言語モデルの性能向上は,自然言語処理の基盤であり,様々な応用を可能にする重要な課題である。
- ファインチューニングと文脈学習のどちらが優れているかについて,先行研究では一貫した結論が得られていない。
- 形式言語学習という厳密な評価枠組みを用いて,大規模言語モデルの学習モードを比較・分析する。
- 分布内汎化においてはファインチューニングの方が文脈学習よりも高い言語能力を示すが,分布外汎化においては同等の性能を示す。
- 学習初期段階では両者の帰納的バイアスは類似しているが,言語能力が高まるにつれて乖離する。
- 文脈学習の性能はモデルの規模や系列トークン辞彙に大きく左右されるのに対し,ファインチューニングはその影響を受けにくい。
CAP-CoT:LLM推論における思考連鎖を改善するためのサイクル敵対的プロンプト [cs.AI]目的:LLMの思考連鎖推論の精度と安定性の向上
- 大規模言語モデルの推論能力向上は,様々なタスクの自動化を可能にするため重要である。
- 思考連鎖プロンプトは不安定で,同じタスクでも実行ごとに結果が変動しやすいという課題がある。
- 敵対的プロンプトによる反復的な修正と改善を通じて,推論の安定性と正確性を高めることを目指す。
- CAP-CoTは,敵対的プロンプト最適化フレームワークを通じて,思考連鎖の精度と安定性を向上させる。
- 複数のベンチマークとLLMにおいて,実行間の変動を低減し,推論の正確性とロバスト性を改善した。
- 2〜3回の最適化サイクルで効果が確認され,敵対的プロンプトが論理的脆弱性を露呈させる。
軽量かつ実用的なPDFビジュアル要素の解析 [cs.CV, cs.AI, cs.CL]目的:PDF文書におけるビジュアル要素の正確な抽出
- PDFは図表やフォームなど重要な視覚情報を含み,文書理解やRAGに不可欠である。
- 既存のPDF解析ツールでは複雑な視覚情報を認識できず,不要な要素や断片化が発生しやすい。
- 正確な要素抽出とキャプションの関連付けにより,RAGの性能向上を目指す。
- 提案手法は,一般的なベンチマークデータセットと社内データで96%以上の要素検出精度を達成した。
- キャプションの関連付け精度は93%に達し,最先端の解析ツールや大規模モデルを凌駕した。
- RAGの前処理として活用することで,遅延を2倍以上削減し,性能を大幅に向上させた。
類似性から構造へ:ハイブリッドグラフ事前知識による学習不要のLLMコンテキスト圧縮 [cs.CL, cs.AI]目的:長文コンテキストの効率的な圧縮手法
- 大規模言語モデルの長文処理コストが高く,性能が低下するため,コンテキスト圧縮が重要である。
- 既存手法は,学習済みの圧縮器や選択,または単純なトリミングに頼り,関連性,網羅性,文間の coherence を両立できない。
- 構造的グラフ事前知識を用いて,学習不要でモデルに依存しない圧縮フレームワークを開発し,上記課題を解決する。
- 提案手法は,文間の意味的類似性と順序関係を組み合わせた疎なグラフを構築し,タスク関連性,クラスタ代表性,ブリッジ中心性などを評価指標として用いる。
- 予算制約下での貪欲な選択により,元の順序を維持した可読性の高い圧縮コンテキストを生成する。
- 4つのデータセットにおける実験で,既存の抽出型および抽象型ベースラインと同等以上の性能を示し,特に長文ドキュメントで大きな改善が見られた。
アクティブ推論:AIシステムの能動性を表現する方法論? [cs.AI]目的:AIシステムの能動性表現
- AI技術の発展は目覚ましいが,能動性の概念的理解は追いついていない。
- 従来の定義は自律性や目的指向性に偏っており,精緻な評価が困難である。
- 能動性の評価基準を提示し,その指標を操作することで能動性の段階を識別する。
- 意図性,合理性,説明可能性という基準に基づき,能動性の概念を形式化した。
- T迷路実験を通して,エンパワーメントが能動性の段階を区別する指標となることを示した。
- AIエージェントが曖昧性を解消する過程で,制御方法が外部制約から内部優先順位の調整へと変化することを示唆した。
AIアイデンティティ:AIエージェントの標準,ギャップ,研究の方向性 [cs.AI, cs.CR]目的:AIエージェントのアイデンティティ確立に関する課題と解決策
- AIの利用拡大に伴い,組織横断的な自動処理が増加している
- AIエージェントの特定,検証,説明責任の体制が確立されていない
- AIエージェントのアイデンティティライフサイクル全体における課題解決を目指す
- AIアイデンティティは,AIエージェントの宣言と行動の一致度として定義された。
- 人間とAIのアイデンティティを比較分析した結果,根本的な非対称性が確認された。
- 既存の技術や規制では,非決定的なAIエージェントのガバナンスに対応できないことが示された。
少ないラベルデータを用いたマルチモーダル人体活動認識のためのコントラスト学習 [cs.LG, cs.CV]目的:少ないラベルデータ下での有効なマルチモーダル認識
- 人体活動認識は,様々な応用分野の基盤技術であり,その重要性が高まっている。
- マルチモーダルセンシングでは,モダリティ間のデータ異質性やラベル不足が課題となっている。
- 実世界での応用を可能にするため,ラベルが少ない状況での認識精度向上を目指す。
- 提案手法CLMMは,CNN-DiffTransformerエンコーダを用いて,モダリティ間の共通情報を効果的に捉える。
- ハードポジティブサンプル重み付けアルゴリズムにより,共有学習を強化し,勾配伝播を促進する。
- 公開データセットを用いた実験により,最先端手法と比較して認識精度と収束性能が大幅に向上することが示された。
設計による修正可能性:ストリーミングLLMエージェント実行の理論 [cs.LG]目的:ストリーミングLLMエージェント実行の理論的枠組み
- LLMエージェントは多様なタスクに対応可能だが,対話的な修正が困難であった。
- 従来のLLMエージェントは,実行をトランザクションとして扱うため,中断や再実行にコストがかかる。
- 実行と介入を並行させ,修正コストを削減する理論とアルゴリズムを提案する。
- エージェントのアクションを冪等性,可逆性,補償可能性,不可逆性で分類するフレームワークを提示した。
- アクション空間の性質により,修正コストの上限が存在することを示した。
- Revision Absorberアルゴリズムが,既存の修正手法と比較して大幅な効率向上を達成することを確認した。
Au-M-ol:医療音声と自然言語理解のための統一モデル [cs.CL, cs.AI]目的:医療音声と自然言語理解の性能向上
- 医療現場では,音声データの活用が重要性を増している。
- 既存の音声認識システムは,医療用語や環境ノイズに弱いという課題がある。
- 音声情報を直接解釈し,より正確でロバストな医療言語理解を目指す。
- Au-M-olは,既存の最先端技術と比較して,医療音声認識タスクにおけるWERを56%削減した。
- 本モデルは,ノイズ環境,専門用語,話者変化などの困難な状況下でも高い性能を発揮する。
- これらの結果は,Au-M-olが実用的な臨床応用における強力な候補であることを示唆する。
深層ニューラルネットワークにおけるエラーパターンの予測に向けて [cs.NI, cs.CV, cs.AI, cs.LG, cs.MM]目的:深層ニューラルネットワークのエラー予測
- 深層学習はマルチメディア計算において不可欠な要素となっている。
- 深層学習システムの誤り予測は,誤り率の低減に比べて研究が少ない。
- 深層学習システムの失敗予測という未開拓な問題への対処を目指す。
- 提案手法MetaErrは,基盤モデルの性能を観察することで,入力データに対する正誤を予測する。
- MetaErrは,基盤モデルのアーキテクチャや学習パラメータに依存しない。
- 半教師あり学習における性能向上と,ベンチマークデータセットでの優位性が確認された。
現実世界のクラウドソーシングによるテキスト注釈を用いたアクティブラーニングアルゴリズムの分析 [cs.LG, cs.AI, cs.NI]目的:アクティブラーニングアルゴリズムの性能評価
- 機械学習モデルの性能向上には,大量のラベル付きデータが不可欠であり,その効率的な獲得が重要である。
- 現実世界では,ラベル付け作業に誤りや拒否が生じることがあり,従来の前提条件では対応が困難である。
- 現実世界のクラウドソーシングデータを活用し,アクティブラーニングアルゴリズムの課題と改善点を探る。
- クラウドソーシングで収集したテキスト注釈を用いて,8種類の一般的なアクティブラーニング手法を評価した。
- アノテーターによる誤りや拒否が,アクティブラーニングの性能に与える影響を明らかにした。
- 深層アクティブラーニングシステムの実用化に向けた知見を提供し,データセットを公開した。
Hindi語におけるリアルワールド会話を用いた双方向会話モデリングフレームワーク Human-1 [cs.CL, cs.AI]目的:Hindi語における双方向会話システムの開発
- 言語間のコミュニケーションの円滑化は,グローバル化社会において重要である。
- Indian languagesにおける双方向対話システムの探求は遅れている。
- Hindi語の自然な会話パターンを学習可能なシステムの構築を目指す。
- 本研究では,リアルワールドの会話データを用いて,Hindi語における初の双方向会話システムを構築した。
- 既存のアーキテクチャを改変し,大規模な事前学習とファインチューニングを行うことで,自然な会話生成を実現した。
- 自動評価と人間による評価の結果,提示された対話継続パラダイムにおいて有意義な結果が得られた。
大規模言語モデルにおけるアスペクト感情四重予測のための段階的構文統合チューニング [cs.CL, cs.AI]目的:アスペクト感情四重予測における性能向上
- 感情分析は,顧客の意見を理解し,製品やサービスの改善に繋げる上で重要である。
- 大規模言語モデルは意味理解に優れるが,構文構造の活用が不十分である。
- 構文構造を段階的に統合することで,大規模言語モデルの性能を向上させる。
- 提案手法S^2ITは,構文情報を段階的に統合するチューニングフレームワークである。
- S^2ITは,グローバルな構文ガイド抽出とローカルな構文ガイド分類の2段階で四重生成タスクを分解する。
- 実験の結果,S^2ITは複数のデータセットにおいて最先端の性能を大幅に向上させた。
CombiMOTS:二重標的分子生成のための組み合わせ多目的木探索 [cs.LG, cs.AI]目的:二重標的分子生成のための新しいフレームワーク
- 創薬において,複数の標的に同時に作用する分子の探索は,治療効果向上や耐性問題解決に不可欠である。
- 既存手法では,最適化の単純化や合成可能性の考慮不足により,有望な分子の発見が制限されている。
- CombiMOTSは,標的親和性と分子特性のバランスを取りながら,合成可能な分子を効率的に探索する。
- CombiMOTSは,Pareto Monte Carlo Tree Search(PMCTS)フレームワークを用いて,二重標的分子を生成する。
- 実世界データベースを用いた実験により,高いドッキングスコア,多様性,およびバランスの取れた薬理特性を持つ新規分子が生成された。
- CombiMOTSは,二重標的薬物発見のための強力なツールとしての可能性を示している。
オフポリシー拡散による協調:マルチエージェントオフライン強化学習 [cs.LG, stat.ML]目的:マルチエージェントオフライン強化学習における協調メカニズム
- エージェント間の協調は複雑な環境で高性能な行動を達成する上で不可欠である。
- オフライン強化学習では,静的なデータからの学習となり,エージェントの行動変化に伴う協調が困難である。
- 現在の協調ポリシーの変化を反映したデータ拡張により,協調学習を促進し,オフライン環境での協調行動を可能にする。
- CODAは,現在の協調ポリシーに基づいて軌跡を生成する拡散ベースのデータ拡張手法である。
- 既存の拡散ベースの拡張手法では,学習中のポリシーの変化に対応できない静的なデータセットが生成されるという問題があった。
- CODAは,連続多項式ゲームやMaMuJoCoベンチマークにおいて,協調の課題を解決し,良好な結果を示した。
リモートセンシング画像変化キャプション生成のためのセマンティックアンカリング制約と二重粒度曖昧性解消 [cs.CV, cs.LG]目的:リモートセンシング画像変化の記述
- 地球観測技術の発展により,変化検出の重要性が増している。
- 既存手法は,視点,スケール,事前知識の曖昧性を十分に扱えていない。
- 曖昧性解消による,より正確な変化キャプション生成を目指す。
- 提案手法STANDは,セマンティックアンカリング制約と二重粒度曖昧性解消により,変化キャプション生成の精度を向上させた。
- 時間的特徴表現の正則化により,信頼性の高い特徴基盤を確立した。
- 大局的文脈集約と周波数焦点型注意機構により,空間的曖昧性を解消した。
GIFT:内在的微調整によるグローバル安定化 [cs.NI, cs.LG, cs.AI]目的:深層強化学習ポリシーのグローバル安定性
- 複雑な制御環境において深層強化学習は高性能だが,現実世界への応用には安定性の保証が必要である。
- 初期条件のわずかな変化が長期的な挙動に大きく影響する感度性の高さが問題である。
- 既存の高性能な深層強化学習ポリシーのグローバル安定性を直接最適化すること。
- GIFTは,既存の深層強化学習ポリシーの制御インタラクションの安定性を向上させる。
- タスクパフォーマンスを同程度に維持しながら,安定性を改善することで,現実世界の制御システムへの適用可能性を高める。
隠れ状態は推論のずれ箇所を知る:スパングループ・ワッサースタイン距離による貢献度配分 [cs.CL, cs.LG]目的:強化学習における貢献度配分手法の改善
- 強化学習は,複雑なタスクを自動的に学習する強力な手法であり,その性能向上は重要である。
- 強化学習における報酬の貢献度配分は困難であり,特に大規模なモデルでは効率的な方法が求められている。
- 隠れ状態の分布を用いて,推論のずれ箇所を特定し,よりきめ細やかな貢献度配分を実現する。
- 隠れ状態分布のワッサースタイン距離は,正しいロールアウトと誤ったロールアウトの間で,推論のずれ箇所付近で増加する。
- この知見に基づき,SHEARという新たな手法を提案し,スパングループのワッサースタイン距離を用いてトークンレベルの優位性を調整する。
- 実験の結果,SHEARは標準的なGRPOや教師ありプロセス報酬モデルと比較して,数学的推論とコード生成のベンチマークで改善が見られた。
レイヤー埋め込み深層融合グラフニューラルネットワーク [cs.LG, cs.AI]目的:グラフ構造データからの表現学習における性能向上
- グラフ構造データは現実世界の複雑な関係性を表現でき,様々な応用分野で重要性が増している。
- 従来のGNNは,ラベルの一貫性を仮定するため,異種性(low-homophily)の強いグラフでは性能が低下する。
- 深層構造における過剰平滑化と異種性による誤集計問題を解決し,グラフの多様な構造に対応すること。
- 提案手法LEDF-GNNは,多層埋め込みを非線形に融合することで,層間依存性を捉え,深層伝播の劣化を緩和する。
- 二重トポロジー並列戦略(DTPS)により,構造と意味の協調的最適化を実現し,多様なホモフィリー条件下での適応性を高める。
- 引用・画像ベンチマークでの半教師あり分類実験により,LEDF-GNNが様々なグラフタイプで最先端手法を上回ることが示された。
EAD-Net:空間的洗練と時間的整合性を備えた感情認識型トークングヘッド生成 [cs.CV, cs.AI, eess.IV]目的:感情認識型トークングヘッド動画の生成
- 人間との自然なコミュニケーションを実現するため,表情豊かな動画生成が重要である。
- 既存手法では,感情表現が不十分であったり,口パクの正確性が損なわれたりする。
- 口パク精度と感情表現のバランスを取り,時間的な一貫性を向上させる。
- 提案手法EAD-Netは,SyncNetとTREPAにより,マルチモーダル融合による口パクのずれを抑制する。
- STDAメカニズムにより,長尺動画における複雑な時空間的依存関係を捉え,時間的一貫性を改善する。
- HDTFおよびMEADデータセットでの実験により,既存手法を上回る口パク精度,時間的一貫性,感情精度を達成した。
LLM推論における信頼度マージンのプロセス監視 [cs.LG, cs.CL]目的:LLMの推論における信頼度の校正
- LLMの推論能力向上は重要であり,その評価と制御が求められている。
- 従来の強化学習は,結果のみに基づいた報酬により,過信を招きやすい。
- 推論過程における信頼度マージンを広げることで,より正確な校正を目指す。
- 提案手法RLCMは,数学,コード,論理,科学のベンチマークにおいて,精度を維持・向上させつつ,信頼度の校正を大幅に改善した。
- 校正された信頼度信号により,より効率的な共形リスク制御と信頼度加重集約が可能になった。
- 中間予算完了時におけるマージン強化されたプロセス報酬を通じて,正解性と信頼性の両方を最適化する。
効率的な根拠に基づく検索:JEPAに基づく生成型再ランク付けからのオンポリシー蒸留 [cs.IR, cs.CL, cs.LG]目的:根拠に基づく検索のための効率的な手法
- 根拠に基づく検索は,従来の事実に基づく検索とは異なり,高度な理解が求められる。
- 従来の根拠に基づく検索は,大規模言語モデルを用いたクエリ・ドキュメントペアのクロスエンコーディングが必要で,計算コストが高い。
- 本研究は,計算コストを抑えつつ,クロスエンコーディングと同等の性能を実現する手法を開発する。
- Rabtrieverは,クエリとドキュメントを独立にエンコードすることで,計算量を線形に削減した。
- 実験の結果,Rabtrieverは,共感的な会話やロボット操作といった多様な根拠に基づくタスクにおいて,既存の検索手法を上回る性能を示した。
- また,MS MARCOやBEIRといった従来の検索ベンチマークにおいても,良好な汎化性能と競争力のある結果が得られた。
ステートレスなクエリから自律的なアクションへ:エージェント型AIシステムのための階層型セキュリティフレームワーク [cs.CR, cs.LG]目的:エージェント型AIシステムのセキュリティ確保
- AI技術の発展に伴い,特に自律行動が可能なエージェント型AIのセキュリティが重要になっている。
- 既存のセキュリティ分析は攻撃タイプに焦点を当てており,脆弱性のあるアーキテクチャ要素や攻撃の時系列を考慮していない。
- 階層型攻撃表面モデルと攻撃の時系列分類により,新たな脅威を特定し,防御策を提案すること。
- 本研究では,7層の階層型攻撃表面モデル(LASM)を提案し,脅威をアーキテクチャ要素と時系列に分類した。
- 2021年から2025年の94論文のレビューから,最も危険な脅威は高層の攻撃と長期的な時系列に集中していることが示された。
- 既存の防御策では対処できない脅威クラスを明らかにし,分散システム問題としてのセキュリティ対策の必要性を主張した。
スマートグリッド運用におけるLLMの脱獄脆弱性評価:NERC基準に対するベンチマーク [cs.CR, cs.AI]目的:LLMをアシスタントとして展開した場合の脱獄脆弱性
- 電力系統の効率化が求められる中,LLM活用への期待が高まっている。
- LLMはプロンプト操作による攻撃に弱く,規制違反の可能性を孕んでいる。
- LLMの安全性評価を通じて,電力系統運用におけるリスク軽減を目指す。
- GPT-4o mini,Gemini 2.0 Flash-Lite,Claude 3.5 Haikuの3つのLLMを評価した結果,全体の攻撃成功率は33.1%であった。
- 特にDeepInceptionは高い攻撃成功率(63.17%)を示したが,Claude 3.5 Haikuは完全に耐性を示した。
- BaselineやBitBypass攻撃においても,悪意のある表現を微調整することで攻撃成功率が向上することを確認した。
EmoTrans:マルチモーダルLLMにおける感情推移の理解,推論,予測に関するベンチマーク [cs.CL, cs.HC, cs.CL, cs.CV, cs.AI]目的:マルチモーダル動画における感情のダイナミクス理解の評価
- 社会ロボットや人間コンピュータインタラクション等の応用において,人間の感情理解は不可欠である。
- 既存のベンチマークは感情理解を静的な認識問題として捉えており,感情の動的な変化を評価できていない。
- 感情が時間的,状況的に変化する過程を理解し,予測する能力を評価することを目指す。
- EmoTransは,1000件の動画クリップと3000以上の質問応答ペアから構成される感情ダイナミクス理解のベンチマークである。
- 最新のMLLM18モデルを評価した結果,粗粒度の感情変化検出はある程度可能だが,詳細な感情のダイナミクスモデリングは困難であることが示された。
- 特に複数人物が登場する複雑な状況下での理解が難しく,推論能力の向上は必ずしも性能向上に繋がらないことがわかった。
GeoFunFlow-3D:複雑形状における高精度3D空力推論のための物理学に基づく生成フローマッチングフレームワーク [math.NA, cs.LG, cs.NA]目的:高精度な3D空力推論のための物理学に基づく生成フローマッチングフレームワーク
- 航空宇宙工学や流体シミュレーションにおいて,高精度な空力特性予測は不可欠である。
- 深層生成モデルは物理的整合性や高周波特徴の保持が難しく,勾配の問題も存在する。
- 複雑形状における高精度な3D空力場を生成する信頼性の高い手法を開発すること。
- 提案手法GeoFunFlow-3Dは,最適輸送理論と高次の離散エンジンにより,安定した学習と勾配の硬直性軽減を実現した。
- また,SATOモジュールにより,衝撃波などの局所的な領域で物理法則を厳密に適用することを可能にした。
- BlendedNetデータセットとNASA Rotor37テストで良好な結果が得られ,圧力場誤差(RRMSE)を0.0215に低減した。
思考の連鎖が失敗した場合,解決策は隠れた状態に存在する [cs.CL, cs.AI, cs.LG]目的:大規模言語モデルにおける思考の連鎖(CoT)のメカニズム解明
- 複雑な問題を解決する上で,言語モデルの推論能力向上は重要である。
- 思考の連鎖は有効だが,その過程で誤りが生じやすく,改善の余地がある。
- 思考の連鎖における問題解決情報を特定し,推論の失敗原因を究明する。
- 思考の連鎖生成時の隠れ状態を別のモデルに適用することで,正答率が大幅に向上した。
- 正答率の高い思考の連鎖では,問題解決に役立つ情報が,特に中間層から後半層に多く含まれていた。
- 動詞や実体といった言語トークンが推論を導き,完全な思考の連鎖は必ずしも必要ではないことが示唆された。
LEGO:LLMスキルベースのフロントエンド設計生成プラットフォーム [cs.AI]目的:フロントエンド設計生成のための統一的なスキルベースプラットフォーム
- EDA(電子設計自動化)は,複雑化する半導体設計を効率化する上で不可欠である。
- 既存のLLMベースのEDAエージェントは,特定のタスクに特化し,再利用性が低いという課題がある。
- LLMの能力をモジュール化し,再利用可能なスキルライブラリを構築することで,設計効率を向上させる。
- LEGOは,フロントエンド設計フローを6つの独立したステップに分解し,各エージェントの機能を標準化された回路スキルとして表現する。
- LEGO内で構築された個々の回路スキルは,Pass@1を0.000から0.805に向上させ,80.5%の改善を実現した。
- プロジェクトを跨いだスキル合成もPass@1 0.805を達成し,既存のVerilog設計ツールを上回る性能を示した。
Pythonコードにおけるバグ検出のためのローカルLLMの経験的評価 [cs.CL, cs.HC, cs.RO, cs.SE, cs.AI, cs.LG]目的:Pythonコードのバグ検出におけるローカルLLMの性能評価
- ソフトウェア開発において,バグの早期発見は品質向上とコスト削減に不可欠である。
- クラウドベースのLLMはプライバシーやリソース制約の面で課題があり,実用性が制限される場合がある。
- ローカルLLMが実用的なバグ検出に貢献できるか検証し,その限界を明らかにする。
- ローカル実行モデル(LLaMA 3.2,Mistral)は,BugsInPyベンチマークにおいて43〜45%の精度を示した。
- 完全に正しい修正箇所を特定することは困難だが,問題のあるコード領域を特定する部分的に正しい応答を多く生成した。
- 性能はプロジェクト間で大きく異なり,コードベースの特性が重要な影響を与えることが示唆された。
UniAda:エンドツーエンド自動運転システムに対する汎用適応型多目的敵対的攻撃 [cs.SE, cs.LG]目的:エンドツーエンド自動運転システムに対する敵対的攻撃手法
- 深層学習の安全性確保は不可欠であり,信頼性評価手法が求められている。
- 既存手法は操舵角に偏重し,速度制御や微小な摂動への対策が不十分である。
- 操舵と速度の両方を同時に制御可能な敵対的摂動を生成し,システムの脆弱性を評価する。
- UniAdaは,既存の攻撃手法5つと比較して,操舵角のずれを平均3.54度から29度,速度のずれを平均11km/hから22km/hまで引き起こすことが示された。
- 適応型重み付けスキームにより,複数の目的を同時に最適化することで,攻撃性能が向上する。
- シミュレーションと実車データ両方で有効性が確認され,UniAdaが現代の深層学習ベースの自動運転システムに対する実証的な攻撃手法であることが示された。
GSAR:マルチエージェントLLMにおけるハルシネーション検出・回復のための型付きグラウンディング [cs.AI, cs.MA]目的:マルチエージェントLLMにおけるハルシネーションの検出と回復
- LLMの自律的な問題解決能力が向上する中で,その信頼性が重要視されている
- 既存のグラウンディング評価は,証拠の質を考慮せず,単一の指標しか提供しない
- GSARは,証拠のタイプを考慮し,回復戦略を組み合わせることで,より信頼性の高いLLMを実現する
- GSARは,主張を4つのタイプに分類し,証拠のタイプに応じた重みを付与することで,精度の高いグラウンディング評価を実現した。
- 実験の結果,GSARは既存の手法と比較して,一貫して高い性能を示し,統計的に有意な改善が確認された。
- GSARは,計算予算を考慮した回復戦略によって,効率的なハルシネーションの抑制に貢献する。
横断的データからの時間的疾患進行に対するTransformer [cs.LG]目的:横断的データからのバイオマーカー進行推論
- 疾患進行の理解は,早期発見や治療法の開発に不可欠である。
- 既存モデルは,順序データに限定され,厳密な仮定に依存する。
- 順序と連続両方のイベント系列を学習し,疾患進行を正確に推論する。
- 合成ベンチマークにおいて,最先端のSA-EBMと比較して,KendallのTau距離を52.89%削減,ステージングMAEを25.33%削減した。
- 高次元設定では,さらに改善が見られ,それぞれ58.88%と61.10%の削減を達成した。
- ADNIへの適用により,生物学的に妥当なアルツハイマー病の進行パターン(内側側頭葉萎縮,アミロイド蓄積,認知機能低下,タウ病理)を再現した。
文脈が定着するとき:文脈内学習における干渉の研究 [cs.LG]目的:文脈内学習における干渉現象の検証
- 大規模言語モデルの性能向上には,少ないサンプルでの適応能力が重要である。
- 文脈内学習において,過去の例が後のタスクへの適応を妨げる干渉が問題となる。
- プロンプト内の文脈が予測に与える影響を定量的に評価し,回復メカニズムを解明する。
- 先行する線形関数の例が多いほど,2次関数の予測精度が低下する傾向が確認された。
- 追加の2次関数例は誤りを減少させるものの,その効果は逓減する。
- 系列学習が最も迅速な回復を示し,ランダム学習は最も脆弱であることが示された。
ニューロシンボリック学習における推論の近道に対する制約に基づく分析 [cs.AI]目的:ニューロシンボリック学習における推論の近道の分析
- AI分野において,推論能力と知識表現を組み合わせたシステム構築が重要視されている。
- ニューロシンボリック学習では,論理的制約を満たすだけで概念とラベルの対応が不適切になる近道問題が存在する。
- 制約が概念マッピングを一意に決定するかどうかを検証し,近道問題を解決することを目指す。
- 推論の近道は制約充足問題として定式化され,概念マッピングが一意に決定される条件が調査された。
- 双射マッピング下では,識別特性が近道回避に必要だが,制約グラフが連結である場合でも十分ではないことが示された。
- 制約セットが意図された概念マッピングを一意に決定するかどうかを検証するASPベースのアルゴリズムが開発され,健全性と完全性が証明された。
V-GRPO:ノイズ除去生成モデルのオンライン強化学習は,あなたが考えるよりも容易である [cs.LG, cs.CV]目的:ノイズ除去生成モデルと人間の選好または検証可能な報酬との整合
- 生成モデルの性能向上は,画像生成や自然言語処理など,様々な応用分野において重要である。
- 生成モデルの報酬最適化は,尤度の計算が困難であり,効率的な学習が課題となっていた。
- 拡散モデルのELBOを用いた報酬最適化を安定化・効率化し,MDPベースの手法を上回る性能を実現する。
- 提案手法V-GRPOは,ELBOベースの代理報酬とGRPOアルゴリズムを統合することで,学習の安定性と効率を向上させる。
- V-GRPOは,実装が容易であり,事前学習の目的に合致し,MDPベースの手法の限界を克服する。
- テキストから画像への合成において最先端の性能を達成し,MixGRPOやDiffusionNFTと比較して,それぞれ2倍および3倍の速度向上を実現した。
多ラベル構造的心疾患スクリーニングのためのECG基盤モデルのドメイン適応型ファインチューニング [cs.LG]目的:構造的心疾患の多ラベル検出
- 構造的心疾患の早期発見は重要であり,心エコー検査が標準だが,コストや専門家の不足が課題である。
- 心電図(ECG)を用いたスクリーニングは普及しているが,精度向上が求められている。
- ECG基盤モデルをドメイン適応させることで,より高精度なスクリーニングを実現する。
- ドメイン適応型ECG基盤モデルは,マクロAUROC 0.8509,マクロAUPRC 0.4297という最高の性能を達成した。
- パラメータ効率の良い調整により,AUROC(0.8501)を維持しつつ,マクロF1スコア0.3691を達成した。
- 心電図と共変量の後期融合は識別能を向上させず,他の戦略も単一のバックボーンモデルを超えることはなかった。
連合学習におけるクライアント間の意見の相違に関する分類と解決戦略 [cs.DC, cs.AI, cs.LG]目的:クライアントレベルの意見の相違の分類と解決
- 現実世界の多者間環境におけるデータ利用の重要性が高まっており,プライバシー保護技術が求められている。
- 連合学習ではクライアント間の協調が前提だが,戦略,規制,競争上の理由により協調が難しい場合がある。
- クライアント間の意見の相違を解決し,連合学習の実用性を向上させる。
- 本研究では,クライアント間の意見の相違を分類し,隔離されたモデル更新パスを構築する解決戦略を提案した。
- シミュレーション実験により,提案手法が永続的,一時的,重複する意見の相違パターンを正しく処理できることを確認した。
- サーバー側の解決アルゴリズムのオーバーヘッドはごくわずかであり,サブモデル再利用戦略によりクライアント側の負荷を軽減できることが示された。
継続的生成検索のためのパラメトリックメモリヘッド [cs.IR, cs.AI, cs.CL, cs.LG]目的:継続的な生成検索における文書検索性能の維持と向上
- 情報検索の分野において,大量の文書を効率的に検索することは重要な課題である。
- 従来の生成検索モデルは,動的な文書コレクションへの適応が難しく,忘却の問題が生じやすい。
- 本研究は,新しい文書への適応と過去の知識の維持を両立する手法を提案し,その問題を解決する。
- 提案手法であるPAMTは,バックボーンネットワークを固定し,パラメトリックメモリヘッド(PMH)を追加することで,文書検索の安定性と可塑性を両立する。
- PAMTは,デコーディング時にPMHを疎にクエリし,隠れ空間での残差補正を生成することで,docidの生成を誘導し,バックボーンパラメータを固定する。
- 実験の結果,PAMTは過去のスライスでの検索性能を大幅に向上させ,新しい文書への性能への影響を最小限に抑えることが示された。
