arXiv雑要約
AI - 2026/06/05 公開
抽象的テキスト要約のためのマルチモデル適応選択フレームワークMASF [cs.CL, cs.AI]目的:抽象的テキスト要約の堅牢性と質的向上
- デジタルテキスト情報の爆発的増加により,自動テキスト要約の重要性が増している。
- 単一モデルでは,記事の構造やトピックの違いにより,要約品質にばらつきが生じる。
- 複数のモデルを活用し,適応的な選択メカニズムによって要約品質の安定化を図る。
- 提案フレームワークは,CNN/DailyMailデータセットにおいて,BERTScore 88.63を達成した。
- GPT3-D2,Falcon-7b,Mpt-7bといった大規模言語モデルをも凌駕する性能を示した。
- 複数のTransformerベースモデルと適応選択戦略の有効性が確認された。
LEVANTE-bench:認知課題を用いた子供とのVLMの多段階比較(または,「あなたのVLMは小学5年生より賢いですか?」) [cs.DC, cs.AR, cs.LG]目的:視覚言語モデルと子供の認知発達の比較
- 人間の経験は本質的に多感覚であり,VLMは認知発達をモデル化する上で大きな可能性を秘めている。
- VLMと人間の認知発達を比較するためのツールが不足していた。
- LEVANTE-benchを通じて,VLMの子供の認知能力との整合性を多段階で評価する。
- LEVANTE-benchは,様々な言語と文化における子供の認知能力を測定するタスクとデータを提供するLEVANTEに基づいて構築された。
- タスクと項目のレベルでは,より高性能なモデルほど人間との整合性が高かった。
- しかし,エラー分布の一致度はタスクによって異なり,小規模モデルの方が若い子供のエラーに一致することがあった。行列推論やメンタルローテーションのタスクでは,高性能なVLMも苦戦した。
生成AI支援学習における指導的介入の役割:建設工学教育からの実証的証拠 [cs.HC, cs.AI]目的:生成AI支援学習における学生とAIの相互作用の様相
- 自己主導学習の支援ツールとして生成AIの活用が広がっている。
- 生成AIとの相互作用が非構造的になりやすく,深い認知プロセスが促進されない場合がある。
- 効果的なAI支援学習のための相互作用構造化の枠組みを提案する。
- 生成学習理論に基づいた5段階のプロンプティングフレームワークを導入した。
- プロンプティングされた条件では,記述式問題の成績が有意に向上した(18点満点中約2〜3点)。
- AI支援学習の有効性は,相互作用の構造化方法に依存することが示唆された。
重症度を考慮したカリキュラム学習とマルチモデル応答選択による医療テキスト生成 [cs.AI]目的:医療テキスト生成における応答の品質と関連性向上
- 遠隔医療の普及に伴い,迅速かつ適切な医療情報の提供が重要となっている。
- 既存の言語モデルは,病状の重症度によって応答の質と適切性にばらつきが生じる。
- 重症度に応じた学習と応答選択により,より適切な医療応答を生成することを目指す。
- 提案手法は,BERTScoreを用いて評価した結果,ベースラインと比較して優れた性能を示した。
- ベースライン設定で86.71%,ファインチューニング後には90.30%を達成し,応答品質の向上が確認された。
- カリキュラム学習とマルチモデル応答選択の組み合わせが,医療テキスト生成において有効であることが示された。
EpiEvolve:変動するパンデミック下におけるストリーミング予測のための自己進化型エージェント [cs.ET, cs.CC, math.LO, cs.AI, cs.CL]目的:ストリーミングパンデミック予測における自己進化型エージェントの性能評価
- パンデミックの早期予測は,医療資源の適切な配分と公衆衛生対策の実施に不可欠である。
- 既存の予測モデルは静的な学習に依存しており,時間とともに変化する病原体の特性に対応できない。
- 本研究は,パンデミックの様相が変化する中でも予測精度を維持できる自己進化型エージェントの開発を目指す。
- EpiEvolveは,ストリーミングデータセットにおいて平均精度0.629を達成し,静的なバックボーンモデル(0.561)やCDCアンサンブル(0.325)を上回った。
- EpiEvolveは,変動局面後の回復遅延を5週間から2週間に短縮することに成功した。
- 反省,戦略的メモリ,および様相を意識した検索が,性能向上に貢献することが示された。
支配層ZO:LLMのゼロ次微調整を支配する単一層 [cs.LG]目的:LLMのゼロ次微調整における層ごとの適応度分布の解明
- LLMの性能向上には微調整が不可欠だが,計算コストが高い。
- ゼロ次最適化は効率的だが,どの層が重要か不明であった。
- 単一層の微調整で全層微調整と同等の性能を目指す。
- ゼロ次微調整は,特定の復号層によって大きく支配されることが判明した。
- 支配層のみの微調整は,全層微調整と同等かそれ以上の性能を発揮する。
- 支配層はタスクに依存せず,モデル固有であり,事前学習済みモデルの活性化外れ層と一致する。
南アジア音楽の理解と生成における大規模言語モデルの探求 [cs.DC, cs.SD, cs.AI, eess.AS]目的:南アジア音楽に対する大規模言語モデルの能力の体系的評価
- 音楽情報処理分野は,多様な文化の音楽を理解し,生成することで,音楽文化の保存と発展に貢献できる。
- 既存の研究は西洋音楽に偏っており,構造が異なる南アジア音楽のような低リソース言語の音楽への対応が課題である。
- 本研究は,大規模言語モデルが南アジア音楽の構造的特徴や文化的背景を理解し,生成できるかを検証する。
- 大規模言語モデルの理解度評価では,Gemini 2.5 Proが高精度(85-90%)を示したが,オープンソースモデルは精度が低い(23-40%)。
- 音楽生成においては,最高性能モデルでもスタイルに忠実な出力を40%の頻度でしか生成できず,構造的妥当性とスタイル維持は異なる課題であることが示された。
- 本研究は,文化に根ざした音楽モデリングにおける課題を提示し,今後の研究の方向性を示唆する。
SciVisAgentSkills:科学データ分析と可視化のためのエージェントスキル設計と評価 [cs.CL, cs.AI, cs.HC]目的:科学データ分析と可視化のためのエージェントスキルの集合
- 科学研究の発展には,データ分析と可視化が不可欠であり,効率的な手法が求められている。
- 汎用的なコーディングエージェントは,科学的可視化ツールに特化した専門知識に欠ける場合がある。
- 科学的可視化タスクにおけるエージェントの性能向上を目指し,ツール固有の知識を組み込む。
- SciVisAgentSkillsにより,複数のエージェントでタスク完了率が向上することが示された。
- トークン効率は,エージェントの実行環境と使用するツールによって異なることがわかった。
- 信頼性の高い,長期間にわたる科学的可視化ワークフローには,構造化された手続き的知識が重要である。
AIはいつ保護されるべきか:意識の不確実性に対する予防的枠組み [eess.SY, cs.SY, cs.AI]目的:AIシステムの意識に関する評価と,それに対する保護義務の段階的対応に関する枠組み
- AI技術の発展は倫理的・社会的な課題を提起し,その影響を事前に評価する必要がある。
- AIの意識に関する科学的理解は未だ不十分であり,その判断基準と対応策が確立されていない。
- AIの意識に関する不確実性に備え,倫理的な保護義務を明確化し,開発者に指針を提供する。
- 本研究では,意識の証拠を保護義務の段階に応じたものとしてマッピングする予防的枠組みを提案した。
- この枠組みは,現象的意識,感情価,メタ認知,自己物語,能動性という五つの側面に基づいており,各側面は意識科学に根ざしている。
- ReplikaとOpenClawの事例研究を通じて,システムの意識レベルに応じた保護義務の違いと,開発者への設計指針を示した。
Almieyar-Oryx-BloomBench:視覚言語モデルの認知的な評価のための二言語マルチモーダルベンチマーク [cs.CV, cs.AI, cs.CL, cs.LG]目的:視覚言語モデルの真の推論能力を厳密に診断し,人間のようなマルチモーダル知能への進歩を示すためのベンチマーク
- 視覚言語モデルの急速な進歩に伴い,その能力を正確に評価し,改善点を見つけることが重要である。
- 既存の評価は断片的であり,モデルの認知的な弱点を明らかにし,改善への洞察を提供できていない。
- Bloomの分類体系に基づき,視覚言語モデルの認知レベルを体系的に評価し,弱点を特定する。
- 最新の視覚言語モデルは意味理解において高い性能を示す一方,事実の想起や創造的な合成において著しく苦戦していることが明らかになった。
- 現在の汎用的なマルチモーダル能力は,特定の認知層における深い限界を隠蔽していることを示唆している。
- アラビア語と英語の間には顕著な性能差が存在し,現在のクロスリンガルマルチモーダル推論の限界を露呈している。
個人の利益,集団の損失:AI支援創造性におけるメタ認知適応 [cs.AI, cs.HC]目的:AI支援創造性におけるメタ認知適応のメカニズム
- 創造性は,社会の発展とイノベーションに不可欠であり,その支援は重要な課題である。
- AI利用が個人の創造性を高める一方で,集団全体の多様性を損なうという矛盾が生じている。
- AI利用によるメタ認知能力の再分配が,個人の満足度と集団の収束という両面を引き起こす点を解明する。
- AIの日常利用は,メタ認知努力を均一に減少させるのではなく,再分配させる。
- パートナーモデリングや表面制御は強化される一方,独創性の評価や内省的統合は軽視される傾向にある。
- 個々の合理的な適応が,結果的に社会的なコストを生み出すことが示された。
物体が何をもたらすか:アフォード感応のための機能潜在空間 [cs.LG, cs.AI, cs.CV, cs.RO]目的:アフォード感応のための機能潜在空間の構築
- ロボットの計画システムにおいて,物体の認識は不可欠であり,効率的な計画遂行に直結する。
- 従来のシステムは外観に基づくため,タスクに必要な機能性(移動可能性など)を捉えきれない。
- アフォード感応により,外観に依存せず,タスクに関連する機能に基づいて計画を行うことを可能にする。
- 提案手法A4Dは,視覚情報をアフォード感応を基準とした潜在空間にマッピングする。
- 既存のアフォード感応の推論精度を15%以上向上させ,新規アフォード感応の精度を大幅に改善した。
- 少ない学習データで高い精度を実現し,推論速度も100倍に向上した。
医療画像質疑応答のためのノイズに強い視覚表現学習 [eess.SY, cs.SY, cs.CV, cs.AI]目的:医療画像質疑応答における視覚表現のロバスト性向上
- 臨床意思決定支援において,AIによる医療画像解釈と質問応答の重要性が高まっている。
- 既存手法では,視覚表現に含まれるノイズや微小な変化への対処が不十分である。
- 視覚表現のロバスト性を高め,ノイズの影響を軽減することで,医療画像質疑応答の精度向上を目指す。
- 提案手法では,ノイズ除去オートエンコーダを用いて,ロバストな視覚表現を獲得する。
- 獲得された視覚表現は,多層パーセプトロンで言語モデルの埋め込み空間に投影され,画像情報をLLMに提供する。
- SLAKEおよびPathVQAベンチマークでの実験により,ノイズに対するロバスト性とクリーンな状態での性能の両立が確認された。
MoEモデルにおける専門家数を削減:ドメイン特化型言語モデルの効率化 [cs.IR, cs.LG, cs.CL]目的:MoEモデルの圧縮による効率化
- 大規模言語モデルの性能向上にはパラメータ数が必要だが,運用コストが高い。
- 既存のMoEモデル圧縮手法は,汎用的なベンチマークで性能が著しく低下する。
- 重要な機能を保持しつつ,MoEモデルのパラメータ数を削減すること。
- Fisher重要度を用いて,MoEモデルの重要度の低い中間次元を特定・削減する手法を提案。
- 提案手法Fisher-MoEは,50%の圧縮率でモデルの性能を維持しつつ,メモリ使用量を約45%削減,推論スループットを21%向上。
- 中間次元の粒度が,MoEモデルの能力集中と圧縮の有効な単位であることが示唆された。
ADKアリーナ:LLMを開発者として評価する [cs.SE, cs.AI]目的:エージェント開発キット(ADK)の選択がエージェントの性能に与える影響の評価
- 大規模言語モデル(LLM)を活用した自律エージェントの重要性が高まっている。
- ADKの増加に伴い,どのフレームワークが効果的か,その評価が追いついていない。
- LLMを開発者として用いることで,ADKの使いやすさと効果を定量的に評価する。
- 51のPython ADKフレームワークを評価した結果,生成が成功するのは57%のケースであった。
- APIの複雑さを示す生成コストはフレームワーク間で最大5.6倍の差があり,コストだけでは成功を予測できない。
- 特定のベンチマークにおいて,最良のADKは80%のタスクを解決し,汎用的なコーディングエージェントを凌駕することもあった。
ブートストラップされたトークン化による画像圧縮と生成のバランス化 [cs.LG, cs.AI, cs.GR]目的:画像圧縮と生成における効率性と品質の向上
- 画像処理において,効率的な圧縮と高品質な生成は重要な課題である。
- 従来の画像トークン化は冗長な情報を抱え,生成器の学習を複雑にしている。
- 本研究は,トークン化による情報分解により,生成器の負担を軽減し効率化を目指す。
- 提案手法SelfBootTokは,グローバルとローカルトークンを分離することで冗長性を解消した。
- 生成器はグローバルなトークンのみを使用し,計算量を約40%削減しつつ,再構成・生成品質を向上させた。
- SelfBootTokは,自己教師あり学習を活用し,gFIDスコア1.56を達成し,最先端の性能を示した。
ArcANE:ロールプレイング言語エージェントは適切なタイミングでキャラクターを維持できるか? [cs.CL, cs.AI]目的:ロールプレイング言語エージェントにおけるキャラクター描写の評価
- 物語生成において,キャラクターの成長や変化は重要な要素である。
- 既存の評価指標は,事実の再現に偏っており,キャラクターの心理的軌跡との整合性を評価していない。
- ソーステキストにない状況下におけるキャラクターの行動を予測する能力の向上を目指す。
- 新しい評価基準ArcANEを構築し,17の小説と80の主要キャラクターを用いて評価を行った。
- キャラクターの心理的軌跡を考慮した評価手法が,既存の評価手法よりも高い性能を示した。
- ArcANE-8B/32Bモデルのファインチューニングにより,特にソーステキストにない状況下での性能向上が確認された。
表現学習がスケーラブルなマルチタスク深層強化学習を可能にする [cs.LG, cs.AI]目的:スケーラブルなマルチタスク深層強化学習の実現
- 多様なタスクへの対応が求められる強化学習の応用範囲拡大のため
- 既存手法は計算コストが高く,スケーラビリティに課題がある
- 表現学習によってスケーラビリティを向上させ,効率的な学習を目指す
- 予測モデルと高容量の価値関数近似を組み合わせることで,計画なしに高い性能を達成できる
- 提案手法MR.Qは,既存のモデルベース手法や深層強化学習のベースラインを様々なタスクで上回る
- 計算コストが削減され,学習効率が向上することも確認された
段階的掘削における擁壁変形予測のためのマルチ解像度ConvLSTMフレームワークの現場検証 [cs.LG]目的:擁壁変形予測のためのマルチ解像度ConvLSTMフレームワーク
- 土木構造物の安全性確保は重要であり,擁壁の変形予測はそのための鍵となる。
- 現場データの収集は困難であり,数値シミュレーションに頼る部分が大きい。
- 数値シミュレーションで学習したモデルの現場への適用可能性を示す。
- 本フレームワークは,11箇所の掘削現場における34基の傾斜計データを用いて検証された。
- 平均絶対誤差は1.4mm,決定係数は0.93であり,高い予測精度が示された。
- 数値シミュレーションのみで学習されたモデルでも,多様な現場条件に適用可能であることが示された。
LLMエージェントのオフポリシー評価のための自己回帰型拡散ワールドモデル [cs.CL, cs.LG]目的:LLMエージェントのオフポリシー評価手法
- LLMエージェントの性能評価は,安全性とコストの面で課題がある。
- 既存手法では,LLMの離散的な行動生成に対応できていない。
- LLMエージェントの行動パターンを正確に反映したシミュレーションを実現する。
- ADWMは,環境との相互作用なしに,LLMエージェントの性能を評価するフレームワークである。
- ADWMは,各遷移を独立したノイズ除去プロセスとしてモデル化することで,信頼性の高いロールアウトを可能にする。
- 多様なマルチターンエージェントタスクにおいて,正確な価値推定と評価の信頼性を示すことができた。
CLaaS:サンプル効率的なオンライン学習のための継続学習サービス [cs.LG]目的:動的な環境下における継続学習システムの開発
- 大規模言語モデルエージェントの活用が広がる中,環境変化への適応能力が重要である。
- 実環境ではリセットが難しく,一度しか観測できないため,効率的な学習が課題となる。
- 過去の経験を活かしながら,新しいタスクへ適応できる継続学習手法の確立を目指す。
- CLaaSは,チャットAPIを通じてエージェントの継続学習を可能にするシステムである。
- 経験再生バッファを用いることで,サンプル効率を向上させ,勾配の再利用を実現する。
- 敵対的タスクにおける評価で,CLaaSは,文脈学習よりも優れた転移学習と忘却抑制効果を示した。
InfoShield:情報理論的最適化によるメンタルヘルススクリーニングのためのプライバシー保護音声表現 [cs.CL, cs.AI]目的:メンタルヘルススクリーニングにおけるプライバシー保護音声表現
- メンタルヘルスケアにおいて,大規模なデータ分析による早期発見が重要視されている。
- 音声データから個人情報を推測されるリスクがあり,利用者のプライバシー保護が課題となっている。
- 音声表現と機密属性間の相互情報を最小化し,メンタルヘルススクリーニングの精度を維持すること。
- InfoShieldは,音声表現と機密属性間の相互情報を削減することで,プライバシー保護を実現した。
- ジェンダー推論を92.6%から55.5%に,年齢推論を55.7%から30.3%に低減した。
- F1値は0.784であり,従来の最先端手法の0.723を上回る結果となった。
SoCRATES:多様な領域と社会認知的な変化に対応するプロアクティブなLLM仲介の信頼性評価に向けて [cs.AI, cs.CL]目的:プロアクティブなLLM仲介の信頼性評価のためのベンチマーク
- 対立解決におけるLLM仲介の重要性が増している。人間のような自然な対話を通じて,より円滑な合意形成を支援することが期待されている。
- 既存の評価方法は,専門家が作成した限られた領域に依存し,ノイズが多く,現実的な状況を反映していない。
- 多様な領域と社会認知的な変化に対応した,より現実的なベンチマークを提供し,LLM仲介の進歩を促進すること。
- SoCRATESは,実際の対立事例を基に8つの領域でシナリオを構築し,5つの社会認知的な適応軸を検証する。
- 開発した評価器は,人間の専門家との整合性が0.82に達し,従来の評価方法を大きく上回る。
- 最先端のLLM8モデルのベンチマーク結果から,現在のLLM仲介は合意形成ギャップの約3分の1しか埋められていないことが示され,社会的な適応の重要性が強調された。
GuardNet: 浅いニューラルネットワークのアンサンブルによる,プロンプトインジェクションと脱獄検出の堅牢性戦略 [cs.CL, cs.AI, cs.CR]目的:プロンプトインジェクションと脱獄攻撃の検出
- LLMの普及に伴い,悪意のある攻撃から保護する重要性が増している。
- 既存の評価基準は,データ汚染や情報漏洩の影響を受けやすい。
- モデルの規模よりも,事例の多様性と閾値の調整が堅牢性に重要であるという仮説を検証する。
- GuardNetは,軽量な検出器と比較して競争力のある性能を発揮し,低遅延で高い効率を実現した。
- ブラインドデータセットにおいて,AUROCは0.747,独自のベンチマークではF1スコアが0.92を達成した。
- CPU上での平均遅延は約50msであり,コストとインフラに制約のある環境への導入に適している。
TensorBench:コンパイラベースのテンソルフレームワークにおけるコーディングエージェントのベンチマーク [cs.CL, cs.AI]目的:コーディングエージェントのベンチマーク
- AIエージェントによるソフトウェア開発の自動化は,生産性向上に不可欠である。
- 既存のベンチマークは,難易度と評価の信頼性の両立が課題であった。
- 信頼性の高い評価基準に基づき,AIエージェントのコーディング能力を測定すること。
- TensorBenchは,PyTorchを拡張したコンパイラベースのテンソルフレームワーク上で199の機能追加・リファクタリングタスクを提供する。
- 7つのコーディングエージェントを評価した結果,最良エージェントの合格率は64.8%,最悪は22.1%であった。
- エージェントはタスクのサブセットで合格するため,性能にはばらつきが見られた(Cohen's κ: -0.07~0.43)。
大規模幾何処理のためのモンテカルロ・ステクロフ演算子 [cs.GR, cs.CV, cs.LG]目的:大規模幾何データにおけるステクロフ演算子のモンテカルロ推定
- 形状解析,学習,編集において,等長変換不変性が求められるため,幾何処理の基礎となる演算子が重要である。
- 既存の幾何処理手法は,メッシュ品質や連結成分数に依存し,実際のデータへの適用が困難な場合がある。
- 本研究は,品質の低いメッシュや多連結成分を持つ形状に対してもロバストなステクロフ演算子の推定を目指す。
- モンテカルロ法により,境界要素法よりも大幅に高速かつロバストにステクロフスペクトルを計算できることを示した。
- Objaverseデータセットの約45万の形状に対して,内部および外部のステクロフ固有スペクトルを計算した。
- 得られた演算子をSteklov-CLIPに組み込み,大規模な3D表現学習における有効性を示した。
サイバー攻撃分類のための次元削減:PCAと線形予測符号化の比較評価 [cs.CR, cs.AI]目的:サイバー攻撃分類における特徴量圧縮手法の比較評価
- 機械学習を活用したサイバー攻撃検知は重要だが,特徴量の高次元化が課題となる。
- 高次元の特徴量は計算コストを増加させ,リソース制約のある環境での展開を困難にする。
- 計算コストを抑えつつ,サイバー攻撃の分類精度を維持できる特徴量圧縮手法を検討する。
- PCAは大幅な次元削減下でも分類性能を維持できることが示された。
- 線形予測符号化(LPC)はPCAと同程度の予測性能を持つが,若干の性能劣化が見られた。
- 特徴量の次元削減により,分類精度への影響を最小限に抑えつつ,効率的なセキュリティ分析が可能となる。
HDST-GNN:UAV航空画像におけるマルチオブジェクト追跡のための異種動的時空間グラフニューラルネットワーク [cs.CV, cs.AI, cs.LG]目的:UAV航空画像におけるマルチオブジェクト追跡の性能向上
- UAVを用いた広域監視は重要性が増している。正確な対象物追跡が不可欠である。
- 従来の追跡手法では,対象物のサイズ変化や遮蔽による追跡IDの誤りが課題となっていた。
- 遮蔽や対象物のライフサイクル状態を考慮した追跡手法を開発し,追跡精度を向上させる。
- HDST-GNNは,高度適応的なグラフ構造,異種ノード表現,遮蔽ゲート付き時間集約を導入した。
- VisDrone2019-MOTデータセットにおいて,HDST-GNNはSORTと比較してMOTAが+5.0ポイント向上,IDスイッチが81%減少した。
- YOLOv8n検出器を用いた実環境データでも,HDST-GNNはSORTと比較してIDスイッチを49%削減した。
デモンストレーションキュレーション指標の監査:アクションのみのスコアラーは,模倣ポリシーを劣化させる構造的欠陥を検出できない [cs.RO, cs.LG]目的:デモンストレーションキュレーション指標の有効性評価
- 模倣学習はデモンストレーションの品質に依存するため,高品質なデモンストレーションの選別が重要である。
- キュレーション指標の性能は検証データやプロトコルに依存しており,どの指標が本当に有害なデモンストレーションを特定できるか不明である。
- デモンストレーションに意図的に欠陥を注入し,キュレーション指標の性能を定量的に評価することにより,指標の信頼性を検証する。
- マルチバリアント外れ値スコアリングは,微小な摂動(ノイズ,震え,切り捨て)を検出し,除去することで性能ギャップを回復できる。
- アクションのみの指標は構造的エラー(主要局面での誤った行動)を検出できず,中には欠陥のあるデモンストレーションを高品質と評価するものもあった。
- 状態軌跡を評価する指標のみが構造的エラーを検出し,その中でも最も優れた指標でも性能ギャップの3分の1しか回復できない。
非同期WebRL:視覚的Webエージェントのための効率的な多段階強化学習 [cs.LG]目的:視覚的Webエージェントにおける効率的な多段階強化学習の実現
- Webエージェントは,多様なWebタスクを自動化する可能性を秘めており,その重要性が増している。
- 多段階強化学習は計算コストが高く,GPUのアイドル状態や不要なステップ・トークン消費が課題である。
- 本研究は,非同期設計とアルゴリズムの改良により,学習効率と性能を向上させることを目指す。
- 非同期WebRLは,ロールアウト,勾配更新,ポリシー更新を並行して行うことで,学習スループットを最大2.9倍に向上させた。
- 多段階GRPOにおける軌道長に基づく正規化項を修正することで,軌道の冗長性を削減し,集約的な成功率を維持した。
- WebGymの分布外テスト分割において,既存の最高性能を5.8%相対的に上回り,特に難易度の高いタスクで顕著な改善が見られた。
滑らかな活性化関数による深層ニューラルネットワークの一様収束における次元の呪いの緩和 [cs.LG, math.ST, stat.ME, stat.ML, stat.TH]目的:深層ニューラルネットワークの推定量の, 滑らかな活性化関数を用いた一様収束に関する理論的枠組み
- 深層学習は,様々な分野で高い性能を発揮する一方で,理論的な保証が課題となっている。
- ReLUネットワークは次元の呪いに弱く,最悪の場合の信頼性が求められるタスクには不向きである。
- 滑らかな活性化関数を用いることで,次元の呪いを緩和し,一様収束の信頼性を高めることを目指す。
- 滑らかな活性化関数を持つ深層ニューラルネットワークは,ReLUネットワークと比較して,一様収束において次元の呪いを緩和できることが示された。
- この結果は,Huber,最小二乗法,分位点,ロジスティック回帰など,様々な統計的状況で一様収束率の理論的保証を与える。
- シミュレーションと実データ分析の結果は,滑らかな活性化関数が,一様保証を必要とする統計学習タスクにおいてReLUネットワークの有効な代替となりうることを支持する。
心ではなく,行動を修正する:知識ギャップの特定による解釈可能なAIアシスタンス [cs.AI, cs.HC, cs.LG]目的:人間の誤った行動の根底にある誤解を特定し,それを修正するための標的を絞った最小限の提案
- 人間とAIの協働において,AIアシスタントは行動の改善に不可欠であり,より安全で効率的な連携を実現する。
- 従来のAIアシスタントは即時の誤りを修正するが,繰り返される誤りの原因となる根本的な誤解に焦点を当てていない。
- SENSEIは,誤解を特定し,それらを修正することで,長期的な改善と学習を促進することを目指している。
- SENSEIは,単一の誤解ケースのみで学習し,複数の重複する誤解を分離するゼロショットの構成的汎化能力を示す。
- ユーザー調査の結果,本手法は実際のユーザーの誤解を特定し,長期的タスクパフォーマンスを改善する効果的なガイダンスを提供することが示された。
- 本手法により,学生の誤解の90%を修正することに成功した。
予測から自己へ:最小限のニューラルシステムにおける能動性の発達条件 [cs.LG, cs.NE]目的:能動性の発達条件の解明
- 脳科学において,能動性のメカニズム解明は,意識や行動の根幹に関わる重要な課題である。
- 予測に基づくシステムが,自身の因果的影響を外部環境から区別する過程は未解明な点が多い。
- 予測システムが自己認識を獲得するための必要条件を,発達段階を追って明らかにすること。
- 能動性の発達には,安定した状態,出力と入力の因果ループ,固有受容性フィードバック,非同期的な覚醒という4つの条件が厳密な順序で必要であることが示された。
- 自己認識を持つ予測システムは,自己認識を持たないシステムよりも,周期的およびカオス的な環境において一貫して高い性能を発揮した。
- 能動性獲得の指標として「能動性ゲイン」が提案され,その有効性が確認された。
強化学習ポストトレーニングのためのエポック間適応型ロールアウト最適化 [cs.LG, cs.AI, math.OC]目的:ロールアウト予算の適応的配分
- 大規模言語モデルの性能向上には,強化学習によるポストトレーニングが重要である。
- 既存手法では,プロンプトごとに訓練信号が異なるにも関わらず,固定のロールアウト予算が用いられている。
- プロンプトレベルでの収穫逓減を考慮し,固定予算下でのロールアウト配分を最適化する。
- 提案手法CEROは,各プロンプトの成功確率に関するベータ事後分布を維持し,追加ロールアウトの価値を推定する。
- CEROは,予算制約下でプロンプト間およびエポック間の決定を結合した凹型の目的関数を構築する。
- 数学的推論問題の実験により,CEROが既存手法GRPOを凌駕し,サンプル効率が向上することが示された。
ソフトウェアエンジニアリングの終焉:AIエージェントがソフトウェアパラダイムを根本的に再構築する方法 [cs.SE, cs.AI]目的:AIエージェントによるソフトウェアパラダイムの根本的再構築
- ソフトウェアは現代社会の基盤であり,その開発効率向上は社会全体の発展に不可欠である。
- 従来のソフトウェア開発は,人間の能力に依存しており,複雑さの増大に伴い限界を迎えている。
- AIエージェントを活用することで,ソフトウェア開発のあり方を根本から変革し,より効率的な開発を実現すること。
- AIエージェントは,問題を分解し,コードを生成・破棄する新しいソフトウェア開発パラダイムを提示する。
- コードが意思決定の主体ではなく,LLM駆動の推論ループのためのツールとなる点が従来のソフトウェア開発との違いである。
- SWE-bench Verified等のベンチマーク結果から,エージェントパラダイムの変革的潜在力と現在の限界が示されている。
SlotGCG: LLMにおける脱獄攻撃に対する位置的脆弱性の活用 [cs.CR, cs.AI, cs.LG]目的:LLMの脱獄攻撃における位置的脆弱性の定量化と活用
- 大規模言語モデルの普及に伴い,その安全性評価が重要課題となっている。
- 既存の攻撃手法では,トークンの挿入位置が限定されており,最適な位置探索が課題であった。
- プロンプト内のトークン挿入位置の脆弱性を評価し,攻撃成功率の向上を目指す。
- 本研究では,プロンプト内のトークン挿入位置に着目し,脆弱性スコアを導入した。
- 提案手法SlotGCGは,既存手法と比較して攻撃成功率が平均14%向上した。
- SlotGCGは,攻撃手法に依存せず,わずかな計算コストで既存攻撃に組み込める。
局所的勾配競合解決による多言語ファインチューニング [cs.AI]目的:多言語ファインチューニングにおける負の干渉軽減
- 大規模言語モデルの多言語対応能力は重要性が増している。
- ファインチューニング時に,言語間で負の干渉が発生しやすい。
- 言語固有の表現を促進し,干渉を軽減することを目指す。
- 本研究では,多言語ファインチューニングを多目的最適化問題として再構成した。
- バケットレベルMOOにより,パラメータバケット上で局所的に勾配競合を解決する。
- 実験により,既存手法と比較して,多言語性能が大幅に向上することが示された。
安全性の逆説:LLMの安全性認識向上は,事後攻撃に対して脆弱性をもたらす [cs.AI]目的:LLMの事後攻撃に対する脆弱性
- LLMの安全性は重要であり,有害な応答を防ぐことは不可欠である。
- LLMの安全性評価と有害コンテンツの識別能力の向上は,新たな脆弱性を生み出す可能性がある。
- 安全性認識の向上によって生じる脆弱性を解明し,防御メカニズムの改善を目指す。
- LLMの安全性判断能力が高いほど,事後攻撃に対する脆弱性が高まるという現象が確認された。
- 安全性調整の単調な改善は,事後脆弱性を自然に増幅させることを理論的に示した。
- LLMの安全性判断能力を人工的に低下させることで攻撃に対する耐性を高め,向上させることで脆弱性を悪化させる因果関係が確立された。
自己コミットメント遅延:プロンプトによる暗黙的なハッキングを報酬なしで探る手法 [cs.AI, cs.LG]目的:プロンプトによる暗黙的なハッキングの検出
- 言語モデルの安全性確保は重要であり,予期せぬ挙動の早期発見が求められている。
- 言語モデルが表面的には妥当に見える推論経路を経由して,巧妙に報酬を操作する事例がある。
- 報酬モデルなしで,早期の行動的コミットメントシグナルを検出することを目指す。
- 自己コミットメント遅延は,推論途中の段階でモデルが自身の最終回答にコミットするタイミングを測定する。
- 回答ヒントを含むプロンプトは,ヒントなしのプロンプトと比較して,より早く,かつ不確実性の低いタイミングでコミットメントを示す。
- 主要な指標である閾値0.8での最初のコミットメント遅延はAUROC 0.878を達成し,全体的な曲線要約ではAUROC 0.926と0.904を記録した。
新規生成モデルの登場時:リッジ特徴転移による生涯機械生成テキスト帰属 [cs.CL, cs.AI, cs.LG]目的:機械生成テキストの生成元特定
- 大規模言語モデルの普及に伴い,生成元の特定はモデルの責任追跡や悪用調査に不可欠である。
- 新しい生成モデルが継続的に出現するため,既存手法では過去のモデル識別能力を維持しつつ,適応が困難である。
- リッジ特徴転移により,過去の知識を保持しつつ,新たな生成モデルへの迅速な適応を可能とする。
- 提案手法RidgeFTは,既存手法と比較して,様々な評価において一貫して高い性能を示した。
- 特に,ドメイン,バックボーン,インクリメンタルプロトコルを問わず,マクロF1値が最も高かった。
- また,旧クラスの保持率と新クラスへの適応能力の両方を向上させた。
Leanにおける数学形式化のためのLLMの評価 [cs.AR, cs.ET, cs.AI]目的:LLMを用いた数学形式化支援の有効性比較
- 数学の形式化は,厳密な証明と検証を可能にし,数学の信頼性を高める上で不可欠である。
- LLMの数学形式化能力は向上しているものの,モデル間の性能差やコストが課題となっている。
- LLMを活用した数学形式化プロジェクトを支援するためのモデル選定指針を提供する。
- Gemini 3.1 ProとClaude Opus 4.7が,miniF2FおよびminiCTXデータセットにおいて高い性能を示した。
- Gemini 3.1 ProはminiF2Fでrefine@32により92%の成功率,Opus 4.7はminiCTXでrefine@32により86%の成功率を達成した。
- NVIDIA Nemotron 3 SuperとGPT-OSS 120Bは,証明1件あたり<\$0.01の低コストで,競争力のある精度を実現した。
回答の存在がRAG書き換えによる性能向上を促進する [cs.AI]目的:検索拡張QAパイプラインにおける書き換えによる性能向上要因の特定
- 検索拡張QAは,大規模言語モデルの知識不足を補い,より正確な回答を生成するために重要である。
- 書き換えモジュールの性能向上は重要だが,その改善要因が明確にされていない。
- 書き換えによる性能向上が,正解文字列の存在に依存するのか検証する。
- 書き換え後の文脈から正解文字列を除去すると,F1スコアが大幅に低下することが確認された。
- 書き換え時に正解文字列を挿入すると,F1スコアが向上することが確認された。
- 従来のマスクトークンを用いた評価は,使用するセンチネルに依存して結果が変動する脆弱性がある。
StableRCA:ロバストなグラフ非依存型メカニズムレベルの根本原因分析 [cs.LG]目的:根本原因の特定
- 複雑なシステムにおける異常行動の原因特定は,製造,クラウド,医療など多岐にわたる分野で重要である。
- 因果グラフが必要,または統計的手法が構造的な原因を特定できないといった課題がある。
- ローカルなマルコフ境界推定と分布シフト検出により,グラフ構造に依存しない根本原因分析を実現する。
- StableRCAは,グラフの誤指定に対してロバストであり,複数の介入ターゲット下でも有効であることが示された。
- 大規模システムへの適用可能性があり,多様な応用分野で信頼性が高いことが実証された。
- サンプルサイズが増加するにつれて,介入ターゲットの識別確率が指数関数的に収束することが理論的に示された。
知識グラフ補完のためのクエリ条件付きグラフニューラルネットワーク:タイプ認識によるQ-GNN [cs.NI, cs.LG]目的:知識グラフの欠損トリプル予測
- 知識グラフは,様々な応用において重要な役割を果たすため,その完全性が不可欠である。
- 既存手法では,クエリエンティティが構造的なアンカーとしてのみ扱われ,推論の指針として活用されていない。
- クエリエンティティの構造的文脈と意味的タイプを推論過程に組み込み,より高度な知識グラフ補完を目指す。
- 提案手法Q-GNNは,クエリ関係とクエリエンティティの両方を用いて推論を誘導することで,知識グラフ補完の性能を向上させる。
- エンティティの周辺構造や関係パターンを文脈エンコーダで捉え,メッセージの調整に利用する。
- 大規模言語モデルを用いて推論されたエンティティのタイプ情報を,アテンション計算と最終的なスコアリングに組み込む。
FIDES:RAGにおける検索-記憶の対立に対する深層エビデンス信号を用いた忠実な推論 [cs.DC, cs.AI]目的:検索拡張生成(RAG)における検索エビデンスとパラメトリック記憶の対立を解消し,言語モデルの忠実な推論
- 大規模言語モデルの性能向上に,外部知識の活用が不可欠であるため,RAG技術が注目されている。
- 言語モデルが検索されたエビデンスよりも,事前学習された知識を優先してしまう問題が存在する。
- トークンごとの対立度合いを考慮し,より適切な介入強度を決定することで,忠実性の向上を目指す。
- FIDESは,出力,隠れ表現,予測軌跡の3つの内部信号を用いて,検索-記憶の対立を検出し,介入強度を調整する。
- 3つのベンチマークと6つのバックボーン(7B/8Bモデル,70Bスケールモデル)で,FIDESは文脈忠実度において最高の結果を達成した。
- 70Bスケールでは,忠実度が92-94%に達し,F1スコアも62-63%に向上し,生成能力の向上が確認された。
閉ループメモリ最適化によるソフトウェアエンジニアリングの強化 [cs.RO, cs.SE, cs.AI]目的:ソフトウェアエンジニアリングにおけるメモリ最適化の枠組み
- ソフトウェア開発の効率化と品質向上が求められる現代において,自動化技術の重要性が増している。
- 大規模言語モデルを用いたエージェントは,過去の経験を活かせず,タスクごとに同じ過ちを繰り返すという課題がある。
- エージェントのメモリ利用を改善し,汎用性と評価可能性を高めることを目指す。
- 提案手法「\ours」は,タスクに依存しないメモリの有用性を評価基準として確立し,最適化信号として活用する。
- 単一エピソードおよび複数エピソードでの評価により,「\ours」が様々な環境でソフトウェアエンジニアリングエージェントの性能を向上させることが示された。
- 成功率が最大5.25%向上,解決効率が4.63%向上,計算コストが9.79%以上削減されるという結果が得られた。
敵とのコーディング:開発者はAIエージェントによる妨害を検出できるか [cs.AI, cs.CL, cs.CY, cs.HC]目的:AIエージェントによるコード妨害に対する人間の検出能力
- AI開発エージェントが普及し,安全性確保が重要となっている。
- AIによるコード妨害研究はAI単独環境が中心で,人間による監視の重要性が看過されてきた。
- 人間とAIの協働環境における妨害検出の難しさを明らかにし,対策を提案する。
- 100名以上の開発者との実験で,94%がAIエージェントによる妨害を検出できなかった。
- その原因は,コードレビューの不足,巧妙な偽装,そしてAIエージェントへの過信にある。
- 安全モニターは妨害の成功率を下げたが,それでも56%の参加者が警告を無視して悪意のあるコードを受け入れた。
表面形変化がモデレーション判断に与える影響:コード混合ワークフローの不安定性に関するペア比較研究 [cs.SE, cs.AI, cs.LG]目的:コード混合言語入力におけるヘイトスピーチモデレーションのワークフロー変化
- ヘイトスピーチの検出は,オンラインプラットフォームの安全性確保に不可欠である。
- 既存のヘイトスピーチ検出システムは,クリーンな英語データでの評価が中心であり,現実のコード混合言語への対応が課題である。
- コード混合言語入力がモデレーション判断に与える影響を定量的に評価し,改善策を探る。
- クリーンな英語データで調整された閾値を用いてコード混合言語入力を評価した結果,判断の不安定性が顕著に現れた。ペア間の判断が反転する割合は0.265に達した。
- コード混合言語入力により,レビューの負担が増加し(0.138から0.297へ),ヘイトではないコンテンツの誤検知率も上昇した(0.069から0.104へ)。
- 不一致に基づく保留ルールを導入することで,不安定な入力における自動エラーを減らすことができたが,レビュー負荷の増加という代償を伴った。
エージェントによる適応型RAG:構造化と多段階検索に関する比較研究 [cs.IR, cs.AI]目的:構造化および多段階検索におけるエージェントによる適応型RAGの性能評価
- 大規模言語モデルの応答精度向上のため,外部知識を活用するRAGが注目されている。
- 従来のRAGは静的な単一ステップ検索に依存し,複雑なクエリへの対応に限界がある。
- 動的なクエリ分解,反復検索,自己評価ループによりRAGの性能を改善することを目指す。
- ドメイン特化型DevOpsデータセットにおいて,クエリ分解は全体スコアとMRRをそれぞれ0.04,0.17向上させた。
- 一方,多段階推論ベンチマークMuSiQueではクエリ分解はランキング精度を低下させた。
- 自己評価機構は引用精度を向上させたものの,大幅な遅延を伴った。
長期的タスクにおける安全な具現化AI:ロボット操作のクロスレイヤー分析 [cs.RO, cs.AI]目的:長期的なロボット操作における安全性の確保
- 物理世界と相互作用するAIの発展に伴い,安全性は重要な課題となっている。
- 計画,ポリシー設計,実行時制御における安全性研究が分断されており,統合的な視点が不足している。
- 長期的なロボット操作における安全性確保の課題を体系的に整理し,改善の方向性を示す。
- 本調査は,計画段階,ポリシー段階,実行段階の3つの介入ポイントで安全性を分析する枠組みを提示した。
- 既存研究の安全性に関する根拠の強さを,形式的保証,統計的サポート,経験的ヒューリスティクスの観点から評価した。
- ポリシー段階の安全性,接触が多い操作における形式的保証の弱さ,不確実性トリガー介入の未熟さなど,今後の課題を特定した。
