arXiv雑要約
AI - 2026/04/21 公開
書の表紙で判断：複数ページの筆跡文書書き起こしにおけるマルチモーダルLLMの調査 [cs.LG, cs.AI, cs.CV]目的：複数ページの筆跡文書のゼロショット書き起こし手法の検討
- 筆跡文書認識は重要である。歴史的資料や個人文書のデジタル化に不可欠であり，情報へのアクセスを容易にする。
- 既存手法はラベル付きデータの必要性や，ページレベルでの処理に偏りがあり，複数ページ文書の文脈活用が不足している。
- 複数ページ文書における文脈共有を活かした，より効率的なゼロショット書き起こし手法を開発することを目指す。
- OCR，LLM後処理，マルチモーダルLLMによる書き起こしを組み合わせた手法を調査した結果，既存手法を上回る性能を示した。
- 特に，OCR+PAGE-1とOCR+PAGE-Nという新しいプロンプティング戦略は，ページ間の文脈を共有することで，書き起こし精度を向上させた。
- 既存のシングルページデータセットと新たに作成したMalvern-Hillsデータセットを用いて，このタスクのベンチマークを確立した。
SafeVLA：制約付き学習による視覚-言語-行動モデルの安全性向上 [cs.RO, cs.AI]目的：視覚-言語-行動モデルの安全性向上
- ロボットの汎用的なポリシーとして期待されるVLAsの，現実世界での安全性確保は重要である。
- 既存のVLAは，環境や人間への危害リスクなど，安全性に関する課題を抱えている。
- 安全性制約をVLAに明示的に組み込み，安全性を高めることを目指す。
- 提案手法（ISA）は，安全性要件のモデル化，危険な行動の誘発，安全な強化学習によるポリシーの制約，厳格な安全性評価を行う。
- ISAは，最先端手法と比較して安全性違反の累積コストを83.58%削減しつつ，タスク成功率を+3.85%向上させた。
- 長尾リスクの軽減や極端な失敗シナリオへの対応など，高い安全性保証能力を持つ。
現実世界へのMAPFの発展：スケーラブルなマルチエージェント現実テストベッド (SMART) [cs.RO, cs.AI]目的：マルチエージェントパスファインディング(MAPF)アルゴリズムの評価のための現実的かつ効率的なソフトウェアツール
- ロボット群の自律的な経路計画は，物流や災害対応など，幅広い分野で重要性が増している。
- 既存のMAPFプランナーは単純化されたロボットモデルに依存し，現実世界での性能に課題が残る。
- 現実的な要素を考慮したシミュレーション環境を提供し，MAPFアルゴリズムの性能評価を支援する。
- SMARTは，物理エンジンに基づいたシミュレータを用いて，ロボットの運動特性や実行不確実性を考慮した現実的な環境を構築する。
- アクション依存グラフに基づく実行監視フレームワークにより，様々なMAPFプランナーやロボットモデルとの連携を容易にする。
- 数千台のロボットまでスケールアップ可能であり，大規模な環境での評価を可能にする。
AIシステムの準拠性 [cs.CY, cs.AI, cs.ET]目的：AIシステムの法規制遵守に関する考察
- AIの社会実装が進む中で，法規制への適合性は不可欠な課題である。
- 特にエッジデバイスの分散性とリソース制約が，準拠性確保の大きな障壁となっている。
- AI開発・運用における法規制遵守のためのベストプラクティスを提示すること。
- 本研究では，EU AI Actを参考にAIシステムの法規制遵守について体系的に分析した。
- データセットの準拠性が，AIシステムの信頼性，透明性，説明可能性を担保する上で重要であることが示された。
- エッジデバイスにおける課題を特定し，法規制遵守のための具体的な指針を提案した。
XOXO：AIコーディングアシスタントに対する巧妙なクロスオリジンコンテキストポイズニング攻撃 [cs.CR, cs.LG, cs.SE]目的：AIコーディングアシスタントに対するクロスオリジンコンテキストポイズニング攻撃
- AIコーディングアシスタントの利用拡大に伴い，コード生成におけるセキュリティリスクの重要性が高まっている。
- 自動コンテキスト収集機能は，悪意のあるコード変更による脆弱性を生み出す可能性があり，検知が困難である。
- 本研究は，既存の解析技術では検出困難な，意味的に等価な攻撃を可能にする脆弱性を明らかにし，対策を模索する。
- 提案手法XOXOは，わずかなコード変更でAIアシスタントの出力を操作し，脆弱なコード生成やエラー導入を可能にする。
- GCGSアルゴリズムは，Cayleyグラフを用いて効率的に攻撃空間を探索し，GPT-4.1やClaude 3.5 Sonnet v2を含む11モデルで平均75.72%の攻撃成功率を達成した。
- 敵対的ファインチューニングなどの既存防御策は，本攻撃に対して効果がないことが示され，新たなセキュリティ対策の必要性が浮き彫りになった。
疎なセンサーデータを用いたネットワーク全体の高速道路交通量推定：ディリクレグラフオートエンコーダーアプローチ [cs.LG]目的：ネットワーク全体の交通状態推定
- 交通状況のリアルタイム把握は，渋滞緩和や交通流の最適化に不可欠である。
- センサーが設置されていない区間での交通状態推定は，データ駆動型アプローチの課題である。
- ディリクレグラフオートエンコーダーを用いて，センサーが少ない状況下での高精度な推定を目指す。
- 提案手法DGAEは，既存の最先端手法と比較して，交通状態推定性能が向上することを示した。
- DGAEは，異なる都市間でのデータ転移においても高い汎化性能を発揮する。
- ディリクレグラフオートエンコーダーの構成要素であるDEFP4Dは，極端にセンサーが少ない状況下でも優れた性能を示す。
ResearchBench：科学的発見におけるLLMのベンチマーク - インスピレーションに基づくタスク分解 [cs.CL, cs.AI, cs.CE]目的：科学的発見におけるLLMの性能評価
- 科学研究の加速化にLLMの活用が期待される中，その能力を客観的に評価する基準が必要である。
- 既存の評価方法では，LLMが質の高い研究仮説を生み出せるかどうかが明確に検証されていなかった。
- 科学的発見を構成する要素を分解し，LLMの各能力を評価するためのベンチマークを構築すること。
- LLMは，分野を問わず，既存知識の関連付けを行う「インスピレーション検索」において高い性能を示した。
- 研究課題，背景調査，インスピレーション，仮説といった科学的発見の要素を自動抽出するフレームワークを開発した。
- 2024年以降の論文に焦点を当てることで，LLMの事前学習データとの重複を最小限に抑え，汚染のないベンチマークを構築した。
RA-RRG：キーフレーズ抽出によるマルチモーダル検索拡張放射線レポート生成 [cs.CV, cs.CL, cs.LG]目的：放射線レポート生成における，マルチモーダル検索と大規模言語モデルの組み合わせによる手法
- 放射線科医の業務負荷軽減は喫緊の課題であり，自動レポート生成が注目されている。
- 既存のマルチモーダル大規模言語モデルは，計算コストが高く，大規模データが必要で，幻覚が生じやすい。
- 本研究は，幻覚抑制と計算コスト削減を実現するレポート生成手法を提案する。
- RA-RRGは，臨床的に重要なキーフレーズを抽出・検索することで，幻覚を効果的に抑制することを示した。
- MIMIC-CXRおよびIU X-rayデータセットにおいて，CheXbert指標で最先端の結果，RadGraph F1スコアで競争力のある性能を達成した。
- RA-RRGは，複数画像からのフレーズ集約により，多視点レポート生成にも自然に拡張可能であり，臨床応用への道を開く。
LLM駆動型ソーシャルネットワークの特性：Chirper.aiの事例 [cs.SI, cs.AI]目的：LLM駆動型ソーシャルネットワークと人間駆動型ソーシャルネットワークの差異の解明
- LLMの進化は，人間のような自律性を持つAIエージェントによるソーシャルネットワークシミュレーションを可能にした。
- LLMエージェントと人間のオンラインソーシャルネットワーク行動の比較研究が不足しており，実態の把握が進んでいない。
- LLMエージェントの行動特性を明らかにし，責任あるAIコミュニケーションシステムの開発に貢献する。
- Chirper.ai（LLMエージェントのみ）とMastodon（人間）の大規模データセットを比較分析した。
- LLMエージェントは人間と比較して，投稿行動，攻撃的なコンテンツ，ネットワーク構造において顕著な違いを示すことがわかった。
- 本研究は，LLM駆動型ソーシャルネットワークにおけるエージェントの行動プロファイルを提示し，今後のAIコミュニケーションシステム開発に示唆を与える。
EmbodiTTA：埋め込み型ビジュアルシステムのためのリソース効率的なテスト時適応 [cs.RO, cs.LG, cs.CV]目的： 埋め込み型ビジュアルシステムにおけるテスト時適応の効率化
- ロボットなどのエッジデバイスでの実用化には，計算資源の制約が重要となる。
- 従来のテスト時適応は，メモリ消費量とエネルギー消費量が大きすぎるという課題がある。
- リソースの限られた環境下でも実用的なテスト時適応を実現することを目指す。
- 提案手法OD-TTAは，ドメインシフトの検出に基づき，必要な場合にのみ適応を行うことで計算コストを削減する。
- 適切なソースモデルの選択と，デカップルドバッチ正規化更新により，高精度かつメモリ効率の良い適応を実現する。
- 実験結果から，OD-TTAは既存手法と同等以上の性能を発揮し，エネルギー消費量と計算量を大幅に削減できることが示された。
機械学習技術を用いたQRコード解析によるクイッシング攻撃の検出 [cs.CR, cs.AI]目的：クイッシング攻撃の検出
- QRコード利用増加に伴い，セキュリティ脅威であるクイッシング攻撃が深刻化しているため。
- 既存手法はURL解析に依存し，悪意のあるコンテンツへの暴露リスクや，URL以外のデータに対応できない問題がある。
- QRコード構造とピクセルパターンを直接解析する新たな検出フレームワークを構築し，クイッシング攻撃を解決する。
- 提案するQRコード解析に基づく検出フレームワークは，機械学習モデルを用いて高い検出性能（XGBoostでAUC 0.9133）を示した。
- 特徴量の重要度分析により，フィッシングラベルと相関のある視覚パターンを特定し，特徴量削減により性能を向上させた。
- QRコードの構造的特徴がフィッシングリスクと強く関連していることが示され，クイッシング対策の基盤となる。
LLMを用いたCからより安全なRustへの変換：生ポインタの書き換え [cs.SE, cs.AI, cs.PL]目的：Cコードから生成されたRustプログラムにおける生ポインタの除去
- Rustはメモリ安全性を重視しており，Cコードの移植先として注目されている。
- 既存のCからRustへの変換ツールは，生ポインタを多用し，Rustの安全性を損なう場合がある。
- LLMを活用し，生ポインタを適切なRustのデータ構造に置き換えることで，安全性を向上させる。
- PR2は，28のCプロジェクトにおいて，ローカルな生ポインタの約18.57%を効果的に除去した。
- 決定木に基づいたプロンプトとコード変更分析により，書き換え時のエラーを修正し，コンパイルとテストの成功率を高めた。
- 1プロジェクトの変換には平均5.02時間，費用は1.13ドルであった。
会話型プロセスモデル再設計 [cs.AI]目的：大規模言語モデルを活用したプロセスモデルの作成と再設計の実現可能性
- ビジネスプロセス管理は業務効率化に不可欠であり，AIによる支援が期待されている。
- 既存研究は単発のプロンプト実行に偏っており，継続的な対話による改善が不足している。
- 本研究は，対話を通じて専門家がプロセスモデルを効果的に再設計する手法を提案する。
- 提案手法では，LLMが文献から変化パターンを特定し，変更要求をパターンに沿って言い換える。
- これにより，変更内容の透明性と再現性が向上する。
- 実験の結果，LLMやユーザーが理解困難なパターンもあり，明確な変更記述が重要であることが示唆された。
知識グラフ経路を用いた推論による大規模言語モデルの事実性の向上 [cs.CL, cs.AI]目的：大規模言語モデルの事実性向上のための手法
- 知識集約型タスクにおいて，言語モデルの信頼性が重要である。
- 大規模言語モデルは，事実に基づかない情報を生成する可能性がある。
- 知識グラフ経路に基づく推論により，言語モデルの事実性を改善する。
- 提案手法fs1により，6-14ポイントのpass@16スコア改善が確認された。
- 複雑な質問（3回以上のKG経路ホップを要する質問）や数値回答において，特に効果が大きかった。
- 小規模な言語モデルにおいて，改善効果が最も顕著であった。
意味と感度：長文コード推論における意味的想起の影響 [cs.CL, cs.LG, cs.SE]目的：長文コード推論における意味的想起の影響
- 大規模コードベース理解は重要性が増しており，LLMの活用が期待される。
- LLMがコードの意味を理解しているのか，パターンマッチングに頼っているのかが不明である。
- 長文コードにおける意味的想起の低下とその原因を明らかにすること。
- 最先端LLMは，ほぼ完璧な字句的想起能力を持つ一方，意味的想起能力はコードの位置に大きく依存して低下する。
- 既存のコード理解ベンチマークは，パターンマッチングの抜け道を利用している可能性が高い。
- 新しいタスクSemTraceは，予測不可能な操作により高い意味的想起感度を実現し，LLMの精度がコードの位置によって大きく変動することを示した。
強化学習からのプロンプト [cs.AI, cs.CL]目的：大規模言語モデルの能力を最大限に引き出すための自動プロンプト生成
- LLMの性能はプロンプトに大きく依存するが，効果的なプロンプト設計は専門知識を要する。
- 人間の直感では捉えにくい微妙な意味的手がかりが，LLMの挙動に重要な影響を与える。
- 強化学習を用いて，既存のデータに依存しない新しいプロンプトを自動生成し，性能向上を目指す。
- 提案手法PRLは，テキスト分類，簡略化，要約といった多様なベンチマークで最先端の性能を達成した。
- テキスト分類タスクにおいて，既存手法APEと比較して2.58%，EvoPromptと比較して1.00%性能が向上した。
- 要約タスクではROUGEスコアがAPEより4.32%，EvoPromptより2.12%向上し，簡略化タスクではSARIスコアがそれぞれ6.93%と6.01%改善された。
大規模言語モデルは単純なバイアス集合に依然として欺かれる [cs.CL, cs.CL, cs.CL, cs.CL, cs.AI]目的：大規模言語モデルに対する複合的なバイアスの影響評価
- 実世界のデータには多様なバイアスが含まれるため，言語モデルの頑健性が重要である。
- 既存の評価データセットは単一のバイアスに焦点を当てており，複合バイアスの影響を捉えられない。
- 複合バイアスに対する言語モデルの脆弱性を明らかにし，より堅牢なモデル開発を促す。
- 既存の大規模言語モデルやバイアス除去手法は，複合バイアスを含むデータセットにおいて性能が低いことが示された。
- これは，実世界の高リスクなシナリオにおける言語モデルの不安定な性能を裏付けるものである。
- 複合バイアスの解消が，今後の言語モデル研究における重要な課題であることが明らかになった。
SMART：LLMの数学的問題解決能力を評価する自己生成・自己検証型多次元評価 [cs.AI]目的：LLMの数学的問題解決における認知プロセス
- LLMの数学的応用は目覚ましいが，真の推論能力の評価が課題となっている。
- 既存の評価方法は，最終解答や途中過程に焦点を当て，多次元的な認知側面を捉えきれていない。
- LLMの数学的思考を多次元的に評価し，真のproblem-solving能力を測る指標を提示すること。
- SMARTは，数学的問題解決を「意味理解」「数学的推論」「算術計算」「考察と改善」の4次元に分解する。
- 22のLLMをSMARTで評価した結果，次元ごとの能力に大きな差があることが明らかになった。
- 現状のモデルには弱点が存在し，真の問題解決能力を捉える新たな指標「All-Pass Score」を提案した。
LLMに対する二段階正則化ベース構造化プルーニング [cs.SI, cs.CL, cs.CL, cs.LG, cs.AI, cs.CL]目的：大規模言語モデルの効率的な展開
- 大規模言語モデルの活用は重要だが，パラメータ数が膨大であることが課題となっている。
- 既存の構造化プルーニングは，知識損失や再学習の必要性といった問題点を抱えている。
- 本研究は，知識損失を抑制しつつ，効率的なLLM展開を可能とする手法を提案する。
- 提案手法TRSPは，Transformer層の出力に学習可能な重みを導入し，正則化項を加えることで段階的にプルーニングを行う。
- TRSPは，直接的なパラメータ削除に比べ，知識保持能が高く，モデル性能の維持に貢献する。
- 実験により，TRSPは再学習を必要とせず，既存の層単位構造化プルーニング手法を上回る性能を示すことが確認された。
マルチモーダル大規模言語モデル駆動ロボットにおける自己認識 [cs.MA, cs.CY, cs.DB, cs.AI, cs.RO]目的：ロボットにおける自己認識の獲得
- 知的な自律行動の基盤であり，認知ロボティクスの発展に不可欠な研究分野である。
- ロボットが自身の身体を環境内で認識する能力が未発達であり，高度な自律性を阻害している。
- 大規模言語モデルを搭載したロボットが，感覚運動経験を通して自己認識をどのように獲得するかを解明する。
- 本研究では，マルチモーダルLLMを搭載したロボットが，環境認識，自己識別，予測認識を示すことを実証した。
- 構造方程式モデリングにより，感覚統合が最小限の自己の次元と過去・現在の記憶との協調に影響を与えることが明らかになった。
- 感覚入力の除去実験は，センサー間の補償的相互作用と，構造化・エピソード記憶の重要性を裏付けた。
ScienceBoard：現実的な科学的ワークフローにおけるマルチモーダル自律エージェントの評価 [cs.AI, cs.CL, cs.CV, cs.HC]目的：現実的な科学的ワークフローにおけるマルチモーダル自律エージェントの性能評価
- 科学研究の効率化が求められており，LLMを活用した自動化技術への期待が高まっている。
- 既存のエージェントは，複雑な科学的ワークフローにおいて十分な信頼性を確保できていない。
- 複雑な科学的ワークフローを自律的に実行可能なエージェントの開発を促進すること。
- ScienceBoardは，動的な科学的ワークフローとプロフェッショナルソフトウェアを統合した，現実的な環境を提供する。
- 169の高品質なタスクによるベンチマークを通じて，最先端エージェントの性能を評価した結果，全体的な成功率は15%に留まった。
- 詳細な分析から，エージェントの限界と，より効果的な設計原則に関する知見が得られた。
カリキュラムRLAIF：AIフィードバックによる強化学習を用いたカリキュラム整合 [cs.AI]目的：報酬モデルの汎化性能向上
- AIを用いた強化学習は，AIの行動を人間と整合させる上で重要な技術である。
- 報酬モデルの汎化性能が低いと，AIの行動が想定外の状況で悪化する可能性がある。
- データ難易度に基づいたカリキュラム学習により，報酬モデルの汎化性能を高める。
- カリキュラムRLAIFは，難易度の異なるペアを構築し，報酬モデルの学習カリキュラムを作成する。
- 実験結果から，カリキュラムRLAIFで学習した報酬モデルは，汎化性能が向上し，ポリシーモデルの整合性能を大幅に改善することが示された。
- 既存手法と比較して，追加の推論コストなしに，シンプルかつ効率的に高い効果を発揮する。
PiCa：カラム空間射影によるパラメータ効率的なファインチューニング [cs.LG, cs.AI]目的：大規模基盤モデルの専門的なタスクへの適応
- 大規模言語モデルの応用拡大には，特定タスクへの適応が不可欠である。
- パラメータ数が膨大であるため，フルファインチューニングは計算コストが高い。
- カラム空間射影によるパラメータ効率化と，それに基づく新たな学習方法を提案する。
- PiCaは，既存のパラメータ効率的なファインチューニング手法と比較して，より高い性能を示す。
- 理論的な根拠に基づいた学習方法により，パラメータ効率と性能の両立を実現した。
- 自然言語処理と画像認識の多様なタスクにおいて，PiCaの有効性が確認された。
深層ReLUネットワークにおけるサドルダイナミクス：最初のサドル脱出における低ランクバイアス [cs.CL, cs.RO, cs.CL, cs.LG, cs.AI, stat.ML]目的：深層ReLUネットワークにおけるサドル脱出方向の特性
- 深層学習の理論的理解は，その高い性能を説明し，改善に不可欠である。
- 勾配降下法の初期段階におけるサドル点の存在は，学習の停滞を引き起こす可能性がある。
- サドル脱出方向の低ランク構造を解明し，深層学習のダイナミクスを理解すること。
- 深層ReLUネットワークにおいて，サドル脱出方向は深い層で低ランクバイアスを示すことが示された。
- 第ℓ層の重み行列の最初の特異値は，他の特異値よりも少なくともℓ^(1/4)倍大きい。
- この研究は，深層ReLUネットワークがボトルトランクが増加するサドルのシーケンスを訪れるサドル間ダイナミクスを示すことを示唆する。
視覚言語モデルは偏りを持つ [cs.CL, cs.LG, cs.CV]目的：視覚言語モデルにおける知識の偏りが，客観的な視覚タスクの精度に与える影響の検証
- 視覚言語モデルは，多様な応用において高い性能を示すが，その知識源に内在する偏りが問題となりうる。
- 視覚言語モデルは，インターネット上の大量の知識を記憶するため，誤った回答や偏った回答を生み出す可能性がある。
- 視覚タスクにおける知識の偏りが精度に与える影響を特定し，その軽減策を検討する。
- 最先端の視覚言語モデルは，ストライプ数カウントなどのタスクで著しい偏りを示し，平均精度は17.05%に留まる。
- 背景除去により精度は約21.09%向上し，文脈的な視覚的手がかりが偏った応答を引き起こすことが示唆された。
- 推論トークン数が増加すると精度は一時的に向上するが，過度な推論は精度を低下させる傾向がある。
専門家に任せよ：スパース性進化によるスパースファインチューニングでスパースLLMを修復する [cs.AI]目的：スパースLLMの性能維持と効率的なファインチューニング
- 大規模言語モデルは様々なタスクで成功を収めているが，計算資源の制約が課題となっている。
- 既存のプルーニング手法は高スパース性下で性能が低下し，ファインチューニング手法はスパース性を維持できない。
- スパース性を維持しつつ，タスクに適応可能なLLMのファインチューニング手法を開発する。
- 提案手法SEFTは，LLaMA，DeepSeek，Mistralなど様々なLLMで，既存手法よりも優れた性能を示す。
- SEFTは，重みドロップ＆グロウ戦略により，スパース構造を動的に進化させ，タスク固有の適応を実現する。
- SEFTは，メモリと時間効率の面でも優れており，高いスパース性を維持しながら性能向上を達成する。
野生環境における読書認識 [cs.CV, cs.LG]目的：読書認識のための手法
- 常に起動しているスマートグラスにおける文脈理解AIの実現には，利用者の世界とのインタラクションの記録が不可欠である。
- 既存の読書理解研究は，限定された環境下で実施されている場合が多く，多様性と現実味に欠ける。
- 多様で現実的なシナリオにおける読書認識の精度向上を目指す。
- 大規模なマルチモーダル読書データセット「Reading in the Wild」を構築した。
- RGB画像，視線，頭部ポーズの3つのモダリティが読書認識に有効であることを示した。
- 柔軟なTransformerモデルを用いて，各モダリティの効率的なエンコード方法と組み合わせによる効果を検証した。
ペルスペクティブな語彙の使用は，通常の語彙よりも人間にとって，そしてマルチモーダル言語モデルにとってはより難しい [cs.CL, cs.AI]目的：人間とマルチモーダル言語モデルにおける語彙，所有格，指示語の使用における比較
- 言語モデルの性能向上は，人間らしいコミュニケーションの実現に不可欠である。
- マルチモーダル言語モデルは，日常的なペルスペクティブな語彙の使用において課題を抱えている。
- ペルスペクティブな語彙の理解と使用における言語モデルの限界を明らかにする。
- 人間も言語モデルも，通常の語彙よりもペルスペクティブな語彙の方が難しいことが示された。
- 言語モデルの課題は大きく，所有格や指示語において顕著な差が見られた。
- 指示語における性能ギャップは大きく，言語モデルの社会認知能力の不足が示唆された。
誰が腎臓を得るか？人間とAIの価値観の整合性，優柔不断，および倫理的価値 [cs.CY, cs.AI, cs.LG]目的：腎臓移植におけるLLMと人間の価値観の比較と，LLMの意思決定メカニズムの改善
- 医療資源配分は倫理的課題を伴うため，公平性と透明性が求められる。
- LLMの意思決定は人間の倫理観と乖離する可能性があり，深刻な問題を引き起こす。
- LLMの倫理的価値観を人間のものに近づけ，適切な意思決定を支援すること。
- LLMは腎臓配分において，人間の価値観とは異なる属性を優先する傾向があることが示された。
- 人間と異なり，LLMは容易に優柔不断を示すことが少なく，決定的な意思決定を好む傾向がある。
- 少量のサンプルを用いた教師ありファインチューニングは，LLMの意思決定の一貫性と不確実性モデリングの改善に有効である。
MIRROR：AI推論のための計算メカニズムとしての認知原理の収束 [cs.AI]目的：AI推論における計算的優位性を示す認知原理の検証
- AIの高度化には，人間の認知能力を模倣した仕組みが不可欠である。
- 既存のAIシステムは，文脈維持や注意散漫への対処が苦手である。
- 人間の認知原理を統合し，AIの推論能力とロバスト性を向上させる。
- MIRRORは，複数の認知理論に共通する原理を具現化し，AIシステムに実装した。
- マルチターン対話において，MIRRORは7つの異なる言語モデルで21%の相対的な性能向上を達成した。
- 再構成的統合がすべてのモデルで性能向上に寄与し，原理の相補性と有効性が確認された。
推論に焦点を当てた教師ありファインチューニングのためのランク削減後の主重量の解明 [eess.SY, cs.SY, cs.LG, cs.AI, cs.CL]目的：推論能力向上のための主重量の特定
- 大規模言語モデルの性能向上には，ファインチューニングが不可欠であり，限られた計算資源での効率的な手法が求められている。
- 全パラメータのファインチューニングは計算コストが高く，過学習や知識の忘却を引き起こしやすい。
- 重要なパラメータのみを更新する疎なファインチューニングは効率的だが，どのパラメータが重要か特定が困難であった。
- 低ランク近似後の絶対値が大きい重み（主重量）が，ファインチューニングにおいて重要な役割を果たすことが示された。
- 提案手法LIFTは，主重量の上位5%のみを更新することで，全パラメータファインチューニングと同等以上の推論性能を達成した。
- LIFTは，元のドメイン知識を全パラメータファインチューニングやLoRAと比較して最大20%多く保持する。
ReGA：LLMの表現誘導抽象化によるモデルベースの安全対策 [cs.CL, cs.CR, cs.AI, cs.LG, cs.SE]目的：大規模言語モデル(LLM)の安全性を確保するためのモデルベース分析手法
- LLMは様々なタスクで成功を収める一方，安全性への懸念が高まっている。
- LLMの巨大な特徴空間のため，モデルベース分析のスケーラビリティが課題である。
- LLMの安全性を高めるための，スケーラブルなモデルベース分析フレームワークの提供。
- ReGAは，安全に関わる低次元表現を活用することで，抽象モデル作成時のスケーラビリティ問題を軽減する。
- プロンプトレベル，会話レベルともに高い識別性能を示し（AUROC 0.975, 0.985），実世界の攻撃に対する堅牢性も確認された。
- 解釈性とスケーラビリティの点で既存手法を上回り，AI安全のための新たなパラダイムへの道を開く。
大規模ビジョン言語モデルにおけるアンラーニング後の挙動の再検討 [cs.CL, cs.LG, cs.AI, cs.CV]目的：大規模ビジョン言語モデルのプライバシー保護と情報性の両立
- 画像とテキストを理解するモデルの応用が広がる中で，個人のプライバシー保護は重要課題となっている。
- 従来のアンラーニング手法では，忘れ去った情報に代わる適切な出力が考慮されず，不自然な応答が生じることがある。
- プライバシー侵害を防ぎつつ，有益で根拠のある応答を生成できるアンラーニング手法の開発を目指す。
- 既存手法ではプライバシー侵害は抑制できるものの，その後の応答に問題が生じることが示された。
- 提案手法PUBGは，アンラーニング後の挙動を制御し，自然で情報性の高い応答を生成できることが確認された。
- PUBGは，忘れ去った対象に関するプライバシー漏洩を防ぎつつ，視覚的に根拠のある応答を可能にする。
LLM駆動型マルチエージェント探索システムのヘテロジニアスグループに基づく強化学習によるエンドツーエンド最適化 [cs.LG, cs.AI]目的：LLM駆動型マルチエージェント探索システムの最適化
- LLMは多用途だが，知識の限界や制御困難な挙動が課題である。
- エージェント固有の役割最適化は，プロンプトエンジニアリング等で手間がかかる。
- 異種グループに基づく強化学習で，システム全体の成功を最適化する。
- MHGPOは，エージェント間の暗黙的な依存関係を捉え，タスク性能と計算効率で既存手法を上回る。
- 異種グループのロールアウトを利用し，サンプル効率と最適化品質のトレードオフを検討した。
- 大規模なクリティックネットワークに依存する既存手法の不安定性やメモリコストを削減した。
逆問題，パラメータ推定，およびドメイン汎化について [cs.CL, cs.IT, cs.LG, math.IT]目的：逆問題におけるパラメータ推定の理論的分析フレームワーク
- 現実世界のデータサイエンス応用において，信号復元と逆問題は不可欠である。
- 現代の生成モデルによる逆処理が必ずしもパラメータ推定を改善するとは限らない。
- ドメイン汎化を強化する現在の試みの脆弱性を明らかにする。
- 理論的知見は情報理論的なデータ処理不等式と一致しており，逆処理が必ずしもパラメータ推定を改善するわけではないことを示唆する。
- 「二重の意味の定理」と名付けた，ドメインシフト問題と離散パラメータ推定の関係を明らかにした。
- 画像鮮明化や医用画像のスプーキュル抑制の実験により，理論的発見を裏付けた。
SiLIF：スパイクニューラルネットワークのための構造化状態空間モデルのダイナミクスとパラメータ化 [cs.NE]目的：スパイクニューロンの構造化状態空間モデル
- 深層学習の代替として，スパースな活性化と豊かな非線形ダイナミクスを持つスパイクニューロンが注目されている。
- スパイクニューロンのダイナミクスを通じた勾配伝播は不安定になりやすく，スケーラビリティと性能を阻害する。
- 状態空間モデルの安定性と性能に着想を得て，学習可能なスパイクニューロンモデルを提案する。
- 提案するSiLIFモデルは，イベントベースおよび生オーディオ音声認識データセットで，スパイクニューロンモデルの最先端性能を達成した。
- SiLIFモデルは，状態空間モデルと比較して，計算コストを半分に抑えながら，より有利な性能と効率のトレードオフを示す。
- シナプス遅延の利用により，状態空間モデルを上回る性能も実現した。
課題が重要である：知識要求がLLMの文脈・記憶の対立に対する応答を形成する [cs.CL, cs.AI]目的：大規模言語モデルにおける文脈情報とパラメータ記憶の対立に関する研究
- 大規模言語モデルの性能向上には，文脈と記憶の適切な利用が不可欠である。
- 文脈と記憶が対立する場合のLLMの挙動が十分に解明されていない。
- タスクに応じた知識要求を考慮し，文脈と記憶の対立を解消する手法を確立する。
- タスク固有の知識依存性と対立の妥当性が，対立下での性能低下の要因である。
- 理由の説明や文脈の反復は文脈への依存度を高めるが，パラメータ知識を必要とするタスクには悪影響を及ぼす。
- これらの効果はモデルベースの評価にバイアスをもたらし，LLMを評価者として使用することの信頼性を損なう。
R3D2：拡散によるリアルな3Dアセット挿入 - 自律運転シミュレーション向け [cs.CL, cs.CV, cs.LG, cs.RO]目的：自律運転シミュレーションにおける現実的な3Dアセットの挿入
- 自律運転システムの検証には多様なテストが不可欠であり，写実的な仮想環境が求められる。
- 既存のシミュレーションは，スケーラビリティと実環境とのギャップが課題である。
- 3D Gaussian Splattingの弱点を克服し，リアルなアセット挿入を実現する。
- R3D2は，既存のシーンへの3Dアセットのリアルな挿入を可能にする軽量な拡散モデルである。
- R3D2は，影や照明などの現実的なレンダリング効果をリアルタイムに生成する。
- 本研究により，テキストからの3Dアセット生成やシーン間のオブジェクト転送といった応用が可能となり，自律運転の検証におけるスケーラビリティが向上する。
高速流れモデリングのための適応時間ステップの二相深層学習フレームワーク [cs.LG, physics.flu-dyn]目的：高速流れモデリングにおける適応時間ステップの実現
- 流れ場解析は，航空宇宙工学や気象予測など広範な分野で不可欠な技術である。
- 高速流れでは衝撃波が発生し，均一な時間ステップでは現象を捉えきれない場合がある。
- 衝撃波を適切に捉えつつ計算コストを抑える適応時間ステップ手法の開発が求められている。
- 本研究では，二相深層学習モデルShockCastを提案し，高速流れの適応時間ステップを実現した。
- 第一相では時間ステップサイズを予測し，第二相では予測された時間ステップを用いて状態を更新する。
- 3つの超音速流れデータセットを用いて評価を行い，有効性を示した。
StableMTL：部分注釈付き合成データセットからのマルチタスク学習のための潜在拡散モデルの再利用 [cs.CV, cs.AI, cs.LG]目的：密な予測のためのマルチタスク学習
- 画像認識等の分野で，複数のタスクを同時に学習することで効率化が期待される。
- 各タスクに対する大規模なアノテーションデータが必要であり，コストと時間がかかる。
- 合成データセットと拡散モデルを活用し，アノテーションコストを削減する。
- 提案手法StableMTLは，潜在回帰のための画像生成器の再利用により，ゼロショットでのマルチタスク学習を実現した。
- タスクエンコーディングやタスクアテンション機構を導入し，タスク間の相互作用を効率的に捉え，知識の共有を促進する。
- 8つのベンチマークにおいて7つのタスクで既存手法を上回る性能を示した。
テキストベイジアン：LLMベースシステムにおけるプロンプト不確実性の定量化 [cs.LG, cs.AI, stat.ML]目的：LLMベースシステムのプロンプト不確実性の定量化
- LLMは高度なタスクをこなせるが，不確実性の正確な定量化は重要課題である。
- 多くのLLMはブラックボックスであり，不確実性の評価が困難である。
- プロンプトを統計的モデルのパラメータとして扱い，不確実性を定量化する。
- 提案手法MHLPは，既存のLLMパイプラインに容易に組み込むことができる。
- 様々なLLMベンチマークおよび不確実性定量タスクにおいて，予測精度と不確実性定量が向上した。
- 本研究は，LLM時代にベイジアン統計の知見を取り込むための道筋を示す。
行動模倣における組み合わせ汎化のための自己予測表現 [cs.LG, cs.AI]目的：組み合わせ汎化における自己予測表現
- ロボット制御などにおいて，多様な状況への適応が重要であるため。
- 従来の行動模倣は，未知の状況における汎化性能が課題である。
- 状態表現の一貫性を高めることで，未知の状況への汎化を改善する。
- 本研究では，後継表現に基づく自己予測表現学習手法BYOL-γを提案した。
- 提案手法は，有限マルコフ決定過程において後継表現を近似的に実現する。
- 複数の困難なタスクにおいて，組み合わせ汎化性能で良好な結果が得られた。
時系列予測における推論：強化学習を用いたLLMによるスローシンキングアプローチ [cs.LG, cs.AI]目的：時系列予測における多段階推論能力の向上
- 時系列予測は，需要予測や経済予測など，様々な分野で重要な役割を担っている。
- 従来の予測手法は，過去のパターンを未来に単純にマッピングする傾向があり，推論過程が欠如している。
- LLMにスローシンキング能力を習得させ，時系列データ特有の深層的な推論を可能にすることを目指す。
- 提案手法Time-R1は，LLMの多段階推論能力を強化するための二段階の強化学習フレームワークである。
- Time-R1は，多様なデータセットにおいて予測性能を大幅に向上させることを実験的に示した。
- GRIPという手法により，有効な推論経路の探索を促進し，モデルの最適化に貢献している。
LLM修正と音響・意味的文脈を用いた教室内の音声における固有表現認識の改善 [cs.CL, cs.AI]目的：教室内の音声における固有表現認識の精度向上
- 教育現場での音声認識技術は，講義の記録や分析に不可欠であり，学習効果の向上に貢献しうる。
- 従来の音声認識システムは，特に固有表現の認識において高いエラー率を示す場合があり，その後の処理に悪影響を及ぼす。
- 大規模言語モデルと文脈情報を活用し，固有表現認識のエラーを修正することで，システム全体の精度向上を目指す。
- 本研究では，大規模言語モデルによる修正パイプラインを導入し，音響・意味的文脈を活用することで，固有表現認識のエラー率を大幅に削減した。
- 新たに構築したNER-MIT-OpenCourseWareデータセットを用いて評価を行った結果，固有表現の相対的なエラー率を最大30％削減することに成功した。
- 提案手法は，教室内の音声認識における固有表現認識の精度向上に貢献し，より信頼性の高いシステム構築に繋がると考えられる。
「何に忠実なのか？」忠実度に基づく説明の限界について [cs.LG, stat.ML]目的：説明可能なAIにおける忠実度評価の限界
- AIの透明性向上は，実用化と信頼性確保に不可欠である。
- 忠実度指標は学習済みモデルに依存し，真のデータ生成信号を捉えきれない。
- 忠実度が高くても，予測性能の根底にある構造を説明できない場合がある。
- 線形性スコアλ(f)を用いて，回帰ネットワークの入力-出力挙動の線形復号可能性を定量化。
- 高忠実度なサロゲートモデルが，単純な線形モデルよりも劣る場合があることを実証。
- モデルの振る舞いを説明することと，タスクに関連するデータ構造を説明することは異なる。
音声自己教師あり学習モデルにおけるMambaの探求 [cs.CL, cs.AI]目的：MambaベースHuBERTモデルの性能評価
- 音声処理技術は，人間と機械の円滑なコミュニケーションに不可欠であり，その重要性は増している。
- Transformerベースのモデルは計算コストが高く，長文脈の処理やリアルタイム処理に課題がある。
- Mambaの線形時間Selective State Spaceを活用し，計算効率と性能の両立を目指す。
- MambaベースのHuBERTモデルは，Transformerベースのモデルと比較して，少ない計算量で長文脈ASRのファインチューニングが可能である。
- ストリーミングASRにおける性能が向上し，SUPERBベンチマークにおいても競争力のある結果を示した。
- Mambaモデルは，Transformerモデルよりも高品質な量子化表現を獲得し，話者関連の特徴をより明確に捉えることが示された。
不確実性下における強健な分布型ソフトアクター・クリティック [cs.LG, cs.AI, math.OC]目的：強化学習における不確実性に対するロバスト性
- 現実世界での応用には環境の不確実性への対応が不可欠である。
- 既存の分布型ロバスト強化学習は，テーブル形式や価値関数ベースに限られる。
- 連続作用空間におけるオフライン学習のためのアクター・クリティック型アルゴリズムを開発する。
- 提案手法DR-SACは，SACのベースラインと比較して，一般的な摂動下で平均報酬が最大9.8倍向上した。
- DR-SACは，既存のDR-RLアルゴリズムと比較して，計算効率と大規模問題への適用性が大幅に向上した。
- KLダイバージェンス制約された不確実性集合内で，最悪の遷移モデルに対するエントロピー正則化報酬を最大化する。
PrefixMemory-Tuning：アテンションからプレフィックスを分離することでプレフィックスチューニングを現代化する [cs.CL, cs.AI]目的：大規模言語モデルの効率的なファインチューニング手法の改善
- 近年，大規模言語モデルの活用が拡大しており，タスクへの適応が重要となっている。
- 従来のプレフィックスチューニングは，最新の大規模言語モデルでは性能が制限されている。
- プレフィックスチューニングの潜在的な限界を克服し，競争力のある手法を確立すること。
- PrefixMemory-Tuningは，既存のプレフィックスチューニング手法と比較して，様々なベンチマークで一貫して高い性能を示す。
- いくつかの一般的なベンチマークにおいて，最新のPEFT手法と競合できる性能を達成している。
- プレフィックスチューニングアプローチを拡張することで，大規模言語モデルの効率的な適応における競争力のある研究方向となりうる。
大規模言語モデルにおける疎な特徴量共起が，因果的意味モジュールを明らかにする [cs.CL, cs.IR, cs.CL, cs.AI]目的：大規模言語モデルにおける因果的意味モジュールの特定
- 言語モデルの性能向上には，内部表現の理解が不可欠である。
- 言語モデルの知識がどのように組織化されているか不明確である。
- 言語モデルのモジュール構造を解明し，効率的な操作を可能にすること。
- 疎な自己符号化器の特徴量共起から，意味的に一貫性のあるネットワーク要素を抽出した。
- これらの要素を操作することで，モデルの出力が予測可能な形で変化することを示した。
- 概念と関係の要素を組み合わせることで，複合的な反事実応答を生成できた。
言語モデルにおける表現の分散性の予測力について [cs.CY, q-fin.RM, cs.CL, cs.AI]目的：言語モデルのテキスト予測能力と埋め込み空間の広がりとの関連性
- 自然言語処理の発展に伴い，言語モデルの性能向上が重要視されている。
- 言語モデルの予測性能を評価・改善するための指標が十分でない場合がある。
- 表現の分散性を指標として活用し，言語モデルの性能評価と改善を目指す。
- 言語モデルの文脈埋め込み表現の分散性は，パープレキシティと強い負の相関があることが示された。
- ラベル付きデータを用いずに，分散性を測定することで，テキストの難易度をランク付けし，モデルの評価を効率化できる。
- 分散性の高い層を特定することで，kNN-LMなどの検索ベース手法における最適な表現を選択できる。また，分散性を高める学習手法によってパープレキシティが改善された。