arXiv雑要約
AI - 2026/04/20 公開
異種シェーフレートラルネットワーク [cs.CL, cs.LG]目的：異種グラフにおける表現学習と予測
- 現実世界の複雑な関係性を捉えるため，異種グラフの分析が重要である。
- 既存手法はモデル構造の変更に依存し，パラメータ数が増大しやすい。
- セルシェーフレートラルネットワークを用いて，効率的な異種グラフの表現学習を目指す。
- 提案手法HetSheafは，セルシェーフレートラルネットワークを用いて異種関係データを表現する。
- ノードやエッジのタイプに応じた特徴空間と相互作用を効果的にエンコードする。
- HetSheafは，既存手法と比較してパラメータ数を大幅に削減しつつ，高い予測性能を示す。
ライブビデオストリーミングにおける主観的・客観的QoE評価研究 [cs.MM, cs.AI, eess.IV]目的：ライブビデオストリーミングのQoE評価
- 近年，ライブビデオストリーミングが普及し，サービス品質の評価が重要になっている。
- 既存のQoE指標はオンデマンド動画向けであり，ライブストリーミング特有の課題に対応できていない。
- ライブストリーミングに特化したQoE評価指標を開発し，最適化を目指す。
- 新たにライブビデオストリーミングQoEデータセットTaoLive QoEを構築し，主観評価実験を実施した。
- 既存のQoEモデルの性能を評価した結果，特にライブコンテンツのQoE予測に課題が残ることが示された。
- マルチスケールセマンティック特徴と光流に基づくモーション特徴を統合したQoE評価モデルTao-QoEを提案した。
価格，入札，価値：すべてを統べる1つの機械学習駆動型組み合わせオークション [cs.CE, cs.GT, cs.AI, cs.LG]目的：組み合わせオークションの効率最大化に向けた機械学習アルゴリズム
- 組み合わせオークションは，複雑な資源配分問題に有効である。効率的な解決が重要となる。
- 組み合わせ空間が指数関数的に増加するため，効率的な入札情報収集が課題である。
- 価値クエリと需要クエリの両方を活用し，効率的な学習とオークション設計を目指す。
- 提案手法MLHCAは，従来の最先端手法と比較して，効率損失を最大10分の1に削減する。
- MLHCAは，入札者への負担を軽減しつつ，高い効率性を実現する新たなベンチマークとなる。
- 価値クエリと需要クエリの両方を組み合わせることで，学習性能が大幅に向上することが示された。
VeriGraph：実行検証可能なロボット計画のためのシーングラフ [cs.RO, cs.AI]目的：ロボット計画のためのシーングラフの利用
- ロボットの自律的なタスク実行は，人間の作業を代替する上で重要である。
- 既存のビジョン言語モデルは計画の誤りを起こしやすく，信頼性に課題がある。
- シーングラフを用いて行動の実行可能性を検証し，計画の精度と信頼性を向上させる。
- 提案手法VeriGraphは，シーングラフを中間表現として利用することで，計画の検証と修正を可能にする。
- 多様な操作シナリオにおいて，従来の基盤モデルを大幅に上回るタスク完了率を達成した。
- 言語ベース，タングラムパズル，画像ベースのタスクで，それぞれ58%，56%，30%の改善が見られた。
Transformerニューラルプロセス - カーネル回帰 [cs.LG, cs.AI, stat.ML]目的：確率過程の事後予測分布を直接モデル化する手法の開発
- ガウス過程の計算コストが高い中で，スケーラブルな代替手法が求められている。
- 既存のニューラルプロセスは，注意機構による計算量のボトルネックが存在する。
- 計算効率を向上させつつ，高性能なニューラルプロセスを実現することを目指す。
- Transformerニューラルプロセス - カーネル回帰（TNP-KR）は，100Kのコンテキストポイントと1Mのテストポイントに対して，1分以内に推論が可能である。
- TNP-KR（DKA）は，Performerと比較して，様々なベンチマークにおいて優れた性能を示した。
- TNP-KR（SA）は，最先端の結果を達成した。
人文研究における低資源言語に対する大規模言語モデルの機会と課題 [cs.CL, cs.AI]目的：低資源言語における大規模言語モデルの応用可能性
- 低資源言語は人類の歴史・文化を記録しており，多様性の維持に不可欠である。
- データ不足や技術的制約により，低資源言語の研究・保存が困難である。
- 大規模言語モデルを活用し，低資源言語研究の課題解決を目指す。
- 大規模言語モデルは，言語学的変化，歴史的記録，文化的表現，文学分析など，低資源言語研究に革新的な方法論をもたらす。
- データアクセス性，モデルの適応性，文化的感受性などが課題として挙げられる。
- 学際的な協力とカスタムモデルの開発が，低資源言語研究の進展に不可欠である。
市場調査のための大規模言語モデル：データ拡張アプローチ [cs.AI, cs.LG, stat.ME, stat.ML]目的：市場調査におけるデータ拡張による大規模言語モデルの活用
- 市場調査は，企業戦略の策定に不可欠な消費者ニーズの把握に貢献する。
- 従来の調査手法は，コストと時間，そして規模の拡大に課題を抱えている。
- 大規模言語モデルのバイアスを克服し，実データとの統合を統計的に保証する。
- 提案手法は，大規模言語モデル生成データと実データを統計的に統合することで，推定誤差を低減する。
- COVID-19ワクチンに関する実証実験により，データおよびコストを最大79.8%削減できることが示された。
- 大規模言語モデル生成データは，適切な統計的枠組み下では，人間の回答を補完する価値ある手段となり得る。
深層学習を用いた合成開口レーダー画像における氷河カルビングフロントの識別比較研究 [cs.CV, cs.LG]目的：氷河カルビングフロントの識別
- 海面上昇予測には，氷河の変化を継続的に監視することが不可欠である。
- 深層学習システムの識別精度にはまだ課題があり，人手による識別との差が大きい。
- 深層学習システムの精度向上と，より正確な氷河変動の把握を目指す。
- 深層学習システムは最大で221mの誤差を示すのに対し，人手による識別誤差は38mに留まる。
- 深層学習システムの精度向上の必要性が示唆される。
- 今後の研究で，深層学習システムの精度を改善する必要がある。
文化の出会い：多文化テキスト-画像生成 [eess.SY, cs.SY, cs.IR, cs.CE, eess.SY, cs.SY, cs.CV, cs.AI]目的：多文化シーンの生成に関する研究
- 画像生成技術は発展したが，多様な文化を反映した生成は課題である。
- 既存モデルは単一文化に偏っており，多文化シーンの生成能力が検証されていない。
- 多文化シーンを生成するためのベンチマークと，その改善策を提案する。
- 多文化テキスト-画像生成タスクを定義し，5か国，3世代，2性別，25ランドマークを含む9,000枚のデータセットを構築した。
- 最先端モデルの性能を，アライメント，品質，美観，知識，公平性の観点から分析した結果，言語や属性による差が明らかになった。
- 文化的人格を持つLLMを活用するMosAIGフレームワークにより，プロンプトの工夫で画質と文化的な適切性を向上させることができた。
FSPO：少数のサンプルを用いた合成された嗜好の最適化がリアルユーザーにパーソナライズされる [cs.LG, cs.AI, cs.CL, cs.HC, stat.ML]目的：LLMのパーソナライズ
- LLMはバーチャルアシスタント等，多様なユーザーインターフェースで重要性を増している。
- リアルなユーザーの嗜好データは大規模に収集することが困難である。
- 合成データからリアルユーザーへの転移を成功させるための手法を開発する。
- FSPOは，合成ユーザーに対する応答生成において87%のAlpaca Evalの勝率を達成した。
- オープンエンドの質問応答において，リアルな人間のユーザーに対して70%の勝率を示した。
- FSPOは，報酬モデリングをメタ学習問題として捉え，少数のラベル付き嗜好からパーソナライズされた報酬関数を学習する。
WiseMind：知識誘導型マルチエージェントフレームワークによる正確かつ共感的な精神疾患診断 [cs.AI, cs.CL]目的：精神疾患の正確かつ共感的な診断
- 精神医療の現場では，効率的かつ質の高い診断が不可欠であり，AI技術の応用が期待されている。
- 大規模言語モデルは幻覚を起こしやすく，臨床的推論や共感的なコミュニケーションが不足している場合がある。
- 知識グラフを用いて診断の精度を高め，人間味のある対話による患者との信頼関係構築を目指す。
- WiseMindは，エビデンスに基づいた論理と共感的なコミュニケーションを両立し，従来のLLMよりも高い診断精度を実現した。
- シミュレーションおよび実データを用いた評価で，上位1位の診断精度は85.6%に達し，精神科医の診断レベルに匹敵する結果となった。
- 精神科医による評価においても，WiseMindの応答は臨床的に妥当かつ心理的に支援的であると評価され，実用性の可能性が示された。
RAGを用いたLLMベースの量子コード生成を強化するためのPennyLane中心のデータセット [cs.SE, cs.AI, quant-ph]目的：LLMベースの量子コード生成の性能向上
- 量子技術の発展には，ソフトウェア開発の効率化が不可欠である。AI支援による量子プログラミングが注目されている。
- LLMを量子ソフトウェア開発に応用するには，高品質な学習データセットと知識源が不足しているという課題がある。
- PennyLaneに特化した高品質なデータセットを構築し，RAGパイプラインによるLLMの性能向上を目指す。
- PennyLangという3,347個のPennyLane量子コードサンプルを含むデータセットを構築し，オープンソースで公開した。
- RAGを用いることで，Qwen 7Bの成功率は8.7%から41.7%に，LLaMa 4は78.8%から84.8%に向上した。
- PennyLangの使用は，幻覚の低減と量子コードの正確性の向上にも貢献した。
AutoNFS：自動ニューラル特徴選択 [cs.LG]目的：機械学習における特徴選択の自動化
- 高次元の表形式データにおいて，解釈性と計算効率が重要であり，特徴選択は不可欠な課題である。
- 既存手法では，適切な特徴量の数を自動的に決定できず，ユーザ介入や再学習が必要となる場合がある。
- AutoNFSは，必要な最小限の特徴量を自動的に決定し，計算コストを抑えた特徴選択を実現する。
- AutoNFSは，Gumbel-Sigmoidサンプリングに基づく特徴選択モジュールと，選択された特徴量の関連性を評価する予測モデルを組み合わせる。
- AutoNFSは，既存の古典的およびニューラルな特徴選択手法と同等以上の性能を示し，平均して選択する特徴量の数を削減した。
- 追加の計算コストが入力特徴量の数に依存しないため，高次元データにも適用可能である。
テキスト意味論による視覚表現の強化：異種連合学習のためのテキスト意味論駆動型プロトタイプ [cs.LG, cs.AI]目的：異種データ環境における連合学習のための，意味論的に強化されたプロトタイプの構築
- 連合学習は，プライバシー保護と分散データ活用を両立する重要な技術である。
- データが分散し異種である場合，モデルの汎化性能が低下する課題がある。
- テキストの意味的関係性を活用し，より効果的なプロトタイプを構築すること。
- 提案手法FedTSPは，大規模言語モデルを用いて各クラスの詳細なテキスト記述を生成し，それをプロトタイプとして活用する。
- 学習可能なプロンプトを導入することで，クライアントモデルとプロトタイプ間のモダリティギャップを解消し，適応性を高める。
- 実験により，FedTSPがデータ異質性を緩和しつつ，収束を大幅に加速させることが示された。
合成ディスカッション生成システムの設計：オンライン促進への事例研究 [eess.SY, cs.SY, math.OC, cs.HC, cs.CL, cs.LG]目的：合成ディスカッション生成による実験と理論的枠組み
- 社会科学研究における人間実験のコストが高いという課題を解決する必要がある。
- 既存研究では，OpenAI GPTのような大規模言語モデルが無駄に利用されている場合がある。
- より低コストで効果的なシミュレーションを実現し，実験設計の指針を示す。
- 小規模な量子化モデル（7B-8B）でも，大規模モデルと比較して44倍以上のコスト削減で有効なシミュレーションが可能であることが示された。
- LLMファシリテーターは介入タイミングの判断が難しく，頻繁な介入や人間との類似した議論の脱線が生じやすいという限界が明らかになった。
- 異なる促進戦略が会話のダイナミクスに影響を与える可能性が示唆された。実験設計のためのコスト比較手法，モデルの探索，オープンソースのPythonフレームワーク，および大規模なデータセットが公開された。
進化したインテリジェントな系列モデリング：S4からMambaまでの状態空間アーキテクチャの進化，トレードオフ，応用 [cs.LG]目的：状態空間モデルの進化と応用に関する体系的な分析
- 系列モデリングは，自然言語処理や時系列予測など，様々な分野で重要な役割を担う。
- 従来のRNNやTransformerは，勾配消失問題や計算量の問題により，長距離依存関係の学習が困難であった。
- 本研究は，より効率的で高性能な系列モデリングを可能にする状態空間モデルの可能性を探求する。
- 状態空間モデルは，RNNやTransformerの課題を克服し，線形または準線形の計算規模で優れた性能を発揮する。
- S4からMambaなどの最新モデルへの進化を分析し，計算効率，メモリ最適化，推論速度の向上に貢献するアーキテクチャ革新を評価した。
- 実用例として，リアルタイム音声合成やゲノム配列モデリングにおいて，従来のモデルと比較して最大60%の推論遅延削減を達成した。
人工好奇心への情報幾何学的アプローチ [cs.HC, cs.CL, cs.LG]目的：強化学習における疎な報酬環境下での学習
- 強化学習は，複雑な問題を解決するための強力な枠組みであり，ロボット工学や自動運転などへの応用が期待される。
- 報酬が少ない環境では，効率的な探索が困難であり，学習が停滞する可能性がある。
- 情報幾何学の概念を用いて，内在的報酬の適切な定式化を導き，効率的な探索を実現すること。
- 内在的報酬は，占有率の逆関数の厳密な凹関数によって一意に制約されることが示された。
- 情報測地線補間を用いることで，探索と活用間の適切なトレードオフを実現する。
- この枠組みは，既存の探索手法を統合し，内在的報酬の設計に重要な制約を与える。
二つの学習アルゴリズムの物語：複数ストリームランダムウォークと非同期ゴシップ [cs.LG]目的：分散学習における複数ストリームランダムウォークと非同期ゴシップの性能比較
- 分散学習は，データが分散している大規模なシステムにおいて重要な役割を果たす。
- ゴシップやランダムウォークに基づく学習アルゴリズムの性能比較は，グラフ構造やデータ異質性によって異なるが，理論的・実験的な分析が不足している。
- 異なるグラフ構造とデータ異質性において，各アルゴリズムの有効性を示す。
- 複数ストリームランダムウォーク（MW）は，直径の大きいグラフにおいて，非同期ゴシップよりも少ない反復回数で収束する。
- 直径の小さいグラフにおいては，MWの性能はウォーク数とデータ異質性に依存する。
- 壁時計時間分析では，MWと非同期ゴシップにおいて，ウォーク数とノード数に比例した高速化が確認された。また，MWは通信オーバーヘッドにおいて優れている。
エージェントAI最適化（AAIO）：その概要，仕組み，重要性，および対処法 [cs.AI]目的：ウェブサイトとエージェントAIシステム間の効果的な統合
- AI技術の進化により，自律的にデジタルインタラクションを開始するエージェントAIが登場し，新たな最適化が必要となる。
- 従来のSEOでは対応できない，自律型AIエージェントとオンラインプラットフォーム間の相互作用の最適化が課題となっている。
- ウェブサイト最適化とエージェントAIの成功の相互依存関係を明らかにし，健全なサイクルを創出することを目指す。
- 本稿では，エージェントAI最適化（AAIO）を，ウェブサイトとエージェントAIシステムを効果的に統合するための重要な手法として提唱する。
- AAIOはSEOと同様に，自律型AIエージェントとオンラインプラットフォーム間のインタラクションを定義する可能性を秘めている。
- AAIOのガバナンス，倫理，法，社会への影響（GELSI）を考察し，潜在的な負の影響を緩和するための積極的な規制の必要性を強調する。
適応的タスク切り替えポリシーを持つスパイクニューラルネットワークによるスケーラブルなマルチタスク学習 [cs.NE, cs.AI, cs.LG, cs.RO]目的：知能を持つ自律エージェントのためのスケーラブルなマルチタスク学習
- 多様な実世界環境への適応には，複数のタスクを同時に学習できる自律エージェントが必要不可欠である。
- 従来のマルチタスク学習は，タスク間の干渉により性能が低下するという課題があった。
- タスク切り替えを適応的に行うことで，タスク干渉を抑制し，スケーラブルな学習を実現することを目指す。
- 提案手法SwitchMTは，Atariゲームにおいて，最先端手法と競争力のあるスコアを達成した。
- 特に，Pong，Breakout，Enduroにおいて，高い性能と長いゲームプレイ時間を実現した。
- SwitchMTはネットワークの複雑さを増やすことなく，タスク干渉を効果的に解決し，スケーラブルなマルチタスク学習を可能にする。
ヒストグラムに基づくパラメータ効率的なチューニング：受動的・能動的ソナー分類への応用 [cs.LG, cs.SD]目的：受動的・能動的ソナー分類のためのパラメータ効率的なチューニング手法
- ソナー技術は，海洋監視や安全確保に不可欠であり，その性能向上は重要である。
- 大規模ニューラルネットワークの転移学習において，中間層の特徴量の分布シフトへの対応が課題である。
- ヒストグラムに基づく手法で分布シフトに対応し，限られたリソースでの性能向上を目指す。
- 提案手法HPTは，３つの受動的ソナーデータセットで従来のAdapterよりも高い性能を示した。
- 特にVTUADデータセットにおいて，HPTは91.8%の精度を達成し，Adapterの89.8%を上回った。
- HPTは，完全なファインチューニングモデルに近い特徴表現を獲得し，効率性と性能を両立した。
AIエージェントと困難な選択 [cs.AI]目的：複数の目的が同時に追求される場合に，AIエージェントが取りうる困難な選択の検討
- AI技術は社会の様々な分野で活用が拡大しており，倫理的な意思決定の重要性が増している。
- 現在のAIエージェントは最適化を前提として設計されており，価値観の衝突や比較不能な選択肢への対応が困難である。
- AIエージェントが困難な選択を適切に行えるよう，その限界と解決策を探求すること。
- 現在の多目的最適化（MOO）に基づくAIエージェントは，比較不能性を認識できない構造的な問題を抱えていることが示された。
- この認識不能性から，意思決定の妨害，信頼性の欠如，不安定性といった新たなアライメント問題が生じることが明らかになった。
- AIエージェントに自律的な意思決定を委ねる際の，倫理的なトレードオフの検討と，アンサンブル解の概念的探求が行われた。
ソフトピック：注意シンクと大規模活性化のない修正ソフトマックス [cs.LG]目的：Transformer注意機構におけるソフトマックスの代替手法
- Transformerは自然言語処理の基盤であり，高性能なモデル構築に不可欠である。
- 従来のソフトマックスは注意シンクや大規模な活性化を引き起こし，性能を阻害する可能性がある。
- ソフトピックは，これらの問題を解消し，モデルの効率性と性能を向上させることを目指す。
- ソフトピックは，Transformerモデルにおいて注意シンクを0％に抑えることに成功した。
- ソフトピックを用いることで，隠れ状態の尖度を低減し，スパースな注意マップを生成することが確認された。
- 量子化モデルにおいて，ソフトピックは特に低ビット精度で，ソフトマックスを上回る性能を示した。
概念ドリフト誘導LayerNormチューニングによる効率的なマルチモーダル比喩識別 [cs.MM, cs.LG]目的：マルチモーダル比喩識別のための効率的なフレームワーク
- 比喩理解は人間認知とコミュニケーションの根幹であり，そのメカニズム解明は重要である。
- 従来のマルチモーダル比喩識別手法は，文字通りの解釈と比喩的な解釈のギャップを埋めるのが困難である。
- 本研究は，計算コストを抑えつつ，マルチモーダル比喩識別の精度向上を目指す。
- 提案手法CDGLTは，MET-Memeベンチマークにおいて，最先端の性能を達成した。
- CDGLTは，既存の生成手法と比較して，大幅な学習コスト削減を実現した。
- 概念ドリフトと適応的なLNチューニングの有効性が，消去実験によって示された。
解釈可能な痕跡，予期せぬ結果：痕跡ベースの知識蒸留における乖離の調査 [cs.CL, cs.AI]目的：質問応答における痕跡の正誤と解釈可能性の関係性の検証
- 大規模言語モデルの推論能力向上に，思考連鎖(CoT)といった中間推論ステップが注目されている。
- CoTの痕跡が必ずしも意味的に正しく，人間にとって理解可能とは限らない点が問題視されている。
- 痕跡の正確性と解釈可能性を分離し，モデルの学習目標とユーザへの提示方法を最適化することを目指す。
- 痕跡の正誤は最終的な正解率と必ずしも相関せず，正しい痕跡でも正解に至る割合は28%に留まった。
- 詳細な痕跡でのファインチューニングは性能が最も良かったが，解釈可能性は最も低く，認知負荷も高かった。
- 解釈しやすい分解された痕跡は性能面で匹敵しなかった。モデルの教師データ作成とユーザインターフェースは分離すべきである。
動的なサンプリングの適応：数学的推論のための自己認識型反復データ持続最適化 [cs.AI, cs.CL]目的：数学的推論におけるモデル能力に合わせた訓練データ分布の最適化
- 数学的推論は，AIの重要な応用分野であり，その性能向上は様々な問題解決に繋がる。
- 既存のデータ選択戦略は静的指標に依存し，モデルの学習に伴う能力の変化に対応できていない。
- モデルの現在の能力レベルに適合した，関連性の高い訓練データを動的に選択することを目的とする。
- SAI-DPOは，知識のセマンティックアライメントと自己認識型難易度という2つの新しい指標を活用する。
- SAI-DPOは，AIME24やAMC23を含む8つのベンチマークで，静的なベースラインを最大で約6ポイント上回る性能を示した。
- 少ないデータ量で最先端の効率を達成し，教師ありファインチューニングや強化学習の効率を改善する。
TabularMath：大規模言語モデルによる表に即した数学的推論の理解 [cs.AI, cs.CL]目的：表を用いた数学的推論の理解
- 現実世界の応用において，数値データは表形式で提示されることが多く，その処理能力は重要である。
- 既存の数学的問題解決研究は，表データの推論を十分に扱えておらず，実用的な応用への対応が遅れている。
- 大規模言語モデルにおける表データを用いた推論能力の限界と改善点を明らかにすること。
- 表の複雑さと推論の難易度は，推論性能に相互に影響を与えることが示された。
- 質の低い表は，現在のLLMにおける信頼性の高い推論に対して深刻なリスクをもたらすことが明らかになった。
- テキスト形式と画像形式の表では同様の傾向が示され，一般的にテキスト形式の方が推論しやすいことが示唆された。
ChemAmp：構成可能なエージェントによる化学ツールの増幅 [cs.CL, cs.LG, cs.AI, cs.CL]目的：化学ツールによる能力の増幅
- 化学分野におけるLLMエージェントの活用は進むも，個々のツールの性能がボトルネックとなっている。
- 既存の化学ツールは，単独では複雑な課題に対応できず，性能限界がある。
- 化学ツールを動的に組み合わせることで，単一のツールでは解決できない課題に対応する。
- ChemAmpは，UniMol2やChemformerなどの化学ツールを構成可能なエージェントとして扱うことで，ツール間の連携を最適化する。
- わずか10サンプル以下のデータで，ChemAmpは化学に特化したモデルや汎用LLM，既存のエージェントシステムを上回る性能を示す。
- ChemAmpは，従来のマルチエージェントシステムと比較して，推論コストを94％削減することに成功した。
大規模言語モデルが効果的な逐次推薦システムとなる要因：嗜好の強度と時間的文脈の研究 [cs.CL, cs.IR, cs.LG]目的：大規模言語モデルにおけるユーザー嗜好のモデリング
- 推薦システムは，情報過多な現代においてユーザーのニーズに合致した情報を提供する上で不可欠である。
- 従来の推薦手法では，ユーザーの嗜好を十分に捉えきれていない場合がある。
- 本研究は，ユーザーの嗜好強度と時間的文脈を考慮することで，推薦精度を向上させることを目指す。
- 既存の嗜好整合アプローチが二値ペア比較に依存しており，嗜好の強度と時間的文脈を無視していることが明らかになった。
- 提案手法RecPOは，明示的・暗黙的なフィードバックを共通の嗜好シグナルに変換し，嗜好の強度と相互作用の最新性を考慮した適応的な報酬マージンを構築する。
- 5つのデータセットにおける実験で，RecPOは最先端のベースラインを常に上回り，人間の意思決定パターンと一致する行動を示した。
全てのトークンが重要とは限らない：強化学習によるトークン重要度を用いた効率的なLLM推論 [cs.LG, cs.CL]目的：LLMの推論効率の向上
- 大規模言語モデルは強力な推論能力を持つが，効率的な活用が課題となっている。
- 従来の強化学習は精度に重点を置いており，トークンごとの貢献度を考慮していない。
- トークン重要度を考慮し，冗長性を削減することで効率性と精度を両立させる。
- 提案手法は，トークンの重要度を考慮した報酬関数を用いることで，応答の長さを大幅に削減できる。
- また，学習初期は詳細な推論を促し，徐々に簡潔性を重視する動的な報酬関数も有効である。
- 複数のベンチマーク実験により，提案手法は推論精度を維持・向上させながら，応答長を大幅に短縮することが示された。
PyLO：PyTorchにおけるアクセス可能な学習型最適化手法に向けて [cs.LG]目的：学習型最適化手法のPyTorchへの実装
- 機械学習の効率化が求められており，最適化手法はその重要な要素である。
- 既存の学習型最適化手法は実装が複雑で，利用可能な環境が限られていた。
- PyTorchユーザーが容易に学習型最適化手法を利用できるようにすることを目的とする。
- PyLOは，VeLOやsmall fc loptをPyTorchで利用可能にするライブラリである。
- ViT-B/16の事前学習において，学習速度が大幅に向上した（それぞれ205.59，191.18サンプル/秒）。
- 学習率スケジューリングや重み減衰と組み合わせることで，学習型最適化手法の性能を更に向上させることが可能である。
HiPreNets：漸進的訓練による高精度ニューラルネットワーク [cs.LG, cs.NA, cs.NE, math.NA]目的：高精度ニューラルネットワークの訓練手法
- 科学技術分野における非線形問題解決に不可欠であり，複雑な問題への対応が求められている。
- 最適化の非凸性やハイパーパラメータへの依存性が高く，安定した性能向上が困難である。
- 平均二乗誤差最小化に偏りがちで，安全性が重要な用途における最大誤差の抑制が課題である。
- HiPreNetsは，逐次的な残差更新によって高精度なニューラルネットワークを訓練する。
- Feynmanデータセットの回帰問題において，既存手法よりも高い精度を達成した。
- 20次元の電力システムODEの学習に適用し，RMSEと最大誤差を大幅に削減，シミュレーション速度を向上させた。
ペルソナが割り当てられた大規模言語モデルは，人間のような動機付けられた推論を示す [cs.AI, cs.CL]目的：大規模言語モデルにおける動機付けられた推論の存在とその影響
- 社会問題の議論において，合理的な判断を妨げる動機付けられた推論が問題となる。
- 大規模言語モデル（LLM）が人間の認知バイアスを持つことは知られているが，アイデンティティとの整合性を重視した推論の度合いは不明である。
- LLMにペルソナを割り当てることで，人間と同様の動機付けられた推論を引き起こすかどうかを検証する。
- ペルソナが割り当てられたLLMは，ペルソナがないLLMと比較して，誤情報の真偽を見抜く能力が最大9％低下した。
- 政治的なペルソナを持つLLMは，自身の政治的アイデンティティと一致する銃規制に関する科学的証拠を正しく評価する可能性が最大90％高かった。
- プロンプトによるバイアス軽減手法は，これらの影響を緩和するには効果がないことが示された。
行動における心の理論：動的な人間・エージェント協調における指示推論タスク [cs.CL, cs.AI, cs.MA]目的：人間とエージェントの協調における指示理解のメカニズム
- 人間とエージェントの協調は，様々な分野で重要性を増しており，より自然な相互作用が求められている。
- 指示が不完全または曖昧な場合，エージェントが人間の意図を理解する能力が課題となる。
- エージェントが人間の心の状態を推論し，曖昧な指示を解釈することで，協調を円滑に進めることを目指す。
- LLMベースのエージェントTomcat（Fs-CoT，CPの2つのバリアント）を開発し，指示推論タスクを導入した。
- Fs-CoT（特にGPT-4o，DeepSeek-R1）は，人間の参加者と同程度のパフォーマンスを示し，心の理論の可能性を実証した。
- 本研究は，人間とエージェントの協調において，LLMが心の理論に基づいた推論を行うことで，効果的な協調が可能になることを示唆する。
熟慮的な探索者：制約付き強化学習によるLLMの信頼性向上 [cs.MA, eess.SY, cs.SY, math.OC, cs.AI]目的：大規模言語モデルの信頼性向上
- 現実世界でのLLM活用には，その信頼性が不可欠である。
- LLMの出力の正確性と自信度との乖離が課題となっている。
- 自信度と正確性の整合性を高め，より信頼性の高い出力を目指す。
- 提案手法は，知識検索と確実性較正を統合した初のフレームワークである。
- 強化学習により，信頼性制約下での精度を最適化する。
- 実験結果から，モデルの自信度と正答率の整合性が向上することが示された。
探索よりも搾取：線形バンディット推薦システムオフライン評価における偏りの解明 [cs.LG, cs.IR]目的：線形バンディット推薦システムのオフライン評価における偏りの検証
- 推薦システムは，ユーザの嗜好に合わせた情報提供で重要な役割を担う。その性能向上は不可欠である。
- オフライン評価は便利だが，探索行動の評価において限界があり，現実の性能を正確に反映できない可能性がある。
- 既存のオフライン評価手法が持つ偏りを明らかにし，より信頼性の高い評価方法の必要性を訴える。
- 多くのデータセットにおいて，探索を行わない貪欲な線形モデルが，探索型モデルを上回る性能を示すことがわかった。
- ハイパーパラメータ最適化の結果も，探索を抑制する設定が優位であるという結果を支持している。
- この研究は，バンディットアルゴリズムのオフライン評価プロトコルにおける重大な欠陥を露呈し，改善の必要性を強調する。
TriagerX：内容と相互作用に基づくランキングを用いたバグトリアージタスクのためのデュアルTransformer [cs.SE, cs.AI, cs.LG]目的：バグトリアージにおける開発者候補のランキング精度向上
- ソフトウェア開発において，バグの適切な担当者への割り当ては，開発効率と品質に大きく影響する。
- 従来の機械学習モデルでは，バグ報告書のトークン意味を十分に捉えきれず，精度が課題であった。
- 開発者の過去のバグ対応履歴を考慮することで，より適切な担当者選定を目指す。
- TriagerXは，2つのTransformerを用いることで，バグ報告書のトークン意味をより確実に評価する。
- 開発者の過去の類似バグ対応履歴に基づくランキング手法を導入し，推薦精度を向上させた。
- 5つのデータセットで，既存のTransformerベースの手法を凌駕し，Top-1およびTop-3の推薦精度を10%以上向上させた。
自己整合報酬：効果的かつ効率的な推論器へ [cs.LG]目的：言語モデルにおける推論の精度と効率の向上
- 大規模言語モデルの性能向上は，様々な分野で重要な課題となっている。
- 既存の強化学習では，報酬信号が粗雑であり，計算コストが高いという問題がある。
- より詳細な報酬信号を用いて，推論の精度と効率を同時に高めることを目指す。
- 自己整合報酬(SAR)は，正解の条件付きperplexity差を利用し，簡潔で質問に特化した回答を促進する。
- SARは，回答の質を確実に識別し，簡潔かつ正確な回答に高いスコアを与えることが示された。
- 実験結果から，SARを既存のRLアルゴリズムに統合することで，精度が4%向上し，推論コストが30%削減された。
科学出版活動とハイプ主導の金融バブルの関係性：ドットコム時代とAI時代の比較 [cs.DB, cs.LG, cs.CY]目的：科学出版活動のデータと金融市場データの関係性の分析
- 金融バブルは経済に深刻な影響を与えるため，その兆候を早期に発見することが重要である。
- 過去のバブル発生時に科学技術が重要な役割を果たしており，その関連性を分析する手法が不足している。
- 科学出版データを分析することで，将来の金融バブルを予測できる可能性を探る。
- ドットコム時代に見られた出版パターンは，AI時代のバブルの動向を明確に予測することはできなかった。
- AI時代の一部の科学者の出版活動は，ドットコム時代と類似したパターンを示した。
- AI時代は，前例のない金融バブルであるか，あるいはバブルが発生していない可能性が示唆された。
大規模言語モデルを用いた人間のデータシミュレーションにおける分析の柔軟性の脅威 [cs.CY, cs.AI]目的：大規模言語モデルによるデータセットの信頼性評価
- 社会調査において，データ収集の困難性や倫理的課題が課題であり，代替手段が求められている。
- 大規模言語モデルで生成された擬似データ（シリコンサンプル）の分析設定が結果に与える影響が不明確である。
- シリコンサンプルの分析設定による結果の変動を明らかにし，信頼性の向上策を提示すること。
- 分析設定（モデル選択，パラメータ，プロンプトなど）の違いが，シリコンサンプルと人間のデータの対応関係に大きな影響を与えることが示された。
- ある指標で良好な結果が得られる設定でも，別の指標では性能が低下するケースが確認された。
- 先行研究の事例を再分析した結果，設定の違いにより人間とシリコンサンプルの関連構造の相関が大きく変動した。
LLMの推論を活用した多視点注意多インスタンス学習による認知バイアス検出 [cs.CL, cs.AI]目的：認知バイアスの検出
- メンタルヘルス不調との関連が深く，早期発見が重要である。
- 文脈の曖昧性，共起，意味の重複により，自動検出が困難である。
- 解釈の曖昧性が高い認知バイアスの検出精度向上を目指す。
- 大規模言語モデル（LLM）と多インスタンス学習（MIL）を組み合わせた新たなフレームワークを提案した。
- 感情，論理，行動（ELB）の要素分解とLLMによる重要度推定が，分類性能を向上させた。
- 韓国語と英語のデータセットで有効性が確認され，メンタルヘルスNLPにおける汎用性を示唆する。
相対報酬回帰によるオンライン分布ロバストLLMアラインメント [cs.LG, stat.ML]目的：大規模言語モデルと人間の意図のアラインメント
- LLMの性能向上が重要であり，人間の意図との整合性が不可欠である。
- オフラインRLHFは過最適化を起こしやすく，モデルが訓練データの不正確さに過剰適合する。
- 分布ロバスト最適化を用いて，過最適化を防ぎ，多様な嗜好に対応すること。
- 提案手法DRO-REBELは，Wasserstein，KL，$\chi^2$ 距離に基づくロバストなオンライン更新を行う。
- 線形報酬，対数線形ポリシーの下で，パラメータ誤差に関する$\widetilde{O}(\sqrt{d/n})$の bound を証明した。
- Emotion Alignment等のベンチマークで，既存手法を凌駕する性能を示した。
表現型と標的のギャップを埋める分子生成：多目的強化学習によるアプローチ [cs.LG, cs.AI]目的：分子生成のための新たなモデル
- 創薬研究において，望ましい表現型を誘導する分子の新規生成が重要視されている。
- 既存手法は発現プロファイルに依存し，分子が細胞に与える影響を考慮していない。
- 分子と細胞応答の相互作用を捉え，治療効果を持つ分子を生成すること。
- SmilesGENは，既存モデルよりも高い有効性，新規性，ユニーク性を持つ分子を生成することが示された。
- Scaffoldベースの分子最適化や治療薬生成においても，承認済みの薬剤との類似性が高い分子を生成する性能が確認された。
- 遺伝子シグネチャを活用し，望ましい細胞表現型を誘導する可能性のある分子を生成する堅牢なフレームワークを確立した。
OjaKV：文脈を考慮したオンライン低ランクKVキャッシュ圧縮 [cs.CL, cs.AI, cs.LG]目的：大規模言語モデルにおけるKVキャッシュ圧縮手法
- 長文脈を扱う大規模言語モデルの性能向上の鍵は，メモリ効率の改善である。
- 既存のKVキャッシュ圧縮は，静的な低ランク空間に依存し，データ分布の変化に弱い。
- 文脈の変化に対応可能なオンライン低ランク空間の適応による圧縮手法を開発する。
- OjaKVは，重要なトークンをフルランクで保持し，中間トークンに対してオンラインPCAで低ランク圧縮を行うハイブリッドな手法である。
- OjaKVは，promptの事前処理時およびデコーディング時に投影基底を更新することで，文脈の変化に対応する。
- 実験により，OjaKVは高い圧縮率でゼロショット精度を維持・向上させ，特に複雑な推論を要する長文脈ベンチマークで効果を発揮することが示された。
WARBERT：Web API推薦のための階層型BERTベースモデル [cs.IR, cs.AI]目的：Web API推薦システムの精度と効率の向上
- Web 2.0とマイクロサービスによりWeb APIが増加し，効果的な推薦が重要となっている。
- APIとmashupの説明間の意味の曖昧さ，および大規模リポジトリでの計算コストが課題である。
- BERTに基づく階層型モデルWARBERTにより，これらの課題を解決し，推薦精度を高める。
- WARBERTは，推薦型とマッチ型の両方の特徴を組み合わせることで，正確な意味表現を生成する。
- WARBERT(R)による初期フィルタリングとWARBERT(M)による精緻な類似度マッチングにより，推薦性能を向上させている。
- ProgrammableWebデータセットでの実験により，既存のベースラインよりも高い精度と効率が確認された。
LLM強化学習後学習のスケーリング特性：数学的推論に関する実証研究 [cs.CL, cs.LG, cs.AI]目的：LLM強化学習後学習におけるスケーリング特性の解明
- 大規模言語モデル(LLM)の性能向上は，様々な分野での応用を可能にする重要な課題である。
- 事前学習時のスケーリング法則は広く研究されているが，強化学習後学習におけるスケーリング特性は未解明な点が多い。
- 本研究は，数学的推論におけるLLMの強化学習後学習のスケーリング特性を明らかにし，効率的なスケーリング戦略を提示することを目的とする。
- モデル規模が大きいほど，計算量とデータ量の両面で学習効率が向上することが確認された。
- テスト損失，計算量，データ量の関係は，ベースモデルと命令チューニングモデルの両方で，予測可能なべき乗則に従うことが示された。
- モデル規模が大きくなると学習効率は向上するが，ある規模を超えると学習効率の向上は鈍化する傾向が明らかになった。高品質なデータの再利用が，データ制約下では効果的であることが示された。
RoleConflictBench：LLMの状況認識能力を評価するための役割衝突シナリオのベンチマーク [cs.CL, cs.AI, cs.CY]目的：LLMにおける役割衝突状況下での状況認識能力の測定
- 社会生活において役割衝突は頻繁に発生し，LLMがより人間らしい応答をする上で重要である。
- LLMは学習データに偏りがあり，状況に応じた柔軟な判断が困難である可能性がある。
- LLMが状況の緊急度を考慮し，役割の優先順位を適切に判断できるか検証する。
- RoleConflictBenchは，65の役割と5つの社会領域にわたる13,000以上のシナリオから構成される。
- 分析の結果，多くのLLMは状況の緊急度よりも，学習された役割の好みに基づいて判断していることが示された。
- LLMは，動的な状況に応じた応答よりも，特定の役割に対する偏りが強い傾向にある。
一般損失と球状基底関数を用いたTruncated Kernel Stochastic Gradient Descent [cs.RO, cs.LG]目的：大規模教師あり学習における新しいカーネル確率的勾配降下法
- 機械学習の分野で，カーネル法は高い汎化性能を持つ手法として重要である。
- 従来のカーネル確率的勾配降下法は，計算コストが高く，大規模データには不向きである。
- 効率性とスケーラビリティを向上させ，汎化性能を高めることを目指す。
- 球状基底関数の無限級数展開を利用し，確率的勾配を有限次元の仮説空間へ射影する。
- カーネル誘起共分散演算子のスペクトル構造の新しい推定に基づき，最適化と汎化解析の統一的なフレームワークを開発した。
- 最終反復と接尾辞平均がミニマックス最適レートで収束し，再生核ヒルベルト空間における最適な強い収束性も確立された。
LLMベースの論文タイトル・アブストラクトスクリーニングツール [cs.SE, cs.AI]目的：論文のタイトルとアブストラクトを用いたスクリーニング
- システマティックレビューは研究の質を高める上で不可欠であり，効率的なスクリーニングが課題となっている。
- 論文数が多い場合，スクリーニング作業は膨大となり，人的リソースを圧迫する。
- LLMを活用することで，スクリーニング作業の負担軽減と効率化を目指す。
- 開発したAISysRevは，Gemini，Claude，Mistralなど多様なLLMをサポートし，高速なスクリーニングを実現した。
- LLMによる分類結果は「容易包含」「容易除外」「境界包含」「境界除外」の4つに分類され，境界領域では人間の判断が重要であることが示された。
- LLMはシステマティックレビューにおける人間の判断を代替するものではないが，大量の文献評価の負担を軽減できる可能性が示された。
大規模言語モデルの推論における均一情報密度仮説の再検証 [cs.AI, cs.CL]目的：大規模言語モデルの推論における情報フローの均一性と推論品質の関係
- 言語モデルの性能向上には，人間らしい自然なコミュニケーション能力が不可欠である。
- 従来のモデルでは，推論過程における情報フローの構造が必ずしも明確ではない。
- 情報フローの均一性が推論品質の指標となり得るかを検証すること。
- 高品質な推論は，局所的には滑らかなステップ遷移を示すが，大局的には構造化された非均一な情報フローを示す。
- この情報フローの均一性は，推論品質の予測因子として他の内部シグナルよりも優れている。
- モデルと人間のコミュニケーションの差異は欠陥ではなく，目的の違いに起因する。