arXiv雑要約
AI - 2026/02/03 公開
MaPPO：事前知識を用いた事後最大化による選好最適化 [cs.LG, cs.AI, cs.CL]目的：言語モデルと人間の選好の整合性向上と性能改善
- 大規模言語モデルの発展に伴い，人間の選好に合わせた調整が重要になっている。
- 既存手法は，応答の二値分類に過度に依存し，十分な整合性を得られない場合がある。
- 事前報酬知識を組み込むことで，整合性を高め，過度な単純化を回避する。
- MaPPOは，DPOとその派生手法を一般化し，整合性パフォーマンスの一貫した改善を実現した。
- 追加のハイパーパラメータを必要とせず，オフラインおよびオンラインの両方の選好最適化に対応する。
- SimPO，IPO，CPOなどのDPO派生手法へのプラグインとして利用でき，一貫した改善効果が確認された。
深層ネットワークのベールを剥ぐ [cs.CL, cs.LG, cs.CV, cs.NE]目的：深層ニューラルネットワークの説明性
- 深層学習の応用拡大に伴い，その意思決定過程の透明性が重要視されている。
- 既存の説明手法はノイズが多く，知覚的な整合性に欠け，解釈が困難な場合がある。
- ネットワークの線形作用を抽出し，意味のある特徴を明確にすること。
- Semantic Pullbacks (SP) は，従来の帰属手法よりも高い忠実度を示す。
- SP は，ResNet50，VGG，PVT などの様々なモデルで優れた性能を発揮する。
- SP は，既存の深層学習パイプラインに容易に組み込むことができ，他のモダリティにも拡張可能である。
SWE-Exp：経験に基づくソフトウェア問題解決 [cs.SE, cs.CL, cs.LG]目的：ソフトウェア問題解決における経験の活用
- ソフトウェア開発において，問題解決は不可欠であり，効率化が常に求められている。
- 既存のLLMエージェントは，過去の経験を活かさず，毎回問題を独立して探索する傾向がある。
- 過去の試行錯誤から得られた知識を再利用し，効率的な問題解決を目指す。
- SWE-Expは，過去の試行記録から簡潔かつ実行可能な経験を抽出する。
- 抽出された経験を多面的な経験バンクに蓄積し，問題理解からコード変更まで，様々なレベルの知識を再利用する。
- SWE-Bench Verifiedにおいて，Pass@1の解決率が73.0%を達成し，既存手法を大きく上回る結果を示した。
ベイズ推定に基づく継続的な知識グラフ埋め込み学習 [cs.CL, cs.LG]目的：継続的な知識グラフ埋め込みの効率化と知識の保持
- ソーシャルメディア等の情報量は増大の一途を辿り，その構造化と理解が不可欠である。
- 従来の知識グラフ埋め込みモデルは，急速な変化に対応できず，陳腐化しやすい。
- 継続学習における catastrophic forgetting 問題を克服し，知識の進化を捉えることを目指す。
- 提案手法BAKEは，継続学習をベイズ推定の問題として定式化し，知識の保持を保証する。
- 各データバッチを事前分布のベイズ更新として扱い，事後分布を維持することで過去の知識を保持する。
- エンティティ埋め込みの構造を維持するクラスタリング手法を導入し，セマンティックな一貫性を確保する。
ECGTwin：制御可能な拡散モデルを用いた個別ECG生成 [cs.LG, cs.AI]目的：個別ECGのデジタルツイン生成
- 個別化医療の精度向上に貢献する技術であり，患者一人ひとりに最適化された医療の実現が期待される。
- 個人特有の特徴抽出や，生成モデルを混乱させずに条件を注入することが難しい。
- 個人情報保護下での個別ECG生成と，多様な心臓状態の再現を可能にする。
- 本研究で提案するECGTwinは，コントラスト学習により個人特徴を抽出し，拡散モデルに注入する二段階フレームワークである。
- ECGTwinは，高精度かつ多様なECG信号を生成し，個人の特徴を維持することを示した。
- ECG自動診断の精度向上に貢献し，個別化された医療ソリューションの可能性を示す。
DeepGB-TB：迅速かつ解釈可能な結核スクリーニングのためのリスクバランス型クロスアテンション勾配ブースティング畳み込みネットワーク [cs.LG, cs.AI, cs.SD, eess.AS]目的：結核リスクスコアの即時算出
- 結核は依然として世界的な健康問題であり，早期発見と迅速な対応が重要である。
- 従来の結核診断はコストと運用が複雑であり，大規模スクリーニングの妨げとなっている。
- AIを活用し，迅速かつ安価に結核リスクを評価することで，スクリーニングの効率化を目指す。
- DeepGB-TBは，咳の音声と基本的な属性情報から結核リスクスコアを算出するシステムである。
- 多様なデータセットを用いた評価では，AUROC 0.903，F1スコア 0.851を達成し，最先端の性能を示した。
- 計算効率が高く，一般的なモバイルデバイスでもリアルタイム推論が可能であり，低資源環境での活用に適している。
デルタ埋め込みによるロバストな介入表現の学習 [cs.HC, cs.CY, cs.CE, cs.CV, cs.AI]目的：介入画像ペアのロバストな表現
- モデルの汎化性能とロバスト性を向上させる手段として，因果表現学習が注目されている。
- 既存研究は主にシーン内の変数の識別・表現に注力しており，介入自体の表現は十分ではない。
- 潜在空間における作用可能反事実の表現に焦点を当て，分布外のロバスト性を改善する。
- 提案手法である因果デルタ埋め込みは，視覚シーンに不変で，影響を受ける因果変数に関して疎である。
- 追加の教師信号なしに，画像ペアから因果表現を学習する手法を提案した。
- Causal Tripletチャレンジにおいて，合成データと実世界のベンチマークでベースラインを大きく上回る性能を示した。
LLM生成RTLコードのエラー理解と軽減 [cs.AR, cs.CL, cs.LG]目的：LLM生成RTLコードにおけるエラー原因の特定と軽減策の提案
- デジタル回路設計は，現代のエレクトロニクス製品の基盤であり，その自動化は重要である。
- LLMによるRTLコード生成は，まだエラーが多く，実用化には信頼性の向上が不可欠である。
- LLMの知識不足や入力の曖昧さがエラーの原因である点を克服し，生成精度を向上させる。
- エラー分析の結果，LLMの推論能力の欠如よりも，RTL知識の不足や入力の解釈誤りが主な原因であることが判明した。
- RAGによる知識補完，設計ルールによる入力明確化，マルチモーダルデータ変換，反復シミュレーション・デバッグ等の手法を提案した。
- 提案手法をDeepSeek-v3.2-Specialeに組み込むことで，VerilogEvalベンチマークで98.1%の精度を達成し，有効性を実証した。
SCAR：車両サービスのスケーラブルなAIベースネットワーク管理のための状態空間圧縮 [cs.LG, cs.NE, cs.SY, eess.SY]目的：車両サービスのAIベースネットワーク管理におけるスケーラビリティと公平性の向上
- コネクテッドカーサービスの増加に伴い，ネットワーク状態の管理が複雑化している。
- 従来の管理メカニズムは，動的な車両環境における詳細な指標処理に限界がある。
- ネットワーク状態の抽象化により，AIベース管理の効率化と公平性の確保を目指す。
- SCARは，状態空間圧縮により管理可能な領域における時間を14%増加させた。
- 不公平なサービス割り当て時間を15%削減し，公平性を向上させた。
- SASTベースのクラスタリングにより，状態圧縮の歪みを10%低減した。
異種システムにおける効率的な深層学習のためのバイアス付きLocal SGD [cs.LG]目的：異種システムにおける深層学習の効率化
- 深層学習の普及に伴い，計算資源の多様化が進んでいる。
- 異種環境下では，同期型並列学習の同期コストが課題となる。
- CPUとGPUといった異種計算資源を効果的に活用すること。
- 提案手法は，データサンプリングとモデル集約にバイアスを導入することで，異種システムでの学習を加速する。
- ResNet20とCIFAR-10を用いた実験で，同期型SGDと比較して最大32倍の高速化を達成した。
- 学習精度は同期型SGDと同等，もしくは向上しており，実用的な知見を提供する。
STELAR-VISION：視覚的アラインメントのための自己トポロジー認識型効率学習 [cs.AI, cs.CV]目的：視覚的推論におけるトポロジー認識型学習の効率化
- 近年，画像と言語を組み合わせたモデルの推論能力は向上している。
- 複雑なマルチモーダルタスクにおいて，冗長な出力や推論構造の硬直性が課題となっている。
- 多様なトポロジー構造を活用し，より正確かつ効率的な推論を可能にすること。
- STELAR-Visionは，TopoAugという合成データパイプラインを用いて，多様なトポロジー構造を学習データに組み込んだ。
- MATH-VとVLM-S2Hにおいて，ベースモデルと比較して精度が9.7%向上し，Qwen2VL-72B-Instructをも上回った。
- 様々な外部データセットでもPhi-4-Multimodal-InstructやLLaMA-3.2-11B-Vision-Instructを最大で28.4%，13.2%上回り，高い汎化性能を示した。
BiasGym：バイアスの分析と除去のための単純かつ汎用的なフレームワーク [cs.CL, cs.AI, cs.LG]目的：大規模言語モデルにおけるバイアスの分析と軽減
- 言語モデルの普及に伴い，潜在的なバイアスとその影響の理解が不可欠となっている。
- バイアスは巧妙に隠れており，特定と対策が困難である。
- バイアスの系統的な分析と除去を可能にするフレームワークの構築。
- BiasGymは，トークンベースのファインチューニングによる安全なバイアス注入と，バイアスに関わる要素の特定を可能にする。
- 本手法は，バイアスの再現性とメカニズム解明を促進し，ダウンストリームタスクの性能低下なしに標的を絞ったデバイアスを支援する。
- イタリア人に対する固定観念など，現実世界のステレオタイプを削減する効果が実証された。
ECにおけるクーポン配信のためのシーケンス認識制約最適化フレームワークSACO [cs.LG, cs.AI]目的：ECにおけるクーポン配信戦略の最適化
- ECプラットフォームにおいて，収益向上と顧客エンゲージメントを高める上で，クーポン配信は重要なマーケティング戦略である。
- 既存のクーポン配信戦略は，プラットフォームとユーザー間の複雑なシーケンシャルな相互作用を十分に活用できていない。
- 長期的な収益向上を目指し，シーケンシャルなクーポン配信決定を最適化するフレームワークを提案する。
- 提案フレームワークSACOは，一般的なシナリオ，シーケンシャルモデリング，効率的な反復更新を統合することで，オンラインでの意思決定を最適化する。
- 実世界の産業データセット，および公開/合成データセットを用いた実験により，SACOフレームワークの優位性が実証された。
- SACOは，様々な現実世界のマーケティングシナリオで活用可能な，クーポン配信ポリシーを直接設計することを可能とする。
ブラックボックス大規模言語モデルの調整のための推論を考慮したプロンプト最適化 [cs.CL, cs.AI]目的：ブラックボックス大規模言語モデルの調整
- 大規模言語モデルの性能向上は，様々な自然言語処理タスクにおいて重要な課題である。
- 既存のプロンプト最適化手法は，推論戦略を考慮していない点が課題となっていた。
- 推論戦略とプロンプトを同時に最適化することで，より効果的なモデル調整を目指す。
- 本研究では，推論を考慮したプロンプト最適化フレームワークIAPOを提案した。
- IAPOは，推論予算とタスク目標を考慮しながら，プロンプトと推論規模を同時に最適化する。
- 実験の結果，IAPOは6つのタスクにおいて，ブラックボックス大規模言語モデルの調整において重要な役割を果たすことが示された。
論理ベースのワイズファイラー・レーマン変種と表形式化によるグラフ学習 [cs.LG]目的：グラフ分類における性能向上
- グラフ構造データは，社会ネットワーク，化学物質など，多様な分野で重要である。
- 既存のグラフ学習手法は，計算コストが高く，ハイパーパラメータ調整が難しい場合がある。
- 計算効率が高く，調整が容易なグラフ分類手法の開発。
- 本研究では，ワイズファイラー・レーマンアルゴリズムの新しい変種を用いてグラフデータを表形式化するアプローチを提案した。
- 提案手法は，ベンチマークデータセットにおいて，グラフニューラルネットワークやグラフTransformerと同等以上の予測性能を示した。
- さらに，GPUを必要とせず，40～60倍高速に処理が可能である。
FLARE：高速低ランク注意ルーティングエンジン [cs.LG]目的：長系列におけるTransformerのスケーラビリティ限界
- Transformerは自然言語処理等の分野で広く利用され，高性能を示すが，計算量が増大しやすい。
- 自己注意機構の計算量が系列長に対して二次関数的に増加するため，長系列データの処理が困難である。
- 潜在的なトークンを介したルーティングにより，低ランク注意を実現し，計算量を削減することを目指す。
- FLAREは，標準的なSDPA演算のみを用いて低ランク注意を実現し，GPU上で百万点規模の非構造化メッシュに対応可能。
- PDE代理ベンチマークにおいて最先端の精度を達成し，Long Range Arenaスイートにおいても汎用的な効率的注意機構を上回る性能を示す。
- 大規模なアディティブマニュファクチャリングベンチマークデータセットを公開し，コードも公開している。
対称テンソルネットワークを用いた3次元回転不変・共変性の構築 [cs.LG]目的：3次元回転に対する不変性および共変性を備えた関数の構築
- 幾何学的な深層学習において，対称性を考慮したアーキテクチャが重要である。
- 多様な幾何学的なデータに対する汎用的な表現獲得が課題である。
- 対称テンソルネットワークを用いて，回転に対する不変性・共変性を効率的に実現する。
- 提案手法は，様々な種類のテンソルを入力・出力として扱うことが可能である。
- 不変写像の生成子と微分を用いることで，共変写像を導出できる。
- 幾何グラフニューラルネットワークにおける既存の共変素子が本構成によって説明できる。
ToolACE-MT：エージェント型マルチターン対話のための非自己回帰的生成 [cs.CL, cs.AI, cs.LG]目的：エージェント型マルチターン対話データの生成
- LLMを用いたタスク解決において，マルチターン対話は不可欠であり，その品質が性能を大きく左右する。
- 既存のデータ生成方法は，LLM間の自己回帰的な相互作用に依存し，コストが高く，現実世界での性能が制限される。
- 高品質なマルチターン対話データを効率的に生成し，LLMのツール利用能力向上を目指す。
- ToolACE-MTは，粗粒化初期化，反復的洗練，オフライン検証の3段階で対話経路を生成する。
- この手法により，効率的かつ効果的なエージェント型データ生成が可能となり，汎用性も高い。
- ツール拡張されたLLMにおける高品質なデータ構築の新たなパラダイムを提供する。
SNAP-UQ：TinyMLにおける単一パスの不確実性評価のための自己教師あり次層活性予測 [cs.LG, cs.CL]目的：TinyMLにおける単一パスのラベルなし不確実性推定
- 省電力デバイスでのAI活用が重要視される中，TinyMLの信頼性向上が求められている。
- TinyMLモデルの不確実性評価は計算コストが高く，リソース制約のある環境下では困難である。
- 本研究は，低コストで高精度な不確実性評価手法を提案し，TinyMLの信頼性を向上させる。
- 提案手法SNAP-UQは，層間活性予測に基づき，追加メモリをわずかに増やすだけで不確実性評価を実現する。
- 既存手法と比較して，推論速度が向上し，メモリ使用量を削減できることが示された。
- 汚染データに対する精度低下の検出性能が向上し，高い故障検出能力を維持する。
依存関係を意識した文の簡略化と二階層階層的洗練による幻覚に強い関係抽出 [cs.RO, cs.CL, cs.AI]目的：関係抽出の精度向上と幻覚の抑制
- 関係抽出は，構造化された知識構築に不可欠であり，様々な応用分野で活用される。
- 大規模言語モデルは関係抽出で期待されるものの，複雑な構文や微妙な意味を持つ文において，関係の有無を正確に判断できない場合がある。
- 文の簡略化と階層的な洗練を通じて，大規模言語モデルにおける幻覚を軽減し，関係抽出の信頼性を高める。
- 本研究では，依存関係を考慮した文の簡略化と二階層階層的洗練を統合したフレームワーク「DEPTH」を提案した。
- DEPTHは，既存のLLMベースの関係抽出手法と比較して，平均的な幻覚率を7.9%まで低減し，平均F1スコアを9.3%向上させた。
- 因果関係に基づいた報酬モデルを導入することで，報酬ハッキングを抑制し，人間のフィードバックを用いた強化学習によるロバストなファインチューニングを可能にした。
追跡可能な診断推論のためのエンドツーエンドエージェント型RAGシステム訓練 [cs.IR, cs.CL, cs.AI, cs.CV]目的：追跡可能な診断推論のためのエンドツーエンドエージェント型RAGシステムの開発
- 医療分野におけるLLM活用は，知識不足や誤情報の生成，エビデンスに基づく医療(EBM)との乖離が課題となっている。
- 従来のRAGシステムは静的なワークフローに依存し，臨床医の反復的な仮説検証型推論を捉えきれていない。
- 大規模医療データから統計的規則性を活用し，信頼性の高い診断支援システムを構築することを目指す。
- 本研究で開発したDeep-DxSearchは，強化学習を用いてエンドツーエンドで訓練されたエージェント型RAGシステムである。
- 実験の結果，Deep-DxSearchはGPT-4oやDeepSeek-R1を含む既存手法を凌駕し，平均して22.7%の精度向上を達成した。
- 150件の実際の症例を用いた検証では，Deep-DxSearchは医師の平均診断精度を45.6%から69.1%に向上させた。
Transformer Attention 出力における次元崩壊：スパース辞書学習の課題 [cs.RO, cs.LG, cs.CL]目的：Transformer Attention 出力における次元崩壊の存在とその原因解明，およびスパース辞書学習への影響軽減
- Transformer は現代の巨大言語モデルの基盤であり，その性能向上は不可欠である。
- スパース辞書学習において，dead feature 問題が頻発し，モデルの学習効率を阻害している。
- Attention 出力の低次元性に着目し，dead feature 問題を緩和する手法を提案する。
- Transformer の Attention 出力は，その有効次元がフル空間の約60%に限定されることが示された。
- この次元崩壊は，スパース辞書学習における dead feature 問題の主要因であることが判明した。
- 活性化空間の subspace に初期化制約を加えた学習法により，dead feature を大幅に削減することに成功した。
アルツハイマー病の長期進行予測における表形式ファウンデーションモデル [cs.LG]目的：アルツハイマー病の進行予測
- アルツハイマー病は進行性の神経変性疾患であり，早期発見と進行モニタリングが重要である。
- 多因子性や多岐にわたる臨床データにより，正確な予測が困難である。
- 臨床的に重要なバイオマーカーの長期予測精度向上を目指す。
- L2C-TabPFNは，臨床診断，認知機能スコア，脳室容量の予測において高い性能を示す。
- 特に脳室容量の予測において，最新技術を上回る結果が得られた。
- 表形式ファウンデーションモデルがアルツハイマー病の臨床的イメージングマーカーの予測を促進する可能性を示唆する。
AgentRAN：オープン6Gネットワークの自律制御のためのエージェント型AIアーキテクチャ [cs.AI, cs.NI]目的：オープンRANにおける自律制御の実現
- 通信ネットワークの柔軟性・効率性が求められる中，AIによる自律制御が重要である。
- 既存のオープンRANは静的な制御に依存しており，柔軟性に課題がある。
- 自然言語による指示に基づき，ネットワークを自律的に最適化する。
- AgentRANは，自然言語による指示を解釈し，分散型AIエージェントを生成・オーケストレーションする。
- AI-RAN Factoryにより，運用データから継続的にエージェントとアルゴリズムが改善され，ネットワークの自己進化を可能にする。
- 5G実験により，電力制御やスケジューリングにおいて，変化する指示への動的な適応が実証された。
ルータ，スイッチ，インターコネクトが計算するとき：スケーラブルなニューロモーフィックAIのための処理インインターコネクトパラダイム [cs.CL, cs.NE, cs.AR, cs.NI]目的：大規模ニューロモーフィックAIを実現するための処理インインターコネクト（\pi^2）コンピューティングパラダイム
- 大規模AIワークロードにおいて，消費電力と速度を決定する重要な要素がインターコネクトである。
- 従来のインターコネクトは計算のサポート役であり，計算能力を最大限に活用できていない。
- インターコネクトの持つ計算能力に着目し，エネルギー効率の高いAIシステム構築を目指す。
- 既存のルーティング，スイッチング，インターコネクトシステムに内在する計算パラダイムを活用できることを示した。
- パケットスイッチング/ルーティングハードウェアの遅延やパケット削除などの機能をAIワークロードにマッピング可能である。
- インターコネクト帯域幅とエネルギー効率の向上により，\pi^2のエネルギー効率が改善することを示した。
教育エージェント：マルチエージェントによる教育コンテンツ設計を通じた教員の負担軽減 [cs.AI, cs.CL]目的：教育コンテンツの自動生成
- 質の高い教育コンテンツの作成は，教育の根幹であり，学習効果に直結する重要な課題である。
- 教育コンテンツの作成は，教員，教育デザイナー，TA間の連携が必要で，時間と労力がかかる。
- 教育コンテンツ作成の自動化により，教員の負担を軽減し，教育の質向上に貢献することを目指す。
- 教育エージェントは，シラバス，LaTeXスライド，講義スクリプト，評価などを自動生成するマルチエージェントフレームワークである。
- 5つの大学レベルのコースにおいて，教育エージェントが生成した教材は，教員によってレビュー・修正され，利用に適していることが示された。
- 本研究は，教育リソースが限られた環境における質の高い教育へのアクセスを民主化するスケーラブルで費用対効果の高いフレームワークを提供する。
FastTTS：エッジLLM推論におけるテスト時スケーリングの高速化 [cs.LG]目的：エッジLLM推論のための高速かつ効率的なテスト時スケーリング手法
- LLMの推論能力向上により，エージェント型AIが注目されている。プライバシー保護やオフライン利用等の観点から，エッジデバイスでのLLM展開が重要である。
- エッジデバイスのメモリ制約により，大規模LLMの展開が困難であり，推論能力が低いLLMしか利用できないという課題がある。
- テスト時スケーリングによるエッジLLMの推論能力向上を可能にし，実用的なエージェント型AIを実現することを目指す。
- FastTTSは，推論時に計算資源を動的に割り当てることで，エッジLLMの推論能力を向上させる。
- 提案手法は，推論経路のばらつきを抑制する「推測的ビーム拡張」，メモリ使用量を最適化する「非対称マルチモデルメモリ割り当て」，KVキャッシュの再利用を最大化する「動的プレフィックス認識スケジューリング」の3つの技術を用いる。
- 評価により，FastTTSは既存手法と比較して，スループットが平均2.2倍向上し，レイテンシが38%～68%削減されることが示された。
FoMEMO：高コスト多目的最適化のための基盤モデルへ [cs.AR, cs.LG, cs.AI]目的：高コスト多目的最適化における基盤モデルの確立
- 現実世界の意思決定において，パレート最適解を効率的に探索することは重要である。
- 既存手法は汎化性能が低く，新しい問題への適用が困難である。
- 多様な合成データを用いた事前学習により，未知の問題への汎化性能を向上させる。
- 提案手法FoMEMOは，ドメイン軌跡やユーザーの好みに基づいて基盤モデルを構築し，文脈に沿った最適化を可能にする。
- 実世界の実験データに大きく依存せず，数億件の合成データによる事前学習で優れた汎化性能と最適化性能を実現する。
- 最適化過程でモデルの追加学習や更新は不要である。
アルゴリズム取引のための金融基礎最適化 [cs.LG, q-fin.ST]目的：アルゴリズム取引における金融に根ざした最適化手法
- 金融分野は複雑であり，高度な分析が求められるため，AI技術の応用が重要である。
- 従来のAI評価指標は金融専門家の視点と乖離があり，実用的な取引戦略の構築が困難である。
- 金融指標に基づいた損失関数とターンオーバー正則化により，取引戦略の最適化を図る。
- 提案手法は，シャープ比率，P&L，最大ドローダウンといった金融指標に基づいた損失関数において，従来の平均二乗誤差よりも優れた性能を示す。
- ターンオーバー正則化を組み合わせることで，生成されるポジションのターンオーバーを抑制し，より現実的な取引戦略を可能にする。
- 金融に根ざした評価指標を用いることで，取引戦略およびポートフォリオ最適化における予測性能が向上する。
小さなベクトル，大きな効果：強化学習による推論のメカニズム研究 [cs.LG]目的：強化学習によって誘導される推論のメカニズム
- 大規模言語モデルの推論能力向上は，その応用範囲拡大に不可欠である。
- 言語モデル内部の計算がどのように変化するのか，そのメカニズムが不明確である。
- 軽量なステアリングベクトルを用いて，推論能力獲得のメカニズムを解明する。
- ステアリングベクトルは，フルファインチューニングの性能向上を再現しつつ，解釈可能性を維持する。
- 最終層のベクトルは，最初のトークンに影響を与え，「To」や「Step」などのトークンを促進する。
- 最後から2層目のベクトルは，注意パターンを維持しつつ，MLPとunembeddingを通して処理語や構造記号を重視する。
推論モデルにおけるテスト時スケーリングは，現時点では知識集約型タスクに対して効果がない [cs.AI, cs.CL, cs.LG]目的：知識集約型タスクにおける推論モデルのテスト時スケーリングの効果
- 大規模言語モデルの性能向上が重要視されており，特に知識を要するタスクへの応用が期待されている。
- 知識集約型タスクでは，モデルが知識の不足や誤りにより，誤った推論を行う問題が存在する。
- テスト時スケーリングが知識集約型タスクにおいて有効かどうかを検証し，その限界を明らかにすること。
- テスト時スケーリングは，知識集約型タスクにおいて必ずしも精度向上に繋がらず，むしろハルシネーションが増加する傾向が確認された。
- ハルシネーションの変化は，モデルが回答に積極的になることによって引き起こされる可能性が示唆された。
- テスト時スケーリングによる推論の延長は，確証バイアスを誘発し，過信されたハルシネーションを生み出すことが示唆された。
AIインシデント報告を電気通信法と政策に組み込む：インドからの考察 [cs.CL, cs.CY, cs.AI, cs.HC]目的：電気通信におけるAIインシデントの定義と類型化，およびそれらを規制上の懸念事項として認識すること
- 電気通信インフラへのAI統合は，新たなリスクをもたらすため，適切な法的枠組みが不可欠である。
- 既存のサイバーセキュリティやデータ保護の枠組みでは，AI特有の運用インシデントに対応できない。
- AIインシデント報告を既存の電気通信ガバナンスに組み込むための政策提言を行うこと。
- 本研究では，インドを事例として，AIインシデントに関する規制上のギャップを明らかにしている。
- 高リスクAI障害の報告義務化，インシデントデータ管理機関の指定，標準化された報告フレームワークの開発を提案している。
- これらの提言は，規制の明確化と長期的な回復力の強化に貢献し，他の国々への模範となる。
暗号通貨リターンの予測のためのメタ学習強化学習 [cs.LG, cs.AI]目的：暗号通貨リターンの予測
- 暗号通貨市場は変動が激しく，予測は困難である。安定的な取引戦略の確立が求められている。
- ラベル付き学習データが不足しており，データの収集コストが高いことが課題となっている。
- 自己改善型の取引エージェントを構築し，データ不足と予測困難性の問題を解決する。
- Meta-RL-Cryptoは，メタ学習と強化学習を統合したtransformerベースのアーキテクチャである。
- エージェントは，actor，judge，meta-judgeの役割を反復的に切り替え，人間の監督なしで学習する。
- 実験の結果，実際の市場のテクニカル指標において良好な性能を示し，他のLLMベースラインを上回った。
教師としての計算：推論計算を参照なしの教師あり学習へ [cs.LG]目的：推論計算を教師あり学習の信号源とする手法
- 近年，強化学習は様々な分野で注目されている。しかし，教師データなしの環境下での学習は困難である。
- 従来の強化学習では，報酬設計が難しく，特に検証が困難な医療分野などでは課題があった。
- 推論時の計算資源を活用し，外部からの参照なしに学習を進めることで，この問題を解決する。
- 推論時の複数の実行結果を統合することで擬似的な正解を生成し，それを報酬に変換するフレームワークを提案した。
- HealthBenchの実験では，CaTを用いたモデルは推論時間集約の品質を同等以上に達成しつつ，テスト時間計算量を9分の1に削減した。
- また，専門医の注釈による学習と比較して，最大30%の相対的な改善を示し，様々なドメインへの適用可能性を示唆した。
外生変数を伴う時系列予測のための二重相関ネットワーク：DAG [cs.LG]目的：外生変数を用いた時系列予測における予測精度向上
- 時系列予測は様々な分野で不可欠であり，高度な予測性能が求められている。
- 既存手法では，将来の外生変数を活用できていない，内生変数と外生変数の相関を十分に考慮できていない点が課題である。
- 過去・未来の外生変数の相関を捉え，予測精度向上を目指す。
- 提案手法DAGは，時間的・チャネル的次元において二重相関ネットワークを活用することで，外生変数をより効果的に利用する。
- Temporal Correlation ModuleとChannel Correlation Moduleにより，過去の外生変数が将来に与える影響と，内生変数への影響を捉える。
- 発見された相関関係を注入することで，将来の内生変数の予測精度を向上させる。
閉塞性睡眠時無呼吸症候群スクリーニングのための夜間呼吸音からの呼吸努力推定 [cs.SD, cs.AI, eess.AS]目的：閉塞性睡眠時無呼吸症候群のスクリーニングにおける呼吸努力の推定
- 睡眠時無呼吸症候群は有病率が高く，健康に重大な影響を及ぼすため，早期発見が重要である。
- 従来の検査は高額で複雑であり，多くの患者が診断を受けていない現状がある。
- 夜間の呼吸音のみから呼吸努力を推定し，簡便かつスケーラブルなスクリーニングを実現する。
- 夜間呼吸音から呼吸努力を推定する手法を提案し，意味のある呼吸動態を捉えることに成功した。
- 推定された呼吸努力と音響特徴量を融合することで，OSA検出の感度とAUCが向上した。
- 本手法はスマートフォンのみで実行可能であり，センサーレスで長期的なOSAモニタリングを可能にする。
ゼロ次最適化におけるマルチクエリのパラドックス [cs.CL, cs.CL, cs.HC, cs.LG]目的：ゼロ次最適化におけるクエリ割り当て問題の解決
- 勾配が利用できない問題に対し，関数値のクエリのみで最適化を行う手法であり，幅広い応用が期待される。
- 単一クエリ法は分散が大きいという課題があり，マルチクエリ法への移行が模索されている。
- クエリ数の制約下で，反復あたりのクエリ数と反復回数の最適なバランスを見出す。
- 単純平均化法(ZO-Avg)では，反復あたりのクエリ数を増やすことが常に非効率であることが証明された。
- 新しい投影アラインメント法(ZO-Align)では，反復あたりのクエリ数を増やすことでより良い性能が得られることが示された。
- 集約方法の選択が，マルチクエリ問題解決の鍵となることが理論と実験の両面から明らかになった。
費用対効果制約下における自動入札：不確実性評価 [cs.RO, cs.LG, cs.GT]目的：費用対効果制約下での自動入札システムにおける不確実性評価手法
- 広告における自動入札は，予算や費用対効果などの制約下で入札額を決定する上で重要である。
- 既存研究では，広告効果（コンバージョン率など）が既知であるという前提があり，現実的ではない。
- 未知の広告効果に対する不確実性を評価し，費用対効果を最大化する入札手法を提案する。
- 本研究では，機械学習と共形予測を組み合わせることで，広告効果の不確実性を定量化する手法を提案した。
- 提案手法は，既存の自動入札システムに容易に組み込むことができ，理論的な性能保証も確立した。
- シミュレーションおよび実データを用いた実験により，提案手法が性能向上と計算効率維持の両立を可能にすることが示された。
スコアからステップへ：根拠に基づく医療計算におけるLLMの性能診断と改善 [cs.CL, cs.AI]目的：医療計算におけるLLMの性能評価方法の改善と，その信頼性向上
- 臨床判断において計算能力は不可欠であり，LLMの医療応用において重要な要素である。
- 既存の評価基準は最終的な答えのみを評価し，計算過程の誤りを捉えられていない。
- より詳細な評価パイプラインを用いて，LLMの計算過程における誤りを特定し，改善する。
- 既存の評価では隠されていたGPT-4oの精度低下（62.7%から43.6%）が明らかになった。
- 自動エラー分析フレームワークが専門家の判断と一致することを確認し，スケーラブルな診断を実現した。
- MedRaCという新しいパイプラインにより，LLMの精度が16.35%から53.19%まで向上した。
制約付き最適化のための展開グラフニューラルネットワーク [cs.LG]目的：制約付き最適化問題の解決
- グラフ構造を持つデータに対する最適化は，様々な応用分野で重要である。
- 既存手法では，複雑な制約条件や分布外の問題への汎化性能が課題である。
- デュアル上昇法を模倣することで，よりロバストな最適化手法を開発する。
- 提案手法は，ラグランジュ関数の鞍点を効率的に探索できることを示した。
- 得られた解は，最適解に近く，実行可能性も高いことが確認された。
- 分布外の問題に対しても，高い汎化性能を示すことが実験的に示された。
StefaLand：動的な土地表面予測を改善する効率的な地球科学基盤モデル [cs.SI, physics.soc-ph, cs.LG, cs.AI]目的：土地表面応答の予測精度向上
- 自然資源管理や災害軽減には，気候変動に対応した土地表面の変化を正確に予測するモデルが不可欠である。
- 既存モデルは，限られたデータでの学習や概念ドリフトにより，空間的な汎化性能が低いという課題があった。
- StefaLandは，過学習を抑制する交差ドメイン相互作用学習により，この汎化性能の低さを克服することを目指す。
- StefaLandは，河川流量，土壌水分，土壌組成，地すべりという4つの重要なタスクにおいて，既存の最先端手法よりも優れた空間的汎化性能を示した。
- 位置情報を考慮したマスクオートエンコーダーや，属性ベースの表現を用いることで，計算コストを大幅に削減しつつ，高性能を実現した。
- 一般的な学術計算資源でも事前学習と微調整が可能であり，データ不足地域への貢献が期待される。
クラスタ内Mixup：相補的ラベル学習のための効果的なデータ拡張手法 [cs.LG, cs.AI, cs.CV]目的：相補的ラベル学習におけるデータ拡張の有効性
- 弱教師あり学習の一手法であり，ラベルコスト削減が期待されるため重要である。
- 既存のMixupのようなデータ拡張手法が，相補的ラベル学習においては効果を発揮しない。
- 近傍のサンプルのみでデータ拡張を行うことで，ノイズの影響を軽減し性能向上を目指す。
- 提案手法Intra-Cluster Mixup (ICM) は，相補的ラベルの共有を促進し，性能の大幅な改善を実現した。
- MNISTデータセットでは，最先端の相補的ラベル学習アルゴリズムと組み合わせることで，精度が30%向上した。
- CIFARデータセットにおいても，同様に10%の精度向上が確認された。
摩擦Q学習 [cs.LG, cs.AI]目的：オフポリシー強化学習における外挿誤差の軽減
- 強化学習は，複雑な問題を解決する強力な手法であり，ロボティクス等への応用が期待される。
- オフポリシー強化学習では，リプレイバッファに十分なデータがない行動に対する外挿誤差が課題となる。
- 本研究は，摩擦の概念を用いて外挿誤差を抑制し，安定した学習を実現することを目指す。
- 摩擦Q学習は，リプレイバッファを滑らかな多様体として表現し，支持方向を接線成分，外挿誤差を法線成分として分解する。
- コントラスティブ変分オートエンコーダを用いて，支持行動を接線方向として符号化することで，外挿誤差を抑制する。
- 標準的な連続制御ベンチマークにおいて，既存手法と比較して堅牢かつ安定した性能を示すことが確認された。
材料の電子構造ハミルトニアン予測のための普遍的深層学習の進展 [cs.LG, cond-mat.mtrl-sci, cs.AI, physics.chem-ph, physics.comp-ph]目的：材料の電子構造ハミルトニアン予測における普遍的深層学習の高度化
- 材料設計において，電子構造計算は物性予測の根幹であり，計算コスト削減が重要である。
- 既存の深層学習手法は，元素の種類や構造の多様性，高次元性により汎化性能が課題となっている。
- 本研究は，汎化性能の高い深層学習モデルと大規模データセットを開発し，この課題を解決することを目指す。
- 提案手法NextHAMは，E(3)対称性を考慮したニューラルネットワーク構造と，効率的な学習のための修正項予測手法を組み合わせている。
- 初期電荷密度に基づく「zeroth-step Hamiltonians」を導入することで，入力・出力マッピングを簡略化し，学習の安定性を向上させている。
- Materials-HAM-SOCデータセットを用いて評価した結果，NextHAMは高い精度と効率でハミルトニアンとバンド構造を予測することが示された。
CHOIR：大学研究室におけるコミュニケーションを活用した組織的記憶をチャットボットで支援するシステム [cs.HC, cs.AI]目的：大学研究室における組織的記憶の支援
- 研究活動における知識共有は重要だが，口頭伝承では喪失リスクがある。
- 研究室のチャットログは知識の宝庫だが，検索・整理が困難である。
- チャットボットを活用し，知識の抽出・蓄積を効率化することを目指す。
- LLMベースのチャットボットCHOIRを開発し，４つの機能で組織的記憶を支援した。
- ４つの研究室での実証実験の結果，質問107件，ドキュメント更新38件が確認された。
- プライバシーへの配慮とドキュメントの更新状況の可視化の間の課題が明らかになった。
FS-DFM：少数ステップ拡散言語モデルによる高速かつ正確な長文生成 [cs.CL, cs.AI, cs.LG]目的：長文生成の高速化と精度向上
- 自然言語処理において，長文生成は多様な応用を可能にする重要な技術である。
- 自己回帰型言語モデルは逐次処理のため，長文生成時に速度と遅延が課題となる。
- 拡散言語モデルの効率的なサンプリング手法を開発し，高速かつ高品質な長文生成を実現する。
- FS-DFMは，8ステップのサンプリングで，1,024ステップのベースラインと同程度のperplexityを達成した。
- これにより，サンプリング速度が最大128倍向上し，遅延とスループットが改善された。
- ステップ数を明示的にパラメータ化することで，サンプリングの安定性と制御性を実現している。
音楽のためのオーディオLLMにおけるモダリティの貢献度調査 [cs.LG, cs.SD]目的：オーディオLLMにおける各モダリティの出力への貢献度
- 音楽理解におけるAIの重要性が増しており，より高度な分析が求められている。
- 現在のオーディオLLMが実際に音響情報を利用しているか不明確である。
- オーディオLLMがどのように音響情報を活用しているかを定量的に評価する。
- MM-SHAPフレームワークを適用し，各モダリティの貢献度を定量化した。
- 高い精度を持つモデルはテキストにより依存する傾向が見られた。
- 全体のオーディオ貢献度が低くても，重要な音響イベントを特定できることが示された。
文脈内学習の安定性：スペクトルカバレッジの視点 [cs.LG]目的：大規模言語モデルにおける文脈内学習の安定性評価基準
- 大規模言語モデルの実用化には文脈内学習が不可欠であり，その信頼性が重要視されている。
- 文脈内学習の安定性は，提示される事例数に大きく依存し，その評価は計算コストが高い。
- 提示事例数の下限を保証する，計算可能な十分条件をスペクトルカバレッジを用いて導出する。
- 提案手法は，実証的な精度向上点（ニーポイント）を上回る推定値を常に示し，安定性の評価基準として機能する。
- 小規模な検証データセットを用いた直接的な再サンプリングに基づく分布安定性測定により，提案手法の解釈が検証された。
- 検証のみによる較正ステップにより，保守性を緩和しつつ，順序付けは維持された。
SupCLAP：サポートベクター正則化による音声-テキスト対照学習における最適化軌道のドリフト制御 [cs.SD, cs.AI]目的：音声-テキスト対照学習における最適化軌道のドリフト制御
- マルチモーダル表現の統一は，クロスモーダル検索から最先端のマルチモーダル大規模言語モデルまで，幅広い応用を支える基盤技術である。
- 対照学習における負例からの斥力成分は，不安定な学習を引き起こす最適化軌道のドリフトを招くという問題がある。
- サポートベクター正則化により，この斥力成分を制御し，ドリフトを軽減しつつ，その豊富な情報を活用することを目指す。
- 提案手法SupCLAPは，分類，単言語検索，多言語検索の標準的な音声-テキストデータセットにおいて，InfoNCEやSigLIPといった既存手法を上回る性能を示す。
- 理論解析と実験結果の両方から，SupCLAPが最適化軌道のドリフトを抑制し，有効であることを確認した。
- 追加の学習データや推論計算を必要とせず，訓練へのオーバーヘッドも軽微であるため，効率的な手法である。
不確実性を考慮した知識追跡モデル [cs.LG, cs.CL]目的：知識追跡モデルにおける予測不確実性の把握
- 教育効果を高めるためには，学習者の理解度を正確に把握することが重要である。
- 従来の知識追跡モデルは，学習者の誤りを適切に検出できない場合がある。
- 予測不確実性を考慮することで，学習者の誤りをより効果的に検出することを目指す。
- 予測不確実性が大きい場合，モデルの誤予測と一致することが示された。
- 知識追跡モデルにおける不確実性は有用な情報であり，教育プラットフォームへの応用が期待される。
- 限られたリソース環境下での学習者能力理解に役立つ可能性が示唆された。