arXiv雑要約
AI - 2025/12/22 公開
長文脈推論のための書き込みゲート付きKV：効率的なKV管理 [cs.LG, cs.AI]目的：長文脈LLM推論における効率化
- 大規模言語モデルの応用拡大には，長文脈処理能力が不可欠である。
- 従来の注意機構は計算量とメモリ使用量が課題であり，長文脈処理のボトルネックとなっていた。
- 書き込みゲート機構により，不要な情報のキャッシュへの書き込みを抑制し，効率的な長文脈推論を実現する。
- Write-Gated KVは，KVキャッシュへの書き込みを制御することで，メモリ使用量を46-57%削減することに成功した。
- Llamaモデルにおいて，Write-Gated KVは，事前計算とデコード速度をそれぞれ3.03-3.45倍，1.89-2.56倍向上させた。
- 精度劣化は無視できる程度であり，FlashAttentionやページングKVシステムとの互換性も確保されている。
長期時系列予測のための軽量空間時間グラフニューラルネットワーク [cs.LG, cs.AI]目的：長期多変量時系列予測のための軽量空間時間グラフニューラルネットワーク
- 時系列データは，経済，気象，交通など，多様な分野で広く利用され，その予測は重要である。
- 既存の深層学習モデルはパラメータ数が多く，学習に時間がかかるという課題がある。
- パラメータ効率が良く，学習速度が速い，長期多変量時系列予測の新しいフレームワークを提案する。
- 提案手法Lite-STGNNは，最長720ステップの予測において，最先端の精度を達成した。
- Lite-STGNNは，Transformerベースの手法よりもパラメータ効率が良く，学習速度が大幅に向上した。
- 空間モジュールは4.6%の性能向上に貢献し，Top-$K$は局所性を3.3%向上させた。
データ品質問題の衝突：ソフトウェア欠陥予測における同時発生データ品質問題の広範な実証研究 [cs.SE, cs.LG]目的：ソフトウェア欠陥予測におけるデータ品質問題の同時発生と相互作用の分析
- ソフトウェア品質保証において，欠陥予測モデルは重要な役割を担う。モデルの性能向上は，ソフトウェア開発の効率化に不可欠である。
- 既存研究では，データ品質の問題を個別に扱っている場合が多く，現実のデータセットで頻繁に発生する同時発生と相互作用が考慮されていない。
- 本研究は，複数のデータ品質問題を同時に分析し，欠陥予測モデルの性能に与える影響を定量的に評価することで，この課題を解決する。
- データ品質問題の同時発生はほぼ普遍的であり，最も頻度の低い属性ノイズでさえ，93%以上のデータセットで他の問題と共存していることが示された。
- クラスオーバーラップ，クラス不均衡，無関係な特徴量の存在は，モデル性能に悪影響を及ぼす閾値が存在することが明らかになった。
- 外れ値は，無関係な特徴量が少ない場合に性能を向上させるなど，文脈に依存した評価の重要性が示唆された。
公正な投票方法が民主的レジリエンスの触媒となりうる：正当性，影響，AIによる保護に関する三部作 [cs.CY, cs.AI]目的：公正な投票方法を通じた集団的意思決定の変化と，それによる民主主義の改善
- 現代社会において，民主主義は市民の意思を反映し，社会の安定と発展を支える基盤である。
- 多数決原理に基づく従来の投票方法では，少数意見が反映されにくく，不公平感が生じやすい。
- より公正で代表性の高い投票方法を確立し，民主主義の質を高めること。
- 公正な投票方法は，正当性の醸成，新たな影響の加速，そして人工知能のリスクに対する保護という3つの重要な研究結果をもたらす。
- 累積投票などの表現力豊かな投票形式と，比例代表を促進する集計方法の組み合わせは，より多くの当選者と地理的な代表性の向上につながる。
- 公正な投票方法は，当選者でなくても公平だと感じられ，市民の利他主義や妥協といった民主的価値観を強化する。
エージェント性のあるメッセージングの行動効果：金融サービスアプリケーションにおけるケーススタディ [cs.IR, cs.AI, cs.LG]目的：金融サービスアプリケーションにおけるエージェント性のあるパーソナライズの行動と継続への影響
- マーケティングや製品パーソナライズにおいて情報検索技術の重要性が高まっている。
- 従来のルールベースシステムでは，ユーザーエンゲージメントの最適化が難しい。
- エージェント性のあるパーソナライズによるエンゲージメント強化と長期的な顧客維持の改善。
- エージェント性のあるメッセージングは，従来のシステムと比較して，退会イベントを21％減少させた。
- エージェント性のあるメッセージングは，税務申告期限前の早期申告行動を促進した。
- 適応的な意思決定システムがエンゲージメントを調整し，長期的な顧客維持指標を改善する可能性が示された。
セルフリーネットワークにおける共同電力最適化とユーザ中心クラスタリングのための線形注意機構 [eess.SY, cs.LG, cs.SY]目的：ユーザ中心セルフリーMassive MIMOシステムにおけるAPクラスタリングと電力割り当ての最適化
- セルフリーネットワークは，エリア全体のカバレッジとキャパシティを向上させるため，重要性が増している。
- 既存の深層学習モデルは，動的なネットワーク構成に対応する柔軟性に欠ける場合がある。
- パイロット汚染を抑制し，計算複雑性を軽減しつつ，効率的なクラスタリングと電力割り当てを実現すること。
- 提案モデルは，ユーザとAPの位置情報のみからAPクラスタと電力を共同で予測し，高い性能を発揮する。
- 線形注意機構の導入により，ユーザ-AP間のインタラクションを効率的に捉え，ユーザ数に対する線形スケーラビリティを実現した。
- 数値評価の結果，提案モデルは最小スペクトル効率を最大化し，動的なシナリオ下での適応性と拡張性を示した。
逐次決定タスクへのラショモン効果の翻訳 [cs.AI, cs.LG]目的：逐次決定タスクにおけるラショモン効果の存在と，その特性
- 強化学習は，ロボット制御やゲームAIなど，様々な分野で応用が期待されている。
- 同じデータで学習させたモデルでも，内部表現が異なってしまうことが問題視されている。
- 逐次決定タスクにおいて，ラショモン効果を定量的に検証し，その利点を明らかにすること。
- ラショモン効果は，逐次決定タスクにおいても存在することが確認された。
- ラショモン集合から構築されたアンサンブルは，分布シフトに対してよりロバストである。
- ラショモン集合から派生した寛容なポリシーは，検証の計算要件を削減しつつ，最適なパフォーマンスを維持する。
インコネル625における深層学習を用いたクリープモデルの代理化：高温合金の研究 [cs.LG, cond-mat.mtrl-sci]目的：インコネル625のクリープ変形予測の高速化と高精度化
- 航空宇宙・エネルギーシステムにおける高温合金部品の長期信頼性を確保するには，クリープ特性の正確な把握が不可欠である。
- 従来の有限要素法によるクリープシミュレーションは計算コストが高く，時間と資源を要する。
- 深層学習モデルを用いてクリープシミュレーションを代替し，設計最適化や構造健全性監視を迅速化する。
- 深層学習モデル（BiLSTM-VAE，BiLSTM-Transformer）は，ANSYSシミュレーションと同等の精度でクリープひずみを予測することが示された。
- BiLSTM-VAEは確率的な出力を提供し，不確実性を考慮した予測を可能にする。
- BiLSTM-Transformerは高い決定論的精度を示し，ANSYSシミュレーションと比較して大幅な計算時間短縮を実現した。
デジタルツインを活用した脳腫瘍解析のための連合学習フレームワークTwinSegNet [cs.CV, cs.LG]目的：脳腫瘍セグメンテーションの精度向上とプライバシー保護
- 脳腫瘍の正確な診断と治療計画には，セグメンテーションが不可欠である。
- 中央集権的なデータ収集はプライバシー侵害のリスクがあり，汎化性能を制限する。
- プライバシーを保護しつつ，多様な機関でのセグメンテーション精度を高める。
- TwinSegNetは，ViT-UNetモデルとデジタルツインを組み合わせた連合学習フレームワークである。
- 9つの異質なMRIデータセットで，高いDiceスコア（最大90%）と感度/特異度（90%超）を達成した。
- 中央集権型モデルと比較して，プライバシーを保護しながら高い性能を維持していることが示された。
InsertAnywhere：4Dシーンジオメトリと拡散モデルを融合したリアルな動画オブジェクト挿入 [cs.CV, cs.AI]目的：現実的な動画オブジェクト挿入の実現
- 動画編集技術の発展は，エンターテイメントやコンテンツ制作において重要な役割を担う。
- 既存手法では，4Dシーンの理解不足やオクルージョン，照明処理の不備により，自然なオブジェクト挿入が困難。
- 4Dシーン理解と拡散モデルを組み合わせ，幾何学的に整合性のあるオブジェクト挿入を目指す。
- InsertAnywhereは，4D認識によるマスク生成モジュールと拡散モデルを組み合わせることで，高精度なオブジェクト挿入を実現。
- 照明効果を含む局所的な変化も合成可能であり，現実世界に近い動画生成に貢献。
- 新設した合成データセットROSE++を活用し，教師あり学習を可能にし，既存モデルを大きく上回る性能を実証。
PathBench-MIL：組織病理学における多インスタンス学習のための包括的AutoMLおよびベンチマークフレームワーク [eess.SY, cs.SY, cs.CV, cs.LG, cs.NE, cs.SE, q-bio.TO]目的：組織病理学における多インスタンス学習の自動化とベンチマーク
- 近年，病理画像を用いた診断支援が注目されており，AI技術の活用が期待されている。
- 多インスタンス学習は複雑な問題設定であり，モデル選択や設定が困難である。
- 本研究は，多インスタンス学習パイプラインの自動化と標準化を目指す。
- PathBench-MILは，前処理，特徴抽出，MIL集約を含むエンドツーエンドのパイプラインを自動化する。
- 数十種類のMILモデルと特徴抽出器の再現性のあるベンチマークを提供する。
- 可視化ツール，統合設定システム，モジュール式拡張性により，迅速な実験と標準化を可能にする。
キー条件付き直交正規変換ゲーティング（K-OTG）：隠れ状態スクランブルによるLoRA調整モデルへの多鍵アクセス制御 [eess.SY, cs.SY, cs.CR, cs.AI]目的：命令調整済み言語モデルにおける秘密鍵アクセス制御の実現
- 大規模言語モデルの利用拡大に伴い，セキュリティとプライバシー保護が重要課題となっている。
- 既存のアクセス制御手法は，性能低下や導入の複雑さといった課題を抱えている。
- LoRA調整モデルにおいても，性能を維持しつつ，不正利用を防止するメカニズムを確立すること。
- K-OTGは，正当な鍵を提示された場合にのみモデルの性能を維持し，不正なアクセス時には意味のない出力を生成することを示した。
- 4ビットベースのLoRAとの組み合わせが可能であり，様々なモデルへの適用が容易である。
- 実験結果から，K-OTGは，実用的な速度で不正利用を効果的に防止できることが確認された。
SafeBench-Seq：物理化学的/組成特徴とクラスタ認識信頼区間を用いたタンパク質ハザードスクリーニングのための相同性クラスター化，CPU専用ベースライン [cs.LG, cs.AI, cs.CR]目的：タンパク質ハザードスクリーニングのための，相同性制御下で評価され，汎用CPUで実行可能な，シンプルな再現性のあるベースラインの確立
- タンパク質設計における基盤モデルの利用が進む中，生体安全保障上のリスク評価が重要になっている。
- 既存のハザードスクリーニング手法は，相同性制御が不十分で，評価結果の再現性が低い場合がある。
- 相同性クラスター化による評価と，汎用CPUでの実行可能性を両立する，新たなスクリーニングベースラインを構築する。
- SafeBench-Seqは，公開データのみを用いて構築された，再現性のあるベンチマークおよび分類器である。
- 相同性クラスター化を用いた評価により，ランダム分割による評価よりも現実的な頑健性を評価できることが示された。
- 較正された線形モデルは良好な較正性能を示し，決定木アンサンブルはわずかに低いBrierスコア/ECEを示した。
NetworkFF：前方のみニューラルネットワークにおける統一的な層最適化 [cs.MM, cs.LG]目的：前方のみニューラルネットワークにおける層間協調学習のメカニズム
- 深層学習の発展に伴い，計算資源とメモリ消費量の削減が重要課題となっている。
- 従来の前方のみ学習アルゴリズムでは，層間の独立性が学習効率を阻害する要因となっていた。
- 層間協調学習を導入し，前方のみ学習の性能向上と効率化を目指す。
- 提案手法であるCFF学習は，MNISTおよびFashion-MNISTデータセットにおいて，従来の前方のみ学習アルゴリズムを上回る性能を示した。
- 固定型CFF（F-CFF）と適応型CFF（A-CFF）の2つの協調パラダイムを実装し，層間連携の有効性を検証した。
- 本研究は，ニューロモーフィックコンピューティングや省エネルギーAIシステムへの応用可能性を示唆している。
ロバスト-R1：強靭な視覚理解のための劣化を考慮した推論 [cs.CV, cs.AI]目的：視覚劣化に対するロバスト性を高めるための推論フレームワーク
- 現実世界の視覚データはノイズや劣化を含むため，実用的な視覚理解システムにはロバスト性が不可欠である。
- 既存のマルチモーダル大規模言語モデルは，視覚劣化に対して脆弱であり，信頼性が低下する可能性がある。
- 視覚劣化を明示的にモデル化し，ロバストな推論を可能にすることで，この問題を解決する。
- ロバスト-R1は，劣化を考慮した推論基盤を学習するための教師ありファインチューニング，劣化パラメータの正確な認識のための報酬駆動アラインメント，および劣化強度に応じた動的な推論深度のスケーリングを統合している。
- 11Kの特殊なデータセットを導入し，現実的な劣化を合成し，劣化パラメータ，知覚影響，元の意味推論チェーン，および結論を結びつける構造化チェーンで注釈を付けている。
- R-Benchにおける実世界劣化ベンチマークにおいて，ロバスト-R1は既存の汎用およびロバストなベースラインを上回り，MMMB，MMStar，RealWorldQAにおいて優れた劣化防止性能を維持している。
多様な服装の人物の3Dメッシュ復元：単一画像からのClothHMR [cs.CV, cs.AI]目的：多様な服装の人物の3Dメッシュ復元
- 3Dデータは重要なマルチメディア情報であり，3D人体メッシュ復元技術の発展が求められている。
- 既存手法はタイトな服装の人体を対象としており，多様な服装，特にゆったりとした衣服下での形状・姿勢推定が課題である。
- 衣服の影響を軽減し，汎化性能を高めることで，多様な服装の人体の3Dメッシュを正確に復元することを目指す。
- ClothHMRは，衣服のシルエットにフィットするように衣服を調整する「衣服テーラリング（CT）」モジュールと，大規模な基礎モデルに基づいたメッシュ復元（MR）モジュールで構成される。
- CTモジュールは，人体セマンティック推定とエッジ予測により衣服を調整し，MRモジュールは3D人体メッシュの初期パラメータを最適化することで正確な復元を実現する。
- 実験結果から，ClothHMRはベンチマークデータセットや実環境画像において，既存の最先端手法を大幅に上回る性能を示すことが確認された。
大規模言語モデルを用いた早期診断のための説明可能な対話型AI [cs.RO, cs.AI]目的：大規模言語モデルによる早期診断を目的とした説明可能な対話型AIシステム
- 世界的に診断の非効率性や医療費の高騰が課題であり，専門医へのアクセスも限られている。
- 既存のAI診断システムは，患者とのインタラクティブ性や透明性に欠ける点が課題である。
- 患者との対話を通じて症状を抽出し，診断の根拠を提示するAIシステムを開発し，臨床応用を目指す。
- GPT-4o等のLLM，検索拡張生成，説明可能なAI技術を活用した診断チャットボットを開発した。
- チャットボットは動的な会話を通じて症状を抽出し，類似度マッチングや適応的な質問により診断を優先順位付けする。
- Naive Bayes等の従来の機械学習モデルと比較して，90%の精度と100%のTop-3精度を達成した。
ノイズ除去が逆効果となる場合：最新の医療音声認識システムに対する音声強調の効果に関する体系的な研究 [cs.RO, cs.SD, cs.AI, cs.LG, eess.AS]目的：最新の医療音声認識システムにおける音声強調の効果
- 音声認識技術は，医療現場での記録作成や診断支援に不可欠であり，その精度向上は重要な課題である。
- 従来の音声認識システムではノイズ除去が有効であったが，大規模データで学習された最新モデルでは効果が不明確である。
- 最新の音声認識システムにおいて，ノイズ除去が性能に及ぼす影響を明らかにすること。
- 最新の音声認識システムは，ノイズに対する内部的な頑健性を有しており，音声強調処理によって性能が低下することが示された。
- 実環境のノイズを含む音声データを用いることで，音声強調処理が必ずしも有効ではないことを体系的に検証した。
- 医療現場での音声記録において，ノイズ除去処理は計算資源の浪費だけでなく，転写精度の低下につながる可能性がある。
様々な中枢神経系腫瘍タイプと撮像時期に対応するFLAIR高信号領域セグメンテーション統合モデル [cs.CV, cs.AI]目的：様々な中枢神経系腫瘍タイプと撮像時期におけるFLAIR高信号領域の自動セグメンテーション
- 脳腫瘍の診断，治療計画，経過観察にはFLAIR画像が不可欠であり，正確な腫瘍容積評価が重要である。
- 腫瘍タイプや撮像時期によってセグメンテーションモデルを個別に開発する必要があり，汎用性の欠如が課題である。
- 異なる腫瘍タイプや撮像時期に適用可能な，汎化性能の高いセグメンテーションモデルを開発し，臨床応用を促進する。
- 統合モデルは，術前髄膜腫で平均Dice係数88.65%，術前転移性腫瘍で80.08%を達成した。
- BraTSデータセットの術前および術後グリオーマ，低悪性度グリオーマにおいても高いセグメンテーション性能を示した。
- データセット固有のモデルと同等の性能を維持しつつ，腫瘍タイプや撮像時期に依存しない汎化性能を実現した。
ベイズ最適化：どの制約が重要か？ [cs.RO, cs.LG, math.OC]目的：ベイズ最適化における制約の影響の特定
- 高コストなグローバル最適化問題に対し，ベイズ最適化は有効な手法である。
- 制約条件が多い場合，最適解に影響する制約が少数であるにも関わらず，全ての制約を考慮する必要がある。
- 最適解に影響する制約のみを評価することで，効率的な最適化を実現すること。
- 提案手法は，既存手法と比較して，制約が分離されたブラックボックス最適化問題において優れていることが実験的に示された。
- 特に，最適解において拘束的な制約が少数である場合に，関連する制約のみを評価するアプローチが有効であることが示された。
- 提案手法は，計算コストを削減しつつ，最適化性能を向上させる可能性を示唆している。
GreedySnake：効率的なスケジューリングとオプティマイザステップのオーバーラップによるSSDオフロードLLM学習の高速化 [cs.LG, cs.AI, cs.PF]目的：SSDオフロードLLM学習における効率的なスケジューリング手法
- 大規模言語モデルの学習には莫大な計算資源が必要であり，コスト削減が重要な課題である。
- SSDオフロードは有効だが，I/Oボトルネックが性能向上を妨げる場合がある。
- 垂直スケジューリングとオプティマイザステップのオーバーラップにより，I/Oボトルネックを軽減し，学習効率を向上させる。
- 提案手法GreedySnakeは，従来の水平スケジューリングと比較して，より高い学習スループットを実現した。
- GPT-65Bでは1GPUで1.96倍，4GPUで1.93倍，GPT-175Bでは1GPUで2.53倍のスループット向上を達成した。
- 本手法は，理論的な性能上限に近づく結果を示し，SSDオフロードLLM学習の効率化に貢献する。
GPU内部スケジューリングとリソース共有による分散型マルチステージMLLM推論の実現 [cs.DC, cs.LG]目的：マルチステージMLLM推論におけるシステムボトルネックの軽減
- MLLMはLLMに視覚理解能力を付与し，多様な応用を可能にする重要な技術である。
- 動画デコードなどの前処理や，各ステージ間の非効率な処理が，推論の遅延を招く。
- GPUリソースを効率的に活用し，ステージ間の連携を最適化することで，推論速度を向上させる。
- FlashCodecとUnifiedServeにより，マルチGPUを用いた動画デコードの高速化と，ステージ間のデカップリングを実現した。
- UnifiedServeは，GPUリソースの共有とステージ間の干渉抑制により，GPUシステムの利用効率を最大化する。
- 提案手法により，要求数を最大3.0倍，スループットを最大4.4倍に向上させることが確認された。
静的および単一イベント動的複雑ネットワーク分析のための機械学習 [cs.LG]目的：静的および単一イベント動的ネットワークのグラフ表現学習における新規なアルゴリズム的アプローチの開発
- ネットワーク分析は，社会，生物，技術など多様な分野で重要な役割を担うため，その重要性は高い。
- 既存の手法では，ネットワーク構造の複雑さを捉えきれず，多様なタスクに対応することが困難である。
- ネットワーク構造を包括的に捉え，多様なタスクに対応できる統一的なネットワーク埋め込み手法を開発すること。
- 本研究では，潜在空間モデル，特に潜在距離モデルに焦点を当て，ネットワークのホモフィリー，推移性，バランス理論といった特性を自然に表現する手法を提案する。
- 構造を意識したネットワーク表現を構築することで，ネットワーク構造の階層的表現，コミュニティ特性評価，ネットワーク内の極端なプロファイルの特定，時間的ネットワークにおける影響力ダイナミクスの定量化を可能にする。
- 提案手法は，ヒューリスティクスやポストプロセスのような多段階プロセスを排除し，統一的な学習プロセスを定義することを目的とする。
予測的安全性表現を用いた安全な自動運転ポリシーの学習 [cs.RO, cs.LG, cs.RO]目的：自動運転における安全性と性能のトレードオフ改善
- 自動運転技術は，交通の効率化と安全性向上に不可欠である。
- 安全性を重視しすぎると性能が低下し，逆に性能を追求すると安全性が損なわれる。
- 予測的な安全性表現により，安全性を確保しつつ高性能な自動運転を可能にする。
- SRPLフレームワークは，WaymoとNuPlanデータセットにおいて，報酬と安全性のトレードオフを改善した。
- 成功率が統計的に有意に向上（効果量r=0.65-0.86）し，コストも削減された（効果量r=0.70-0.83）。
- 予測的安全性表現は，観測ノイズに対するロバスト性を高める上で重要な役割を果たすことが示された。
データ共有なしでの知識共有：Stitchesが個別学習モデルのアンサンブルを改善する [cs.AR, cs.DC, cs.HC, cs.LG]目的：個別学習モデルのアンサンブル性能向上
- 深層学習は強力だが，大規模データセットに依存する。
- 医療分野など，データが分散しており共有が困難な場合がある。
- 非同期的な知識共有による性能改善を目指す。
- 単独のデータセットで学習したモデルを統合すると，自身のデータセットでの性能は維持されるが，他のデータセットでの性能が低下する。
- 個別学習ネットワークのアンサンブルは汎化性能は向上するものの，各データセットでの性能が低下する。
- Stitches層を用いることで，性能回復と汎化性能の向上が同時に達成可能である。
ニューラルネットワークアーキテクチャの統一的表現 [cs.LG, math.OC]目的：ニューラルネットワークアーキテクチャの統一的表現
- 深層学習は，画像認識や自然言語処理など，様々な分野で目覚ましい成果を上げている。
- 既存のニューラルネットワークの理論は，ネットワークの規模が無限大に近づく場合の解析が困難である。
- 無限大のニューラルネットワークにおける近似誤差を解析し，統一的な表現を導出することを目指す。
- 隠れ層のニューロン数と層数を無限大に近づけた場合の極限的なニューラルネットワークアーキテクチャを解析した。
- 単一隠れ層のネットワークと，残差接続を持つ深層ネットワークに対する連続的な表現を導出した。
- ニューラルODEと深層残差ネットワークの関係を形式化し，分散パラメータニューラルネットワーク(DiPaNet)という統一的な表現を提案した。
MAD-OOD：外来マルウェアの検知と分類のための深層学習クラスタ駆動型フレームワーク [cs.CR, cs.AI, cs.CV, cs.LG]目的：外来マルウェアの検知と分類
- マルウェアは日々進化し，既存のセキュリティ対策を回避するため，その検知は重要である。
- 多型・変異型マルウェアの亜種により，同一ファミリー内でも多様性が大きく，検知が困難である。
- 未知のマルウェアファミリーに対しても高い検知性能を実現し，実用的なセキュリティ対策に貢献する。
- 本研究で提案するMADOODは，ガウス判別分析に基づいたクラス条件付き球面決定境界を用いることで，外来マルウェアを効果的に検知する。
- クラスタベースの予測，改良された埋め込み表現，教師あり分類器の出力を統合することで，分類精度を向上させている。
- ベンチマークデータセットでの評価により，MADOODが最先端の外来マルウェア検知手法を大幅に上回ることが示された。
擾乱下におけるアルゴリズムの収束性に関するシステム理論的視点 [cs.LG, math.OC, stat.ML]目的：擾乱下でのアルゴリズム収束性に関する安定性限界および収束速度の導出
- アルゴリズムは現実世界で動作するため，物理的・社会的影響を受けることが重要である。
- 既存研究では，擾乱がない理想的な環境での収束性しか保証されていなかった。
- 擾乱が存在する状況下でのアルゴリズムの収束性を理論的に評価すること。
- 本研究では，逆リャプノフ定理を用いて，擾乱がアルゴリズムに与える影響を定量化する主要な不等式を導出した。
- この結果は，分散学習における通信制約，機械学習の汎化における感度，プライバシー保護のための意図的なノイズ注入など，幅広い応用分野でアルゴリズム性能の評価に利用できる。
- 本研究は，ノイズ，擾乱，および他の動的システムとの相互接続が存在する状況下におけるアルゴリズム分析のための統一的なツールとなる。
マンモグラフィ画像登録のための解剖学的ランドマークを含む新しいベンチマークデータセットMGRegBench [cs.CV, cs.AI]目的：マンモグラフィ画像登録のためのベンチマークデータセット
- 乳がんの進行追跡など，臨床応用には正確なマンモグラフィ画像登録が不可欠である。
- 公開データセットと標準化されたベンチマークが不足し，研究間の比較が困難であった。
- 手動アノテーション付きの大規模データセットを提供し，公平な比較と今後の研究を促進すること。
- MGRegBenchは，5,000組以上の画像ペアと，100組の手動ランドマーク・セグメンテーションマスクを含む，大規模な公開2D登録データセットである。
- 古典的手法から最新の深層学習手法まで，多様な登録方法をMGRegBenchを用いて比較評価した。
- データセットとコードを公開することで，今後の研究の基礎となるリソースを確立した。
交互的な易-難学習による，より一貫性のある精度を持つPINN [cs.LG, cs.AI]目的：偏微分方程式の解法における物理情報ニューラルネットワークの精度向上
- 物理現象のシミュレーションにおいて，数値解法の効率性と精度が求められている。
- 物理情報ニューラルネットワークの学習戦略は未だ探索途上にあり，問題依存性が高い。
- 難易度を交互に変えることで，幅広い偏微分方程式に対して安定した精度を実現する。
- 提案手法は，急峻な勾配，非線形性，高次元性を持つ偏微分方程式において，高い精度を安定的に達成した。
- 相対L2誤差は主にO(10^-5)からO(10^-6)の範囲にあり，既存手法を大幅に上回る。
- 多様な問題に対して，精度が変動しやすい既存手法と比較して，より信頼性の高い結果が得られた。
プロセス介入の逐次的な因果最適化 [cs.LG, cs.AI]目的：プロセス介入の最適化
- ビジネスプロセスの効率化は，組織の業績向上に不可欠である。
- 既存手法では，複数介入間の時間的な相互作用が無視されている場合が多い。
- 観測データから直接，最適な介入シーケンスを導き出すことを目指す。
- SCOPEは，後方漸化を用いて各介入候補の効果を推定する。
- 因果学習を活用することで，強化学習のためのプロセス近似が不要となる。
- 実験により，SCOPEが既存のPresPM手法を上回るKPI最適化能力を示すことが確認された。
信頼性と妥当性を考慮した小規模LLMの重み付きアンサンブルが，大規模LLMを上回る感情検出性能 [cs.CL, cs.LG]目的：テキストに基づく感情検出のための，信頼性と妥当性を考慮した重み付きアンサンブル
- 自然言語処理において，感情認識は人間とコンピュータ間のより自然なコミュニケーションを可能にする上で重要である。
- 大規模言語モデルは計算コストが高く，リソースに制約のある環境での利用が難しい場合がある。
- 小規模言語モデルを組み合わせることで，大規模モデルに匹敵する性能を，より効率的に実現することを目指す。
- 本研究で提案するアンサンブルは，DAIR-AIデータセットにおいて93.5%のマクロF1スコアを達成し，最先端のベンチマークを上回った。
- 特に，Falcon，Mistral，Qwen，Phiといった大規模LLMと比較して，大幅な性能向上が認められた。
- わずか5億9500万パラメータのアンサンブルは，最大70億パラメータのモデルよりもパラメータ効率が良く，頑健であることが示された。
トラスト領域適応型方策最適化 [cs.LG, cs.AI]目的：大規模言語モデルの複雑な推論能力向上
- 大規模言語モデルは多様なタスクに応用可能だが，高度な推論能力が課題である。
- 従来のSFTとRLの二段階パイプラインでは，SFTによる模倣がRLの探索を抑制する。
- SFTとRLを統合し，外部からの教師データと自己探索を両立させること。
- TRAPOは，SFTとRLを各訓練インスタンス内で交互に行うことで，この問題を解決する。
- Trust-Region SFT (TrSFT) により，KLダイバージェンスをトラスト領域内で最小化し，安定した学習を実現。
- 数学的推論ベンチマーク5つにおいて，既存手法を上回る性能を示し，新たなパラダイムを確立。
時間的報酬機械を用いたモデルフリー強化学習 [cs.AI, cs.FL, cs.LO]目的：時間的制約を組み込んだ報酬仕様
- 強化学習において，報酬設計は行動を導く上で極めて重要である。
- 従来の報酬機械は正確な時間制約をモデル化できず，時間依存性の高い問題に対応できない。
- 時間的制約を考慮した報酬仕様により，時間重視の応用分野での性能向上を目指す。
- 時間的報酬機械(TRM)を強化学習に統合し，時間制約を満たしつつ高い報酬を得るポリシーを学習した。
- デジタルおよびリアルタイムセマンティクス下で，TRMを用いた最適なポリシー学習のためのアルゴリズムを提案した。
- カウンタファクチュアル・イマジニングヒューリスティクスが，TRMの構造を活用し，学習効率を向上させることを示した。
ニューラルネットワークを用いた空間分解能を持つ放射線場推定 [cs.LG, physics.comp-ph, physics.med-ph]目的：空間分解能を持つ放射線場の推定方法
- 医療における放射線防護は重要であり，正確な線量評価が不可欠である。
- 複雑な放射線場における空間分布の正確な計測は困難である。
- ニューラルネットワークを用いて，放射線場の空間分布を高精度に推定する。
- Geant4に基づくモンテカルロシミュレーションで生成した３種類のデータセットを用いて学習を行った。
- 畳み込みニューラルネットワークと全結合ニューラルネットワークの性能を比較し，適切な設計を検討した。
- 学習用データセットとパイプラインはオープンソースとして公開されている。
Vidarc：閉ループ制御のための具現化されたビデオ拡散モデル [eess.SY, cs.SY, cs.CL, cs.RO, cs.LG]目的：データ不足環境におけるロボットアーム操作の制御
- ロボット工学において，複雑な環境下での自律的なロボット操作は重要な課題である。
- 既存手法は，具現化固有の閉ループ制御に最適化されておらず，遅延や接地性の不足が問題である。
- 具現化を考慮した高速かつ正確な閉ループ制御を実現し，汎化性能を高めることを目指す。
- Vidarcは，マスキングされた逆ダイナミクスモデルと組み合わせた自己回帰型ビデオ拡散アプローチである。
- 実世界の展開において，既存の最先端手法を15%以上上回り，成功率を向上させた。
- また，遅延を91%削減し，未知のロボットプラットフォームへの頑健な汎化能力とエラー訂正能力を示した。
STAR: ゼロショットHTTPSウェブサイトフィンガープリンティングのための意味的・トラフィック整列と検索 [cs.CR, cs.AI, cs.NI]目的：ゼロショットクロスモーダル検索問題としてのウェブサイトフィンガープリンティング
- HTTPS普及に伴い，プライバシー保護の重要性が増している。しかし，暗号化されたトラフィックからの情報漏洩リスクが存在する。
- 既存のフィンガープリンティング手法は教師あり学習に依存し，未知のウェブサイトへの対応が困難である。
- 暗号化されたトラフィックとウェブサイトのロジックプロファイル間の意味的整列により，未知のサイトも識別可能とする。
- STARは，1600の未知のウェブサイトにおいて，トップ1正解率87.9%とAUC0.963を達成し，既存手法を上回った。
- サイトごとにわずか4つのラベル付きトレースを追加することで，トップ5正解率は98.8%に向上した。
- 分析の結果，現代のウェブプロトコルには本質的な意味的・トラフィック整列が存在し，これがプライバシーリスクの主要因となっていることが明らかになった。
多重調和カスケード [cs.LG, cs.NA, math.NA]目的：非線形関数近似の新たなアーキテクチャ
- 機械学習において，複雑な関数を扱う能力は重要であり，特に高次元データに対して有効な手法が求められている。
- 従来の深層学習モデルでは，過学習や局所最適解への陥りやすさといった課題が存在する。
- 本研究は，理論的整合性と確率的解釈を保ちつつ，効率的な学習と汎化性能を実現する。
- 多重調和カスケードは，ポリハーモニック・スプラインを層構造化した深層学習モデルである。
- 各層は，確率関数の理論と無関心原理に基づき導出されており，滑らかさと確率解釈を維持する。
- 勾配降下法に代わり，固定ノードにおける関数値に関する単一の線形システムを解くことで学習を行う。
ビデオベースの視線推定のための時空間特徴表現の学習 [cs.CV, cs.AI, cs.HC]目的：ビデオベースの視線推定における時空間特徴表現
- 視線推定は，ヒューマンコンピュータインタラクションや行動分析において重要な役割を担う技術である。
- 従来のモデルは，空間的および時間的な関係性の捉えにくさに起因する性能限界を抱えている。
- 本研究は，よりロバストなビデオベースの視線推定を実現するため，時空間特徴表現の改善を目指す。
- 提案手法ST-Gazeは，EVEデータセットにおいて，個人適応の有無にかかわらず，最先端の性能を達成した。
- チャンネル注意機構と自己注意機構を組み合わせることで，眼と顔の特徴を最適に融合することに成功した。
- フレーム内空間コンテキストの保持とモデリングが，早期の空間プーリングよりも優れていることが示された。
拡散ベース超解像におけるサンプリングハイパーパラメータの経験的研究 [cs.CV, cs.AI]目的：拡散モデルを用いた超解像におけるサンプリングハイパーパラメータの影響評価
- 画像処理分野において，高解像度画像の復元は重要な課題であり，様々な応用が期待される。
- 拡散モデルの性能はハイパーパラメータに大きく依存するが，適切な設定は容易ではない。
- 拡散モデルにおける条件付け手法の最適なハイパーパラメータを明らかにすること。
- FFHQデータセットを用いた実験の結果，条件付けステップサイズが性能に大きな影響を与えることが示された。
- ステップサイズの範囲[2.0, 3.0]が全体的に最良の結果をもたらすことが確認された。
- ステップ数よりもステップサイズの方が重要であることが，経験的に示された。
一度しか学習しない：オミクスデータのための微分可能なサブセット選択 [cs.CL, cs.LG, cs.AI]目的：シングルセルトランスクリプトームデータからのコンパクトで情報量の多い遺伝子サブセットの選択
- バイオマーカーの発見，解釈性の向上，コスト効率の良いプロファイリングに不可欠な研究分野である。
- 既存の多くの特徴選択手法は，選択と予測が弱く結合しており，多段階パイプラインや事後評価に依存する。
- 選択と予測を同時に最適化し，スパースな遺伝子サブセットの発見を目指す。
- YOTOは，遺伝子サブセットの選択と予測を単一の微分可能なアーキテクチャ内で同時に行うエンドツーエンドのフレームワークである。
- YOTOは，予測タスクが直接遺伝子選択を誘導し，学習されたサブセットが予測表現を形成することで，閉じたフィードバックループを実現する。
- YOTOは，複数のシングルセルRNA-seqデータセットで最先端のベースラインよりも優れた性能を示し，予測性能の向上と有意義な遺伝子サブセットの発見に貢献する。
局所学習と異質エージェントを持つFederated SARSAの収束性保証 [cs.RO, cs.LG, stat.ML]目的：Federated SARSAにおける収束性の保証
- 機械学習の分散化が重要であり，プライバシー保護と効率的な学習を両立できる可能性を秘めている。
- 異質環境下におけるFederated SARSAの理論的保証は未だ十分ではなく，実用上の課題となっている。
- 異質性下でのFederated SARSAの収束性を理論的に証明し，サンプル複雑性と通信複雑性の限界を明らかにする。
- 単一エージェントSARSAの正確な多段階誤差展開を導出し，異質性の影響を定量的に評価した。
- エージェント数が増えるにつれてFederated SARSAが線形的に高速化されることを示した。
- 数値実験により，理論的結果が検証された。
空間情報を考慮したTransformer：自己注意機構への地統計学的共分散バイアス注入による時空間予測 [cs.LG, stat.ME, stat.ML]目的：高次元時空間プロセスのモデリング
- 時空間データの予測は，交通，気象，環境など様々な分野で不可欠である。
- 深層学習は柔軟だが，空間的な幾何学的知識を欠いている。
- 地統計学的知識をTransformerに組み込み，予測精度と確率的予測の信頼性を向上させる。
- 提案手法は，自己注意機構に地統計学的共分散を注入することで，空間的な近接性に基づく相互作用を促進する。
- 実験の結果，合成データと実世界の交通データにおいて，最先端のグラフニューラルネットワークを上回る性能が確認された。
- ネットワークは真の空間減衰パラメータを自己学習し（Deep Variography），高精度かつ校正された確率的予測を実現する。
低ランク適応における忘却の軽減 [cs.LG, stat.ML]目的：低ランク適応における忘却軽減手法
- 大規模言語モデルの活用が広がる中で，効率的な適応手法の重要性が増している。
- 低ランク適応は効率的だが，事前知識の忘却という課題を抱えている。
- 事前知識の保持とタスク学習の両立を目指し，忘却を抑制する。
- LaLoRAは，Laplace近似を用いて低ランク適応におけるパラメータ更新を正則化する。
- パラメータの確信度を推定し，高曲率方向の更新を抑制することで，事前知識の保持と効率的な学習を両立する。
- 数学的推論タスクにおいて，学習と忘却のトレードオフを改善し，正則化強度で制御可能であることを示す。
デジタルおよびウェブフォレンジックモデルカード V1 [cs.CR, cs.AI]目的：デジタルおよびウェブフォレンジックにおける知識表現の標準化
- デジタル不正や犯罪の増加に伴い，フォレンジックの重要性が増している
- フォレンジック分析における知識の体系化と共有が不十分である
- フォレンジック分野に特化したモデルカードを開発し，標準化を促進する
- 本研究では，フォレンジックドメインの知識を表現するモデルカード生成のためのウェブベースのフレームワークを提案した。
- フレームワークは，分類，推論タイプ，バイアス特定，エラー分類のための制御語彙を含む。
- コミュニティからのフィードバックを収集し，この新たな標準を改善していくことを目指している。
共同購入関係の因果的脱混乱と反事実的曝露による多様性推薦 [cs.IR, cs.AI]目的：推薦の多様性向上
- 推薦システムの精度向上に加え，多様性の確保が重要視されている。
- 既存手法は共起頻度に依存し，アイテムの人気やユーザー属性の影響を受けやすい。
- アイテム間の因果関係に基づき，多様性を高めつつ推薦精度を維持することを目指す。
- 提案手法Cadenceは，アイテム間の偏りのない非対称共同購入関係(UACR)を計算し，より質の高い埋め込み表現を獲得する。
- UACRを用いて，ユーザーの興味と関連性の高い未インタラクトアイテムを発見し，反事実的な曝露をシミュレートすることで多様性を向上させる。
- 実データ実験の結果，提案手法は最先端の多様性推薦モデルと比較して，多様性と精度において一貫して優れた性能を示す。
AncientBench：発掘・伝承された中国語コーパスの包括的評価に向けて [cs.CY, stat.AP, cs.CL, cs.CL, cs.AI]目的：古代のテキスト理解の評価
- 考古学や中国の歴史・文明理解において，古代文献の理解は不可欠である。
- 既存の中国語ベンチマークは現代中国語や伝承された古文書に偏り，発掘文書の評価が不足している。
- 発掘文書を含む古代のテキスト理解能力を包括的に評価するベンチマークの構築。
- AncientBenchは，字形，発音，意味，文脈の4つの能力を評価する10種類のタスクを含む。
- 考古学研究者による実験評価と，ベースラインモデルを用いた大規模言語モデルの実験を実施した。
- 実験結果から，大規模言語モデルの古代テキスト処理の可能性と，人間との乖離が示された。
聞こえるだろうか？ 長距離グラフ伝播のベンチマーク [cs.LG]目的：長距離グラフ伝播能力の評価基準
- グラフ構造データは，科学分野における様々な応用において重要であり，その解析能力の向上が求められている。
- グラフニューラルネットワークは，長距離の相互作用を捉えることが難しく，性能のボトルネックとなっている。
- 本研究は，グラフニューラルネットワークにおける長距離伝播の限界を明らかにし，その改善策の検討を促す。
- ECHO（Evaluating Communication over long HOps）という新しいベンチマークを提案し，GNNの長距離グラフ伝播能力を厳密に評価できることを示した。
- 既存のGNNアーキテクチャの性能を評価した結果，真の長距離伝播は困難であり，アーキテクチャの選択が重要であることが明らかになった。
- ECHOは，科学におけるAIの必要性を示すとともに，長距離情報伝播を評価するための新たな基準を確立した。
バングラ医ER：バングラ語医療エンティティ認識のためのMulti-BERTアンサンブル手法 [cs.CY, cs.CL, cs.AI]目的：バングラ語医療エンティティ認識
- 医療分野における情報処理の重要性が高まる中，自動化システムの開発に貢献する。
- 英語に比べ，リソースの乏しい言語（バングラ語など）における医療エンティティ認識の研究は遅れている。
- バングラ語の医療エンティティ認識における性能向上を目指す。
- 提案手法であるMulti-BERTアンサンブルは，既存のモデルを凌駕し，最高精度89.58%を達成した。
- 特に，単層BERTモデルと比較して精度が11.80%向上しており，その有効性が示された。
- バングラ語医療エンティティ認識のための高品質なデータセットを新たに構築し，モデルの堅牢性と適用可能性を実証した。
容易な適応：リソース制約環境における大規模モデルのための効率的なタスク固有知識注入手法 [cs.LG, cs.AI]目的：大規模モデルへのタスク固有知識の効率的な注入
- 大規模言語モデルは高性能だが，特定のタスクへの適応に課題がある。
- 既存のPEFT手法は，リソースコストが高く，閉鎖的なモデルへのアクセスが困難である。
- リソース制約下で，大規模モデルの性能を損なわずに適応させることを目指す。
- 提案手法Easy Adaptation (EA)は，大規模モデルのパラメータにアクセスすることなく，PEFTと同等の性能を達成する。
- EAは，大規模モデルが苦手とするデータ分布を補完するSpecific Small Models (SSMs)を活用する。
- EAは，PEFTと比較して大幅に少ないリソースで，多様なタスクに対応可能である。