arXiv雑要約
AI - 2026/05/19 公開
最適化器設計における対称性適合原理：埋め込み，LMヘッド，SwiGLU MLP，およびMoEルーター [math.OC, cs.AI, cs.LG, stat.ML]目的：最適化器設計における対称性適合原理の確立
- 深層学習モデルの性能向上には，効率的な最適化手法が不可欠である。
- 従来の最適化器は座標軸ごとに更新を行うため，モデルの対称性を活かせない。
- モデルの対称性を尊重した最適化器を設計し，学習の安定性と性能向上を目指す。
- 対称性適合原理に基づき，埋め込み層，LMヘッド，SwiGLU MLP，MoEルーター向けに新たな最適化器を導出した。
- 導出された最適化器は，それぞれに対応する対称性グループに対して等方的な更新規則を持つ。
- Qwen3，Gemma，OLMoE，gpt-ossなどのモデルを用いた事前学習実験で，本手法がAdamWよりも低い検証損失と安定した学習を実現した。
クロス技術信号整合性解析・最適化のためのバッファパラメータ化機械学習代替モデル [eess.SP, cs.SY, eess.SY, physics.ed-ph, cs.CY, quant-ph, cs.ET, physics.soc-ph, cs.SI, quant-ph, cs.ET, eess.SP, cs.CE, cs.LG]目的：プリント基板インターコネクトにおける信号整合性メトリクスの予測
- 高性能な電子機器開発において，信号整合性の確保は不可欠であり，設計の複雑化に伴い重要性が増している。
- 既存の機械学習代替モデルは，バッファパラメータが固定されており，技術変更ごとに再学習が必要となるという課題がある。
- ICバッファ特性を動的モデル入力として扱うことで，技術変更に柔軟に対応し，再学習コストを削減することを目指す。
- 各モデルのベンチマーク調査の結果，データ量が少ない場合は異方性GPRが優位であった。
- 大規模データセットにおいては，ニューラルネットワークが他のモデルを大きく上回る性能を示した。
- 機械学習代替モデルを活用したクロス技術設計空間探索・最適化により，シミュレーションと比較して大幅な計算時間短縮が確認された。
広範な特徴学習ニューラルネットワークの正則化 [stat.ML, cs.LG]目的：特徴学習レジームにおける広範なニューラルネットワークの正則化の理論的枠組み
- 深層学習の発展において，特徴学習は重要な役割を担っているが，その正則化については未解明な点が多い。
- 従来の正則化手法は，特徴学習レジームにおいて，ネットワークの誘導バイアスを歪曲する可能性がある。
- この研究は，特徴学習レジームにおいても有効な，より適切な正則化手法を開発することを目的とする。
- カーネルレジームにおける正則化の性質を一般化し，特徴学習レジームにおいても同様の理論的枠組みを構築した。
- 特徴学習ネットワークのリーマン幾何学を研究し，測地線リッジを導出し，正則化の新たなアプローチを提案した。
- 提案手法arc ridgeは，ミニマックスロバストであり，画像処理や自然言語処理の転移学習で有効性を示した。
前方学習型離散拡散：ノイズの加え方を学習し，高速な復元を実現 [stat.ML, cs.LG]目的：離散拡散モデルにおけるノイズ付加過程の学習
- 生成モデルは画像生成など多岐に渡る分野で重要であり，その効率化が求められている。
- 従来の離散拡散モデルは計算コストが高く，少ないステップでの生成が困難であった。
- 学習可能なノイズ付加過程を導入することで，少ないステップでの高品質な生成を目指す。
- 提案手法は，従来の離散拡散モデルと同等の逆過程パラメータ化を用いながら，より高品質なサンプルを生成する。
- ノイズ付加過程を学習可能とすることで，ターゲット分布とモデル分布のギャップを縮小し，高速な生成を実現した。
- 様々なベンチマークにおいて，提案手法が従来のモデルよりも優れた性能を示すことが確認された。
構造化フローモデリングのための統一的フレームワーク：連続場からデータ駆動型表現へ [physics.data-an, cs.LG]目的：構造化フローのモデリングに関する統一的なフレームワーク
- 様々な動的システムは構造化フローとして記述でき，物理，工学，データ駆動型システム等広範な分野で重要である。
- 連続的な定式化と離散的，データ駆動型表現との間の接続が確立されておらず，モデルの選択肢が限られていた。
- 物理システムのデータを用いた検証戦略により，モデルの正当性と頑健性を評価し，複雑な動的システムの解析を可能にする。
- Helmholtz-Hodge分解に基づく連続的定式化と，シンプシャル複体上のGVFフレームワークを繋ぐことで，表現力と解釈性を両立した。
- モデルの複雑さ，解釈性，予測性能のトレードオフを系統的に評価する検証戦略を確立した。
- 高表現力モデルを診断ツールとして用いる反復モデリング手法により，実用的な制約に適応した簡略化モデルの構築を支援する。
自己開始性注意転移における脳波の特徴解析：制御された内的な注意と外的な注意条件を用いた研究 [eess.SP, cs.LG, q-bio.NC]目的：自己開始性注意転移の神経相関の特性評価
- 自発的な行動の根幹をなす注意転移メカニズムの解明は，認知神経科学において重要である。
- 注意転移の明確な時間的指標が存在せず，その神経メカニズムの解明が困難である。
- 内発的・外発的な注意転移を識別する脳波の特徴を特定し，解釈可能な枠組みを構築する。
- 実験参加者ごとの脳波パターンを高い精度で識別でき，準備期における脳波活動に注意転移の種類を区別する情報が含まれることが示された。
- 高周波帯と前頭領域がモデルの判断に強く寄与する一方，高周波脳波信号における非神経由来のアーチファクトの影響を考慮する必要がある。
- 解釈可能な機械学習を用いることで，個人特有の脳波信号パターンを分析する有用性が示され，パーソナライズされた脳機械インターフェースへの応用が期待される。
幾何学的辞書学習による動力学系の解析：最適輸送を用いた手法 [stat.ML, cs.LG]目的：動力学系のスペクトル演算子空間における低次元多様体の学習
- 複雑な動力学の解析には演算子理論が有効だが，個々の系ごとに推定されるため，共通構造の発見が困難である。
- 関連する動力学系はスペクトル演算子空間において類似性を持つにも関わらず，その構造を捉えた表現学習が不足している。
- 学習された演算子多様体を用いて，短時間・部分観測データからの高速かつ解釈可能な演算子推定を実現する。
- DOODL（Dynamical OperatOr Dictionary Learning）は，特性的なスペクトル動力学の辞書を学習し，多様体を近似することで，個々の系のコンパクトな埋め込み表現を可能にする。
- DOODLは，複雑な多スケール領域においても，軌跡の単なる適合ではなく，動力学を支配する特性的なスペクトル構造を捉えることが示された。
- 低データ環境下において，従来の独立した演算子推定法と比較して，1〜2桁低い誤差を達成し，その有効性が確認された。
QLIF-CAST：量子リーキー積分発火ニューロンによる時系列気象予測 [quant-ph, cs.LG]目的：時系列気象予測の精度向上
- 気象予測は，社会インフラや防災において不可欠であり，その精度向上は重要な課題である。
- 古典的および量子ニューラルネットワークによる時系列予測は，特に多変量環境設定において困難である。
- 量子ニューロンのダイナミクスを用いて，古典的なモデルよりも優れた予測性能と学習効率を実現する。
- QLIF-CASTは，古典的なLIFベースラインと比較して，平均二乗誤差（MSE）が15.4％，平均絶対誤差（MAE）が4.4％低減された。
- QLIF-CASTは，最先端の量子LSTM（QLSTM）や量子ニューラルネットワーク（QNN）と比較して，学習時間が最大94％短縮された。
- IBM Marrakesh（156量子ビットQPU）での検証により，シミュレーションからの平均偏差がわずか1.2％であることを確認した。
リーグ・オブ・レジェンドにおける堅牢なプレイヤー条件付きチャンピオンランキング：スタイル類似性，熟練度事前分布，および原型制約による発見 [stat.AP, cs.LG]目的：プレイヤーごとのチャンピオンランキングの解釈可能性
- 対戦型オンラインゲームにおけるチャンピオン推薦は，プレイヤーのゲーム体験に大きく影響する重要な課題である。
- 既存の推薦システムは，データのノイズや変動性に対応しきれていない場合がある。
- プレイヤーの行動データに基づき，解釈可能なチャンピオンランキングを提供することを目指す。
- 提案手法は，人口強度，プレイヤーのスタイル類似性，熟練度，原型制約といった複数の情報源を統合する。
- 各推薦スコアは，期待されるパフォーマンス，適合性，熟練度，および原型適合性として分解され，分析可能である。
- 再現性と監査可能性を重視したシステムであり，大規模評価のための検証プロトコルも提示する。
ハイブリッド量子・古典ニューラルネットワークアーキテクチャ探索 [quant-ph, cs.LG]目的：ハイブリッド量子・古典ニューラルネットワークのアーキテクチャの探索
- 量子機械学習は，従来の計算機では困難な問題を解決する可能性を秘めており，注目されている。
- ハイブリッド量子・古典ニューラルネットワークの性能は，アーキテクチャに大きく依存するため，設計が困難である。
- 計算効率と精度を両立する，実用的なハイブリッド量子・古典ニューラルネットワークの構築を目指す。
- 本研究では，ハイブリッド量子・古典ニューラルネットワークの基礎と，ニューラルネットワークアーキテクチャ探索の拡張について検討した。
- FLOPsを計算複雑度のプロキシとして用いる，ハードウェアを意識した探索手法の重要性を示した。
- 精度と計算効率を両立した，実用的なハイブリッド量子・古典ニューラルネットワークの構築に貢献する。
重い裾を持つ分布における標本分位点の安定性と分解 [stat.ML, cs.LG, math.ST, stat.TH]目的：重い裾を持つ分布における標本分位点の安定性と分解に関する研究
- 金融リスク管理において，分位点（VaRなど）は重要な指標であり，その安定性が求められる。
- パラメータ推定に基づく分位点の場合，古典的な Bahadur の表現では不安定性の要因が分離できない。
- 投影方向と分位点閾値の変化を分離し，局所的な分位点安定性の問題を解決することを目指す。
- Q-Q直交性の導入により，投影方向と分位点閾値の影響を分離する新たな手法を提案した。
- 標本分位点の差を，投影方向の変化，経験的変動，Bahadur 型の残差の3項に分解した。
- 提案手法は，従来の研究が抱えていたグローバルな一様収束の要件を緩和し，より精度の高い安定性評価を可能にする。
LHCにおけるハイパーグラフニューラルネットワークを用いた$t\bar{t}t\bar{t}$生成を通じたSMEFT演算子の探査 [eess.IV, cs.MM, hep-ph, cs.AI, hep-ex]目的：SMEFT演算子のウィルソン係数に対する制約
- 素粒子物理学において，標準模型を超える新物理現象の探索は重要な課題である。
- 高エネルギー衝突実験における背景事象の識別が，新物理現象の検出において困難である。
- ハイパーグラフニューラルネットワークを用いて，$t\bar{t}t\bar{t}$生成の識別能力を向上させる。
- ハイパーグラフニューラルネットワークは，ROC曲線下面積0.951を達成した。
- 統計的有意性は，$140~\mathrm{fb}^{-1}$の積分輝度でZ = 9.11に達し，既存の解析よりも優れている。
- SMEFT演算子のウィルソン係数に対する95%信頼区間を導出し，HL-LHCでの感度向上を予測した。
Qumus：具現化されたAI量子材料実験家 [cond-mat.mes-hall, cond-mat.mtrl-sci, cs.AI, cs.RO]目的：AI量子材料実験家の実現
- 現代科学の進展には，実験的検証が不可欠であり，その効率化が求められている。
- 高度な推論，マルチモーダル情報処理，リアルタイムな物理実行の統合が困難である。
- AIによる自律的な実験サイクル構築と，量子材料探索の加速を目指す。
- Qumusは，ロボットミニラボに物理的に組み込まれた，インテリジェントなマルチエージェントシステムである。
- AIとして初めてグラフェンの創製と，積層構造を利用した原子薄型トランジスタの作製に成功した。
- 本研究は，量子世界から直接学習する自己改善型具現化AIシステムの汎用的な枠組みを確立した。
一般化された関数的ANOVA：付加的な説明の一元的な見解 [stat.ML, cs.LG, math.ST, stat.TH]目的：モデル予測の主効果と高次相互作用への分解
- 機械学習モデルの解釈可能性は重要であり，予測の根拠を理解することは不可欠である。
- 入力変数間に依存関係がある場合，関数的ANOVAの分解を扱うことが困難である。
- 連続入力に対する扱いやすい分解表現を構築し，データから分解を推定すること。
- 本研究では，ヒルベルト空間法と一般化された関数的ANOVAを組み合わせた明示的な分解リース基底を構築した。
- この表現を用いることで，モデルに依存しない方法でデータサンプルから分解を効率的に推定するアルゴリズムを提案した。
- 提案手法は，最先端の説明方法と比較して，その有効性を示した。
浅いReLU$^s$ネットワークの$L^p$型およびソボレフ空間における近似とパスノルム制御による汎化 [stat.ML, cs.LG]目的：浅いReLU$^s$ネットワークによる近似と，パスノルム制御下における汎化性能の評価
- 機械学習におけるニューラルネットワークの理論的基盤確立は，高性能なモデル設計に不可欠である。
- ReLU活性化関数を用いた浅いネットワークの近似能力と汎化性能は，十分には解明されていない。
- パスノルム制御を用いたReLU$^s$ネットワークの最適な近似率と汎化限界を明らかにする。
- 浅いReLU$^s$ネットワークの$L^p$型積分空間における近似能力を，球面調和解析を用いて評価した。
- パラメータ分布が均一分布である場合，従来のrandom-feature rateよりも改善された近似率を得た。
- ソボレフ空間およびバロン空間におけるパスノルム正則化された浅いReLU$^s$ネットワークに対し，最適な汎化限界を証明した。
自信を持って流れを作る [stat.ML, cs.AI, cs.LG]目的：生成モデルにおけるサンプルごとの信頼度評価
- 生成モデルの発展は，新たなコンテンツ作成の可能性を広げる重要な分野である。
- 生成モデルは誤った出力を高速で生成するため，出力の信頼性確保が課題となっている。
- 本研究は，計算コストを増加させずに，生成モデルの信頼度を定量的に評価する方法を提案する。
- Flow Matching with Confidence (FMwC)は，選択された層にノイズを注入し，その分散をODE軌道に沿って積分することで，サンプルごとの信頼度スコアを算出する。
- 信頼度スコアは，画像品質の向上や結晶の熱力学的安定性の向上に役立ち，編集操作や適応的なステップサイズ制御を可能にする。
- 信頼度スコアは，学習された速度場の発散の大きさとの相関関係があり，生成過程の理解を深め，精度の高いガイダンスや新しいサンプリングアルゴリズムの開発に貢献する。
AI4BayesCode：自然言語記述から検証済みモジュール化された状態を持つベイズサンプラーへ [stat.CO, cs.AI, cs.LG]目的：ベイズモデルの自然言語記述から検証済みのMCMCサンプラーの生成
- MCMCは統計的推論の基盤であり，複雑なモデル分析に不可欠な手法である。
- 既存の確率プログラミングシステムは，モデルのサポート，拡張性，構成可能性に限界がある。
- 自然言語記述から信頼性の高いMCMCサンプラーを自動生成し，MCMCワークフローのボトルネックを解消する。
- AI4BayesCodeは，自然言語によるベイズモデルの記述を，実行可能なMCMCサンプラーに変換するシステムである。
- モデルをモジュール化されたサンプリングブロックに分解し，既存のコンポーネントにマッピングすることで，信頼性を高めている。
- 再帰的に状態を持つコーディングパラダイムにより，異なる開発者によるモジュール間の整合性が確保される。
スケール不変ニューラルネットワーク最適化：ノルム幾何と重裾ノイズ [math.OC, cs.LG]目的：スケール不変ニューラルネットワーク最適化における次元依存性と，重裾ノイズ下での高次滑らかさの活用
- ニューラルネットワーク最適化において，最適化手法はモデルのパラメータ表現を考慮すべきであるという認識が高まっている。
- 深層学習における確率的勾配ノイズはしばしばガウス分布に従わず，重裾を持つ場合がある。
- スケール不変手法と重裾ノイズが同時に存在する場合の理論的な影響が未解明であり，次元依存性を明らかにすることを目指す。
- スペクトルノルムを持つスケール不変な一階型手法では，特定の次元条件下で，オラクル呼び出し回数に下限 $\Omega(\min\{m, n\}\epsilon^{-\frac{3p-2}{p-1}})$ が存在することが示された。
- バッチ処理されたScion法は，この下限を達成する上限 $O(\min\{m, n\}\epsilon^{-\frac{3p-2}{p-1}})$ を持つことが証明された。
- 輸送Scion法を提案し，ノルムがスペクトルノルムでヘッセ行列がリプシッツ連続な場合，上限を $O(\min\{m, n\}\epsilon^{-\frac{5p-3}{2p-2}})$ まで改善した。
大規模言語モデルを専門家として用いた項目難易度の推定 [stat.ME, cs.AI, cs.LG, stat.AP]目的：項目難易度推定の精度向上
- 妥当な評価と効果的な適応学習には正確な項目難易度推定が不可欠である。
- 新規課題では回答データがなく，事前テストや専門家の判断にコストと時間がかかる。
- 大規模言語モデルを用いた効率的な項目難易度推定手法を確立すること。
- 大規模言語モデルによる難易度推定は，実証的な難易度と中程度から強い正の相関を示した。
- 単純な算術問題では，一部の構成は従来の専門家の精度範囲に近づいた。
- ペアワイズ比較が絶対評価より優れていたが，トークン確率と事例提示により絶対評価も高い一致度を示した。
PACE：単一細胞軌跡推論のための幾何学に基づいたブリッジ輸送 [q-bio.GN, cs.LG]目的：単一細胞の破壊的時系列スナップショットからの軌跡推論
- 単一細胞解析は，細胞の動態を理解する上で不可欠であり，疾患のメカニズム解明や治療法の開発に繋がる。
- 従来の軌跡推論手法は，細胞間の対応関係が不明確なため，不正確な軌跡を生成する可能性がある。
- PACEは，細胞の状態と時間に応じて変化する幾何学的構造を考慮することで，より正確な軌跡推論を実現する。
- PACEは，既存の最適輸送およびフローベースの手法と比較して，再構成性能が大幅に向上した。
- MMD，Wasserstein-1距離，Wasserstein-2距離が平均で23.7%減少した。
- RNA velocityアラインメントも15.4%向上し，細胞ペアリングや系統追跡を必要としない。
差分プライバシーを用いた連合学習の統計的限界と効率的なアルゴリズム [math.CO, cs.DM, stat.ML, cs.AI, cs.LG, stat.ME]目的：差分プライバシー(DP)を用いた連合学習における推定精度，プライバシー制約，通信コストのトレードオフ
- 機械学習の発展に伴い，データ分散環境でのモデル学習の重要性が増している。
- 既存手法では，連合バイアスの高さや通信コストの増大といった課題が存在する。
- 推定精度を向上させつつ，通信コストを削減する新たな手法を開発すること。
- 提案手法FedHybridは，初期化にFedAvgを利用し，その後の更新にFedSGDを用いることで，高い推定精度と低い通信コストを両立している。
- FedNewtonは，FedAvgのバイアスを軽減するため，局所的なニュートンイテレーションを平均化し，十分なクライアント数でFedSGDと同等の精度を実現している。
- 理論的な上限と下限を確立し，提案手法の最適性ギャップを評価した結果，既存手法を上回る性能を示唆している。
量子ガス実験における機械学習の説明可能性について [cond-mat.quant-gas, cs.LG, physics.atom-ph, quant-ph]目的：量子ガス実験における機械学習の応用と解釈可能性
- 多体原子物理学は実験難易度が高く，データ量が膨大であるため，高度な解析手法が求められる。
- 古典シミュレーションはシステムサイズ拡大に伴い計算量が指数関数的に増加し，現実的な制約がある。
- 機械学習を用いて，実験データのノイズ除去やソリトン波の特定といった課題を解決することを試みる。
- 機械学習は，量子シミュレータからの画像データ処理において有効であり，ノイズ除去の性能が示された。
- ボース・アインシュタイン凝縮におけるソリトン波の同定にも機械学習が応用され，その有用性が確認された。
- モデルの性能，複雑さ，解釈可能性の間のトレードオフについても考察がなされている。
適応勾配法は重い裾を持つノイズ下で収束するか？ AdaGradのケーススタディ [math.OC, cs.LG, stat.ML]目的：重い裾を持つノイズ下におけるAdaGradの収束性
- 機械学習の最適化過程では，勾配ノイズが重い裾を持つことが観察されている。その対処が重要である。
- 勾配クリッピング等で収束を保証する手法はあるが，Adam等の適応勾配法は追加操作なしでも良い性能を示す場合がある。
- 本研究では，適応勾配法がアルゴリズム変更なしに重い裾を持つノイズ下で収束可能か検証する。
- 非凸最適化において，AdaGradが$4/3 < p \leq 2$を満たす尾指数$p$に対して収束率を初めて証明した。
- この結果は，$p$に関する事前知識を必要とせず，尾指数に適応的に対応可能である。
- AdaGradでは既存のミニマックスレートは達成不可能である可能性を示唆するアルゴリズム依存の下限を開発した。
頑健なUAV状態推定のための学習されたメモリ減衰Sage-Husaカルマンフィルタ [eess.SP, cs.LG]目的：UAV状態推定におけるノイズ統計量のオンライン推定と，動的な環境下でのロバスト性の向上
- UAVは，変動する環境下でテレメトリ障害や振動の影響を受けやすく，正確な状態推定が不可欠である。
- 従来のカルマンフィルタは定常的な共分散を仮定しているため，動的なノイズ環境下では性能が低下する。
- 本研究では，学習されたメモリ減衰戦略を用いて，過渡応答性と安定性の両立を目指す。
- 提案手法NDR-SHKFは，多様なカオス的アトラクタにおいて，データ駆動型手法と比較して優れた汎化性能を示した。
- 実世界のUAV飛行データを用いた評価により，センサー障害時の慣性航法への移行や，古典的な適応推定器を上回る実用性が確認された。
- 階層的な再帰型ネットワークによるメモリ減衰ポリシーが，即時的なセンサー異常と持続的な動的トレンドの両方を効果的に捉えている。
拡散モデルの代替としての自由粒子フィルタの近似不要学習：SURGE [stat.ML, cs.LG, cs.NA, math.NA, math.PR, q-fin.MF, stat.CO]目的：拡散モデルにおける推論時のガイダンス手法
- 拡散生成モデルはタスク固有の目的関数に基づくサンプル品質向上のため，推論時のガイダンスに依存している。
- 既存の手法は，スコアや勾配の繰り返し評価が必要となり，バイアスや計算コストが増加する問題がある。
- ギルサノフの変数を介したパスごとの重要度リウェイトによる，勾配不要な推論時スケーリングアルゴリズムを提案する。
- 提案手法SURGEは，勾配やヘッセ行列，偏微分方程式の評価を必要とせず，既存の推論時ガイダンス手法よりも優れている。
- パスごとの重要度リウェイトと粒子ごとのSMCの等価性を確立し，無バイアスな終端分布を保証する。
- 合成テストと拡散モデルのベンチマークにおいて，より高品質な生成結果を，よりシンプルな実装で実現している。
人間らしい記憶システムを持つ機械 [cs.CG, math.CO, cs.AI]目的：意味記憶とエピソード記憶の両方のシステムを持つエージェントのモデル化
- 認知科学の発展は，より賢いAIシステムの構築に不可欠である。
- 従来のAIは，複雑な環境での記憶の効率的な利用が課題である。
- 意味記憶とエピソード記憶の組み合わせによるAI性能の向上を目指す。
- 意味記憶とエピソード記憶を組み合わせたエージェントは，どちらか一方のみを持つエージェントよりも優れていることが示された。
- 新しい環境「the Room」は，記憶の符号化，保存，検索を学習するのに適しており，人間と機械の協調を可能にする。
- 2つのエージェントが協力することで，単独で行動するエージェントよりも優れたパフォーマンスが得られることが確認された。
短期，エピソード，意味記憶システムを持つ機械 [eess.SY, cs.SY, cs.AI]目的：短期・エピソード・意味記憶システムの性能評価
- 人間の認知機能の理解は，知能を持つ機械の設計に不可欠である。
- 既存の強化学習エージェントは，記憶の構造化と利用に課題がある。
- 人間のような記憶システムを実装し，その有効性を検証すること。
- 提案手法では，知識グラフを用いて短期・エピソード・意味記憶をモデル化した。
- 強化学習環境「the Room」を用いて，エージェントの記憶のエンコード，保存，検索能力を評価した。
- 短期記憶の忘却，エピソード記憶または意味記憶への保存に関する学習に成功した。
データセンターにおけるソフトウェアアップグレードのコストを考慮した期間予測 [cs.DC, cs.LG]目的：データセンターにおけるソフトウェアアップグレードの期間予測とスケジューリングの効率化
- データセンターのサーバー信頼性維持には，ソフトウェアの継続的なアップデートが不可欠である。
- ソフトウェアアップグレード特有の課題は，既存の研究では十分に扱われていない。
- アップグレードスケジューリングの効率とスループットを向上させ，サービスレベル目標を達成すること。
- Acelaは，非対称な予測誤差コストを考慮し，最適な予測モデルを選択することで，アップグレード期間の予測精度を向上させる。
- Metaのデータセンターでの評価により，Acelaが既存のスケジューラーのアップグレードウィンドウ利用率を1.25倍に向上させることが示された。
- また，スケジュールおよび完了したアップグレード数をそれぞれ33%および41%増加させ，キャンセル率を2.4倍に減少させた。
スマートコントラクトの脆弱性検出における深層学習の活用 [cs.CR, cs.ET, cs.LG, cs.SE]目的：イーサリアム製スマートコントラクトの脆弱性判断
- ブロックチェーン技術の普及に伴い，スマートコントラクトのセキュリティ確保が重要となっている。
- 既存の脆弱性検出ツールは，パターンマッチング等に依存し，未知の脆弱性に対応できない場合がある。
- 深層学習を用いて，ソースコードのラベル付けのみで，バイトコードの脆弱性を高精度に検出することを目指す。
- DLVAは，既存の脆弱性検出ツールと比較して，10～1000倍の高速性を示す。
- SC2Vは，スマートコントラクトのバイトコードをベクトル化し，モデルの識別能力を2.2%向上させる。
- DLVAは，Slitherのラベルを92.7%の精度で予測し，誤検知率は7.2%に抑えることに成功した。
長期時系列予測の再検討：線形写像に関する調査 [cs.LG, cs.AI]目的：長期時系列予測における線形写像の有効性に関する解明
- 時系列データは，経済，気象，金融など幅広い分野で不可欠であり，高精度な予測が求められる。
- 複雑なモデル設計が主流であったが，線形層のみでも競争力のある性能を示すことが近年の研究で示唆されている。
- 線形写像が時系列予測において果たす役割を理論的・実験的に明らかにすることで，モデル開発の指針を提供する。
- 線形写像が主要な予測性能を支配しており，多くのモデルで類似した遷移行列が学習されていることが示された。
- 線形写像は周期的なパターンを捉えるのに有効だが，非周期的な信号やチャンネル間での周期変化には課題がある。
- 可逆正規化は，非周期的なトレンドを周期的なパターンに変換することで，トレンド予測を大幅に改善する。
凸集合による機械学習助言を用いたオンライン資源配分 [cs.DS, cs.LG, math.OC]目的：オンライン資源配分における機械学習助言の活用
- 需要予測の精度向上は，資源配分の効率化に不可欠であり，経済的損失の低減に繋がる。
- 機械学習による需要予測は不確実性を伴うため，誤った予測に基づく資源配分のリスクが存在する。
- 不確実な機械学習助言下でも，効率性と堅牢性を両立する資源配分アルゴリズムを開発すること。
- 提案手法は，機械学習助言の信頼度に応じて動的に保護レベルを調整することで，最悪ケースと平均ケースの性能をバランスさせる。
- 古典的な保護レベルアルゴリズムを拡張し，助言の不確実性への適応性を向上させることに成功した。
- 数値実験の結果，提案アルゴリズムは，単なる点予測に基づく既存手法を上回り，優れた性能を示すことが確認された。
教師あり学習問題における汚染：類型と緩和策 [cs.LG, stat.ML]目的：教師あり学習問題における汚染の類型化と緩和策の開発
- データ収集現場では汚染が頻発しており，機械学習モデルの性能に大きな影響を与える。
- 既存研究は特定の状況に焦点を当てており，汚染モデル化と緩和策に関する統一的な視点が欠けていた。
- 汚染の包括的なフレームワークを構築し，学習タスクへの影響を分析し，緩和策を検討することで，この課題を解決することを目指す。
- マルコフ核を用いた一般的な汚染理論を構築し，既存の汚染モデルを体系的に分類するフレームワークを提案した。
- ラベル汚染は損失関数のみに影響する一方，属性汚染は仮説クラスにも影響することを明らかにした。
- ラベル汚染に対する既存の損失修正手法を拡張し，属性汚染や複合汚染への対応を可能にする新しいパラダイムと損失修正公式を提示した。
ソーシャル学習ネットワークにおける因果的影響 [cs.SI, cs.LG, cs.MA, eess.SP]目的：ソーシャル学習モデルと分散意思決定プロトコルのダイナミクス
- 社会現象の理解や予測には，個人間の影響関係の把握が不可欠である。
- ネットワーク構造や情報共有度が影響関係に与える影響が明確でなかった。
- ネットワーク上の影響力の流れを定量化し，影響力の高いエージェントを特定すること。
- グラフ構造と情報レベルに依存して，エージェント間の因果関係を明らかにした。
- エージェント間の影響力をランク付けするアルゴリズムを提案し，影響力の高いエージェントの発見を可能にした。
- 合成データと実際のソーシャルメディアデータを用いて，提案手法の有効性を検証した。
多クラス流体キューネットワークの最適制御：機械学習アプローチ [cs.LG]目的：多クラス流体キューネットワークの最適制御策
- 通信ネットワークや製造システムなど，資源配分が重要となるシステムの効率化に不可欠である。
- 既存手法では，ネットワーク規模の拡大に伴い，最適な制御策の算出が困難となる場合が多い。
- 機械学習を用いて，大規模ネットワークにおける効率的な最適制御策を迅速に導出すること。
- 本研究では，多クラス流体キューネットワークにおいて，区分定数最適制御策が存在することを示した。
- 最適分類木（OCT-H）を用いて制御策を学習し，実験的に高い精度（100%）を達成した。
- オフライン学習に時間を要するものの，オンライン適用は高速（ミリ秒単位）である。
正規分布の識別スペクトルとそのプライバシー保護機械学習への応用 [cs.CR, cs.LG]目的：正規分布を出力するアルゴリズムのプライバシー特性の評価
- 機械学習の普及に伴い，プライバシー保護の重要性が増している。
- データにガウスノイズを加える以外，プライバシー保護学習の研究は十分ではない。
- ガウス分布を出力するアルゴリズムのプライバシー解析を容易にすること。
- 本研究で提案する「正規分布の識別スペクトル」は，任意の多変量ガウス分布ペア間のプライバシーパラメータを解析的に計算する。
- このスペクトルを用いることで，ガウス分布を出力するアルゴリズムのプライバシー証明が簡素化される可能性が示された。
- 例えば，ランダム射影のプライバシーパラメータ化をより厳密にし，ノイズ使用量を削減するメカニズムが得られた。
リソース制約のあるエッジネットワーク向け軽量CNNベースDDoS検知 [cs.CR, cs.LG, cs.NI]目的：リソース制約のあるエッジネットワークにおけるDDoS検知手法
- インターネットサービスの可用性維持は重要であり，DDoS攻撃は深刻な脅威となっている。
- エッジネットワークでは，クラウドベースの分析では遅延やコストの問題が生じやすい。
- エッジ環境での低遅延かつ高精度なDDoS検知を可能にする手法を確立する。
- 提案手法は，CIC-DDoS2019データセットを用いてCNNを訓練し，パケットフロー表現からDDoS攻撃を検知する。
- テストセットにおいて，精度0.9883，適合率0.9864，再現率0.9784，F1スコア0.9824を達成した。
- 本研究は，コンパクトなニューラルモデルがエッジ指向DDoS検知の有用な早期警告信号を提供できることを示唆する。
分散確率的最適化におけるProxSkipによる線形加速の達成 [cs.LG, math.OC, stat.ML]目的：分散確率的最適化におけるProxSkipアルゴリズムの線形加速の実現
- 機械学習モデルの巨大化に伴い，分散最適化の効率化が重要となっている。
- 既存のProxSkip解析は強凸設定に限定され，ノード数に応じた線形加速が達成されていない。
- 非凸設定におけるProxSkipの挙動を明らかにし，線形加速の実現可能性を示す。
- 本研究により，分散ProxSkipが確率的勾配降下法においてノード数に応じた線形加速を達成することが示された。
- 本解析は，確率的非凸，凸，強凸問題に対して統一的に適用可能である。
- 局所更新が通信頻度を削減し，通信効率を向上させることが示唆された。
汎用時系列表現学習：サーベイ [cs.LG, cs.AI]目的：時系列データの表現学習に関する既存研究の包括的なレビュー
- 実世界の様々なシステムやサービスにおいて時系列データが不可欠であり，その理解と活用が重要である。
- 手動での特徴量設計が必要であり，複雑な時系列データの動的特徴を捉えることが困難である。
- 最新の汎用表現学習手法の設計要素に基づき，時系列データの表現学習の質の向上を目指す。
- 本サーベイでは，時系列データの表現学習手法を3つの基本要素に基づいて分類する新しいタクソノミーを提案した。
- 既存研究を網羅的にレビューし，これらの手法が表現学習の質をどのように向上させるかについての洞察を提供した。
- 実験設定やデータセットをまとめ，今後の研究の指針となる有望な研究方向を議論した。
アンカーに基づく不均一ノイズによる優先型ベイズ最適化 [cs.HC, cs.LG, stat.ML]目的：優先型ベイズ最適化における比較ノイズのモデリング
- ベイズ最適化は，評価コストの高い関数の最適化に有効である。人間の判断を組み込むことで，より複雑な最適化が可能となる。
- 従来の優先型ベイズ最適化は，比較ノイズが均一であると仮定しており，人間の判断の信頼性が変動する場合に対応できない。
- 人間の信頼性に応じた不均一なノイズモデルを導入し，最適化性能とリスク管理を両立させる。
- 提案手法では，信頼できる比較事例（アンカー）を用いて，ユーザーの不確実性を推定するカーネル密度推定器を導入する。
- これにより，リスク回避的な獲得関数を導出し，実用的な最適化を実現する。
- 実験の結果，合成問題および実データにおいて，リスク調整された性能が向上し，アンカー配置の重要性が示された。
DyDiff：オフライン強化学習のためのダイナミクス拡散による長期的ロールアウト [cs.LG]目的：オフライン強化学習における長期的ロールアウトの精度向上
- 強化学習は，複雑なタスクの自動化において重要な役割を担う
- オフライン強化学習では，データセットに含まれる行動と学習方策の不一致が課題
- ダイナミクスモデルとして拡散モデルを活用し，方策との整合性を保ちながらロールアウトを可能とする
- 提案手法DyDiffは，学習方策からの情報を拡散モデルに反復的に注入することで，ロールアウト精度と方策の一貫性を確保する。
- DyDiffは，モデルフリーアルゴリズムに容易に組み込むことができ，長期的ロールアウトにおいて既存モデルよりも優位性を示す。
- 理論的分析により，拡散モデルが長期的ロールアウトに適していることが示された。
デカップル・ゼンゴ: 長尾半教師あり学習における未知のラベルなし分布への対処 [cs.LG]目的：長尾半教師あり学習における未知のラベルなしクラス分布への対処法
- 現実世界の分類タスクでは，クラス分布の偏りが一般的であり，その対処が重要である。
- 既存手法は，ラベル付きデータとラベルなしデータがほぼ同一の分布を持つことを前提としている。
- ラベル付きデータとラベルなしデータの分布が異なる状況下での性能向上を目指す。
- 提案手法DeConは，ヘッドクラスとテールクラスに焦点を当てる2つの分岐構造を用いる。
- 学習中に2つの分岐が相互作用し，徐々に収束することで，全体の性能が向上する。
- 様々なLTSSLベンチマークにおいて，最先端の性能を達成し，平均で2.7%のテスト精度向上を示した。
質素な推論と制御の原理 [cs.AI, q-bio.NC]目的：不確実な環境下における，効用最大化と資源利用のバランス
- 知的なエージェントが不確実な世界で活動する上で，資源利用は不可欠である。
- 既存の制御理論では，推論コストが無視されており，現実のシステムとの乖離がある。
- 推論を資源として捉え，資源効率の良い制御の原理を確立すること。
- 推論コストを考慮すると，過去の情報を完全に圧縮するのではなく，戦略的に不確実性を残すようになる。
- 厳密なベイズ推論を緩和することで，制御と推論の組み合わせ方の柔軟性が生まれる。
- 制御を通じて推定誤差を相殺し，表現コストが低い状態にシステムを導くことが可能となる。
SynC：深層グラフクラスタリングのための構造と表現の相乗的ブースティング [cs.LG, cs.AI]目的：深層グラフクラスタリングにおける構造学習と表現学習の相乗効果
- グラフ構造データは現実世界の多様な関係性を表現可能であり，分析の幅を広げる。
- 既存手法では，表現学習と構造拡張の相互関係が十分に考慮されていない。
- 低ホモフィリーグラフにおける汎化性能の向上を目指す。
- 提案手法SynCは，グラフオートエンコーダー（GAE）の表現崩壊問題を軽減するTransform Input Graph Auto-Encoder（TIGAE）を用いて高品質な埋め込み表現を獲得する。
- 洗練されたグラフ上で近傍表現を再学習することで，クラスタリングに適した埋め込み表現を得る。
- 2つのステージで重みを共有することにより，相乗効果を高めつつ，モデルパラメータ数を削減する。
AASIST3：SSL特徴と追加正則化を用いたKAN拡張AASISTによる音声ディープフェイク検出 - ASVspoof 2024チャレンジに向けて [eess.SY, cs.SY, eess.SP, cs.SD, cs.AI, eess.AS]目的：音声ディープフェイクの検出
- 音声認証技術は，金融取引やセキュリティなど，様々な分野で利用されており，その重要性は高い。
- 深層学習の発展により，音声合成技術が向上し，音声認証システムが欺瞞されるリスクが高まっている。
- 合成音声による欺瞞を防ぎ，音声認証システムのセキュリティを強化することを目的とする。
- 提案手法AASIST3は，Kolmogorov-Arnoldネットワークや追加層などを導入することで，既存のAASISTフレームワークを大幅に改良した。
- その結果，クローズド条件下でminDCF 0.5357，オープン条件下で0.1414という優れた検出性能を達成した。
- これにより，合成音声の検出精度が向上し，音声認証システムのセキュリティ強化に貢献する。
カスタム環境マルチ目的強化学習のための効率的な報酬関数探索としての言語モデル [eess.SY, cs.SY, cs.LG, cs.AI, cs.CL, cs.SY, eess.SY]目的：複雑なカスタム環境と複数の要件を持つ強化学習タスクにおける報酬関数の効果的な設計と改善
- 強化学習は，複雑な問題を解決するための強力な手法であり，様々な分野での応用が期待されている。
- 報酬関数の設計は難しく，誤った報酬関数は意図しない挙動を引き起こす可能性がある。
- 言語モデルを活用し，報酬関数の探索を効率化することで，強化学習の適用範囲を拡大すること。
- 提案手法ERFSLは，言語モデルを有効な探索器として活用し，高度な意味理解能力を示すことが確認された。
- 報酬批評家は，要件ごとに報酬コードを修正し，修正不可能なエラーを効果的に防止することに成功した。
- 初期化された重みにより，重み探索の必要なく，パレート解集合内の異なる報酬関数を獲得することが可能となった。
検索拡張生成システムにおける信頼性：サーベイ [cs.IR, cs.AI, cs.CL]目的：検索拡張生成システムの信頼性評価に関する包括的な枠組みとベンチマーク
- 大規模言語モデルの発展において，外部知識に基づく応答生成が重要視されている。
- 検索拡張生成システムは幻覚を軽減するが，検索の信頼性や知識の利用方法に課題がある。
- 信頼性の多角的な評価枠組みを提示し，実用的な信頼性向上に貢献する。
- 信頼性評価の6側面（事実性，頑健性，公平性，透明性，説明責任，プライバシー）を定義した。
- 既存研究を6側面ごとにレビューし，Trust-RAG Compassという評価フレームワークを提案した。
- TRC Benchという評価ベンチマークを開発し，様々なモデルの性能を比較評価した。
教師なし学習を活用した低コストな画像異常検知 [cs.CV, cs.AI]目的：低コストな画像異常検知システムの開発
- 製造業における品質管理の自動化は，生産性向上とコスト削減に不可欠である。
- 従来の画像検査システムは，大量のデータと専門知識が必要で，中小企業には負担が大きい。
- 少ないデータで，安価なハードウェアで実現可能な異常検知システムの構築を目指す。
- 本システムは，わずか10枚の正常画像を用いて，Raspberry Pi上で90秒で学習と推論を完了する。
- F1マクロスコアは0.95を超え，高い精度を実現した。
- 環境変化に若干の影響はあるものの，中小企業向けに迅速かつ経済的な検査手法を提供する。
LightTransfer：あなたの長文脈LLMは，容易な適応を伴うハイブリッドモデルである [eess.SY, cs.SY, cs.CL, cs.CL, cs.AI, cs.LG]目的：長文脈LLMの効率的な生成のためのハイブリッドアーキテクチャへの変換
- 大規模言語モデルの文脈長拡大は，性能向上に不可欠である
- 文脈長拡大に伴うKVキャッシュのメモリ消費量が課題となる
- ハイブリッドアーキテクチャへの軽量な変換による効率化を目指す
- LightTransferは，LLaMA等のモデルをハイブリッドモデルに変換する手法である
- レイジー層を特定し，ストリーミングアテンションに置換することで効率化を実現する
- LongBench等での評価で，性能劣化を最小限に抑えつつ，スループットを最大2.17倍に向上させた
GUIDE-VAE：ユーザー情報とパターン辞書を用いたデータ生成の高度化 [cs.LG, stat.ML]目的：多人数データにおけるユーザー情報とパターンを活用したデータ生成手法
- 科学技術分野において，多人数データを扱う機会が増加しており，データ生成の重要性が高まっている。
- 従来の生成モデルはユーザー情報を無視することが多く，ユーザー固有のデータ特性を反映できないという課題があった。
- ユーザー情報とパターン辞書を活用することで，データ不均衡下でも高品質なデータ生成を実現することを目指す。
- 提案手法GUIDE-VAEは，ユーザー埋め込みを活用してユーザーに合わせたデータ生成を可能にした。
- パターン辞書に基づく共分散構成(PDCC)を導入することで，生成データのリアリティを高め，VAE特有のノイズや過剰平滑化を抑制した。
- スマートメーターデータを用いた評価により，合成データ生成と欠損記録補完の両タスクにおいて，GUIDE-VAEが有効であることが示された。
バングラ語分類タスクにおける外在的な性別バイアスの軽減 [cs.CL, cs.AI, cs.LG]目的：バングラ語事前学習済み言語モデルにおける外在的な性別バイアス
- 低リソース言語における言語モデルの性能向上は，多様な言語コミュニティへのアクセスを可能にする上で重要である。
- 事前学習済み言語モデルには，訓練データに内在する性別バイアスが組み込まれる可能性がある。
- 本研究は，バングラ語の分類タスクにおける外在的な性別バイアスを軽減することを目指す。
- 本研究では，感情分析，有害性検出，ヘイトスピーチ検出，皮肉検出のための4つの手動アノテーション済みベンチマークデータセットを構築した。
- 提案手法RandSymKLは，対称的KLダイバージェンスとクロスエントロピー損失を統合したランダム化されたデバイアス戦略であり，タスク固有の事前学習済みモデルにおけるバイアスを軽減する。
- RandSymKLは，既存のバイアス軽減手法と比較して，バイアスを効果的に低減しつつ，競争力のある精度を維持することが示された。