arXiv雑要約
AI - 2026/06/16 公開
注意は単なる結合の別の名前か？：階層的事前学習に対する高速・低速ODEの視点 [stat.ML, cs.AI, cs.LG]目的：階層的事前学習における注意機構の性質解明
- 大規模言語モデルの性能向上には，効率的な注意機構の理解が不可欠である。
- 従来の注意機構は計算コストが高く，長系列データへの適用が困難である。
- 高速・低速ODEのフレームワークを用いて，より効率的な注意機構の設計を目指す。
- 因果的自己注意は，系列内のトークン間の結合メカニズムとして機能する。
- 時間的に遅い結合を導入することで，計算コストを削減しつつ，表現力を維持できる可能性が示された。
- 50万トークン規模の実験では，提案手法は既存手法と同等の性能を発揮し，計算コストの削減効果が確認された。
単位の代数：バッキンガムのπ定理から潜在変数学習へ [math-ph, cs.LG, math.MP]目的：無次元数の自動発見
- 工学では様々な物理量が測定され，現象理解にはそれらの関係性が重要である。
- 適切な無次元群の特定には専門知識や物理的洞察が不可欠であった。
- データから物理法則を知らずに無次元群を自動的に発見することを目指す。
- 対数変換後の測定データは低次元多様体上に存在し，その幾何学構造が無次元群によって決定される。
- 特異値分解（SVD）によりこの多様体をデータから直接識別し，整数指数を探索することで候補となる無次元量を得る。
- 合成コンプレッサデータセットにおいて，物理入力なしで正しい無次元群を数値精度で再現し，性能マップを0.01%以下の誤差で再現した。
スコアベース生成モデルによるチャネル推定：知覚と歪みの視点 [eess.SP, cs.AI, cs.LG]目的：スコアベースチャネル推定における知覚と歪みのトレードオフ
- 無線通信は現代社会の基盤であり，その性能向上は不可欠である。
- 従来のチャネル推定手法は，モデルの複雑さと推定精度に課題が残る。
- スコアベースモデルの利点を明確にし，適用条件を特定することで，チャネル推定の性能改善を目指す。
- 予測不確実性が高い状況下では，スコアベース推定が歪み最小化アプローチを上回り，ベイズ最適化に近い符号化を可能にする。
- 予測不確実性が低い状況下では，複雑さとモデル容量の効率の観点から，歪み最小化アプローチがより適切である。
- 本研究は，スコアベースモデルが有効な条件と，その限界を理論的に明らかにしている。
適応表現を用いた関数的勾配降下法 [math.OC, cs.LG, stat.ML]目的：関数最適化における表現の適応
- 関数最適化は機械学習や科学計算の根幹であり，その効率化は重要である。
- 従来の関数最適化は固定表現に依存し，非凸損失や計算困難性が課題である。
- 関数空間直接での勾配降下法の近似誤差を解消し，理論的保証を得ることを目指す。
- 提案手法は，関数的勾配の表現を最適化過程で適応的に変化させる。
- これにより，近似誤差を考慮した理論的収束性（停留点，大域的最小値）を確立した。
- 回帰，偏微分方程式，コンピュータビジョンで，既存手法やニューラルネットワークよりも高性能を示した。
パラメータ積分確率測度を用いたノンパラメトリック二標本検定 [stat.ML, cs.LG]目的：二標本検定における検定統計量の提案
- 統計学や機械学習において，二つの独立標本の分布の違いを検出することは基本的な課題である。
- 既存のノンパラメトリック検定は，分布に関する仮定を必要とせず有用だが，検出力が低い場合がある。
- ニューラルネットワークを用いた新しい積分確率測度を基に，より検出力の高いノンパラメトリック検定を開発する。
- 提案手法PReLU-IPMはノンパラメトリックであり，理論的な保証も確立されている。
- シミュレーション及び実データを用いた評価により，PReLU-TSTは既存手法と比較して高い検出力を示すことが示された。
- 有限サンプルサイズにおいても，多様な分布に対して良好な性能を発揮する。
確率的単分子シグナルの解釈可能な構造座標の潜在空間マッピング [physics.ins-det, cs.LG, physics.bio-ph, physics.chem-ph, physics.data-an, q-bio.BM]目的：解釈可能な分子座標系への潜在空間マッピング
- ナノポアセンシングは単分子分析の強力な手法であるが，その精度には限界があった。
- ナノポアを通る分子の確率的な動きが，シグナルに歪みを生じ，情報解読を困難にしていた。
- 物理モデルに基づく学習を用いて，この歪みを補正し，正確な分子識別を実現する。
- 物理情報に基づいたコントラスティブエンコーダにより，ナノポアシグナルを解釈可能な分子座標にマッピングすることに成功した。
- この表現は構造パラメータに反応し，取得条件や分子の形状に依存しないため，データ統合が可能となった。
- エンコーダを一度通過するだけで分子識別が可能となり，計算コストを大幅に削減することができた。
固定サイズのニューラルネットワークによる任意の精度でのソボレフ近似 [stat.ML, cs.LG]目的：固定サイズのニューラルネットワークによる任意の精度でのソボレフ近似の実現
- 機械学習の分野において，ニューラルネットワークの近似能力向上は重要な課題である。
- 従来の活性化関数では，高次のソボレフ空間における近似精度に限界があった。
- 本研究では，任意の精度でのソボレフ近似を可能とする新しい活性化関数を提案する。
- Elementary Universal Activation Function (EUAF)を用いることで，任意の関数を任意の精度で近似可能であることが示された。
- Differentiable Universal Activation Functions (DUAF)ファミリーから導出される新しい活性化関数により，より高次のソボレフ空間における近似が可能となった。
- 提案する活性化関数は，ネットワークの幅と深さの境界を明示的に計算可能であり，実装が容易である。
Dynestyx: 動的システムのための確率プログラミングライブラリ [stat.ML, cs.LG, eess.SP, nlin.CD, stat.ME]目的：動的システムにおける確率的モデリングの実現
- 統計，信号処理，機械学習など，多様な分野で動的システムの重要性が高まっている。
- 現代の確率プログラミング言語では，動的システムを組み込むことが難しく，利用が限定されている。
- 動的システムの扱いやすさを向上させ，ベイズ統計のワークフローを円滑に進めることを目指す。
- dynestyxは，離散時間・連続時間動的システムの両方に対応し，状態とパラメータの推定において最先端の技術を提供する。
- 統一されたインターフェースを通じて，事前分布を自由に設定し，混合効果データに対する推論を実行できる。
- 不確実性の定量化に基づいた，状態とパラメータの推定が可能となる。
深層ニューラルネットワークにおける勾配消失・爆発問題：残差結合の効果 [math.OC, cs.LG]目的：深層ニューラルネットワークの勾配消失・爆発問題に関する解析
- 深層学習は，画像認識や自然言語処理など幅広い分野で高い性能を発揮している。
- 深層ネットワークの学習においては，勾配消失・爆発問題が学習の阻害要因となる。
- 残差結合が勾配消失・爆発問題に及ぼす影響を数学的に解明することを目的とする。
- 乗法的エルゴード理論を用いて勾配消失・爆発現象を解析し，残差結合の効果を説明している。
- フルステンベルクとキファーによるリャプノフ指数の特徴付けを利用し，リャプノフスペクトルへの残差結合の影響を定量的評価した。
データの幾何学学習：形状空間解析の数学的レビュー [math.ST, cs.LG, stat.ML, stat.TH]目的：形状空間解析に関する研究の体系化
- データ解析において，幾何学的な構造を持つデータの重要性が高まっている。
- 従来の機械学習手法では，非線形な幾何学的構造を持つデータの扱いに課題がある。
- 幾何学的なデータの解析を可能にする数学的・計算的枠組みを提供する。
- 本レビューでは，形状空間解析の分析パイプライン（形状表現，測地距離の構築，統計分析，幾何学的な学習手法）を整理した。
- 細胞形態や霊長類の歯の進化など，様々な生物学的スケールでの応用事例を紹介した。
- 複雑な幾何学的変動に対する課題を特定し，大規模な幾何学的データセットを活用する機会を示唆した。
HK-LegiCoST：非逐語テキストを活用した音声翻訳 [cs.CL, cs.LG]目的：広東語・英語の三方向並列コーパス
- 音声翻訳研究において，大規模な並列データは性能向上に不可欠である。
- 実際の音声データでは，逐語的な書き起こしテキストが得られない場合が多い。
- 非逐語テキストを用いた音声翻訳研究を可能にするコーパスの構築。
- HK-LegiCoSTは，広東語音声600時間超，標準中国語テキスト，英語翻訳を含む。
- コーパスの準備におけるセグメンテーション，長尺音声のアライメント，非逐語テキストとの整合性の課題を克服。
- HK-LegiCoSTを用いた基線モデルは競争力があり，FLEURS広東語サブセットでも有望な結果を示した。
マルチモーダル言語予測における人間とAIの整合性：規模ではなく注意機構が重要 [cs.AI, cs.CL]目的：視覚的文脈を用いた言語予測における人間とAIの整合性の向上
- 言語理解において，視覚情報が重要な役割を果たすことが知られている。
- 既存のビジョン言語モデルが，人間の視覚的文脈の活用をどの程度再現できているか不明である。
- モデルの規模ではなく，注意機構が人間との整合性にどのように影響するかを明らかにすること。
- 視覚的文脈を追加することで，全てのアーキテクチャにおいてモデルと人間の予測の整合性が向上した。
- パラメータ規模は整合性に影響を与えなかったが，注意機構が有意に整合性を高めた。
- Transformerモデルの注意マップは人間の視線と対応し，有益な手がかりを含む場面で参加者間の変動の最大70%を説明した。
偏微分方程式に対する多段階深層学習：バーガース方程式への応用 [math.NA, cs.AI, cs.NA]目的：偏微分方程式の解法における多段階深層学習法の開発
- 偏微分方程式は科学技術の様々な分野で現れる基礎方程式であり，その効率的な解法が重要である。
- 深層ニューラルネットワークを用いた解法は最適化が困難であり，特に非線形な偏微分方程式では課題が多い。
- 本研究は，最適化の複雑さを軽減し，安定した階層的な精度向上を実現する手法を提案する。
- 提案手法であるTS-MGDLは，まず浅いネットワークを段階的に学習させ，低周波から高周波成分へと近似していく。
- 次に，学習済みのネットワークを初期値として，選択された層を再学習することで，解の精度を向上させる。
- 数値実験の結果，TS-MGDLは従来の単一段階学習よりも最大60倍高い精度でバーガース方程式を解くことができた。
時が重要だ：創発的コミュニケーションにおける時間参照 [cs.AR, eess.SP, cs.CL, cs.AI, cs.LG, cs.MA]目的：創発的コミュニケーションにおける時間参照の創発
- 自然言語における時間構造の重要性から，創発的コミュニケーションにおける時間参照の可能性が注目される。
- 既存の研究では，創発的コミュニケーションにおける時間参照の存在は確認されていない。
- 創発的コミュニケーションにおいて時間参照がどのように生まれるかを解明すること。
- 損失関数の変更だけでは時間参照は創発せず，アーキテクチャの変更が不可欠であることが示された。
- 異なるバッチ処理方法を用いたシンプルなアーキテクチャ変更により，95%以上のエージェントが時間参照を創発した。
- 時間参照は，エージェントのコミュニケーション効率向上に必要であり，より最適な符号化を可能にする。
マルチタスクモデル融合のための干渉除去を基盤とした具象的部分空間学習 [eess.SY, cs.SY, math.DS, math.OC, cs.LG]目的：マルチタスクモデルの融合における干渉除去手法
- 大規模事前学習モデルの活用が重要視される中で，複数のタスクに対応できるモデル構築が求められている。
- 既存手法では，パラメータの個別の特徴に注目し，全体的なモデル機能への影響を見過ごす場合がある。
- 共通の低次元部分空間を特定し，干渉問題を解決することで，より高性能な融合モデルを実現することを目指す。
- 提案手法では，連続緩和された離散部分空間学習を用いて，干渉問題を追跡し，性能低下を抑制する。
- 二段階最適化とメタ学習フレームワークを導入し，共有部分空間マスクを学習することで，効果的なモデル融合を実現した。
- 画像処理と自然言語処理の両分野において，提案手法の有効性が実験的に示された。
3D骨格に基づく人物再識別に関する調査：分類，進歩，課題，および学際的な展望 [cs.CV, cs.AI]目的：3D骨格を用いた人物再識別手法の分類と現状分析
- 監視カメラ等の画像認識技術は，セキュリティ向上に不可欠であり，その精度向上が求められている。
- 既存手法では，姿勢変化や視点変化に対するロバスト性が課題であり，識別精度が低下することがある。
- 3D骨格情報を活用することで，姿勢や視点変化に強く，より高精度な人物再識別を実現することを目指す。
- 本調査は，既存の3D骨格ベース人物再識別手法を，手動特徴，シーケンスベース，グラフベースの3つのカテゴリに分類した。
- 各カテゴリの代表的なモデルについて，基本的なメカニズムを詳細に解説し，学習パラダイム（教師あり，自己教師あり，教師なし）の概要を示した。
- 様々なベンチマークデータセットを用いて最先端手法の評価を行い，有効性，効率性，特性を比較検討した。
深層ニューラルネットワーク：非アルキメデス解析による定式化 [cs.NE, cs.AI, cs.LG]目的：深層ニューラルネットワークの新しいクラス
- 機械学習分野において，より高度なモデル構築が求められている。
- 既存のニューラルネットワークは，特定の関数近似において限界がある。
- 非アルキメデス解析を用いて，より堅牢な関数近似器を開発する。
- 本研究では，非アルキメデス局所体の整数の環を用いることで，多層木構造を持つ深層ニューラルネットワークを提案した。
- 提案されたネットワークは，定義された環上の実数値関数のロバストな近似器であることが示された。
- また，単位区間上の実数値平方可積分関数に対しても同様の近似能力を持つことが確認された。
タスクに基づくニューロン：人工ニューラルネットワークにおける多様性の追求 [cs.CL, cs.NE, cs.AI, cs.LG]目的：タスク特化型ニューロンの設計と評価
- 近年，深層学習の発展は目覚ましいが，ニューロンの種類は画一的であることが課題である。
- 人間の脳ではニューロンの多様性が重要な役割を果たしており，それを模倣することで性能向上が期待される。
- 脳のタスク特化型ニューロンの概念を人工ニューラルネットワークに導入し，性能向上を目指す。
- 提案手法では，タスクに基づいたニューロン設計のための二段階フレームワークを提示した。
- 実験の結果，合成データ，ベンチマーク，実世界アプリケーションにおいて，提案手法が既存モデルと同等以上の性能を示すことが確認された。
- タスク特化型ニューロンは，既存の汎用ニューロンと比較して，特徴表現能力を向上させることが示唆された。
LUTベースニューラルネットワークのスケーラビリティ課題に対するプルーニング最適化による緩和 [cs.AR, cs.AI, cs.LG]目的：LUTベースニューラルネットワークにおけるスケーラビリティ課題の緩和
- 深層学習は計算コストが高い。効率的な計算手法が求められている。
- LUTベース手法は計算コスト削減に有効だが，スケーラビリティに限界がある。
- LUTベース手法のスケーラビリティを改善し，資源消費を抑制すること。
- 提案するLUT-MUアーキテクチャは，資源の増加を抑制し，スケーラビリティを向上させる。
- FPGA実装において，CUDAベースの実装や量子化されたニューラルネットワーク実装と比較して，スループットが最大1.6倍，エネルギー効率が最大4.2倍向上した。
- MADDNESSベースのニューラルネットワークと比較して，LUT-MUは様々な設定で1.3～2.6倍の資源削減を実現した。
2層ReLUネットワークの隠れ状態微分プライバシーのための凸近似 [cs.LG, cs.CR]目的：2層ReLUネットワークと同等のプライバシーとユーティリティのトレードオフを持つ凸問題を，微分プライバシー(DP)を用いて訓練すること。
- 機械学習モデルのプライバシー保護は重要であり，特に隠れ状態へのアクセス制限が求められる。
- 既存の隠れ状態プライバシー解析は凸最適化問題に限定され，多層ニューラルネットワークには適用が難しい。
- ReLUネットワークの最小化問題を凸問題として近似し，プライバシー解析を適用することで，この問題を解決する。
- 本研究では，ReLU最小化問題の双対定式を確率的に近似することで，強凸問題を導き出した。
- これにより，既存の隠れ状態プライバシー解析を利用でき，固定された不連結ミニバッチを用いたNoisyCGD法にも正確なプライバシー境界を適用できる。
- 実験結果は，NoisyCGDが2層ReLUネットワークに適用されたDP-SGDと同等のプライバシーとユーティリティのトレードオフを達成することを示した。
ラベル洗練と閾値調整による不均衡半教師あり学習 [cs.LG]目的：不均衡データにおける半教師あり学習の性能向上
- 半教師あり学習は，ラベル付きデータが少ない場合に有効な手法であり，様々な分野で活用が期待されている。
- 不均衡データでは，擬似ラベルが多数派クラスに偏りやすく，モデルの性能を悪化させる可能性がある。
- クラスバランスが考慮された擬似ラベル最適化により，不均衡データにおける半教師あり学習の課題を解決する。
- 提案手法SEVALは，検証データを用いてラベル洗練と閾値調整のパラメータを最適化する統合的なフレームワークである。
- 実験の結果，SEVALは既存の最先端の半教師あり学習手法を様々な不均衡データシナリオで上回り，より正確で効果的な擬似ラベルを生成することが示された。
- SEVALは，多様な半教師あり学習アルゴリズムと互換性があり，タスク固有の要件に適応することができる。
生物学的ネットワークにおける符号付き相互作用予測のための極性認識型多関係モデル [cs.LG, q-bio.MN]目的：生物学的ネットワークにおける符号付き相互作用予測
- 創薬や薬剤の再利用において，生物学的ネットワークの理解は不可欠である。
- 既存の手法は，正負の相互作用を区別できず，正確な薬理学的予測の妨げとなる。
- 極性を考慮したモデルを構築し，相互作用の種類の識別精度を向上させる。
- 提案モデルPAMRは，既存モデルを上回り，分類精度と極性エッジの識別能力において優れた性能を示した。
- PAMR-CLは，Macro AUROCで0.9072，CP@100で0.974を達成し，RGCNやGraphSAGEなどのベースラインモデルを凌駕した。
- ニコチンに関する事例研究では，S100A6とSPP1の新たな化学物質-遺伝子抑制リンクを特定し，独立した実験文献によって裏付けられた。
大規模言語モデルにおけるメタ認知的な近視眼 [cs.SI, math.PR, cs.AI, cs.CL, cs.CY, stat.AP]目的：大規模言語モデルのバイアスに関する理論的枠組み
- 言語モデルは社会に浸透しつつあり，その影響力は大きい。
- 既存の言語モデルには，様々なバイアスが内在している。
- 言語モデルのバイアスの原因をメタ認知的な観点から解明する。
- 本研究では，言語モデルのバイアスを「メタ認知的な近視眼」として捉える理論的枠組みを提案した。
- その原因として，不適切な埋め込みの統合，冗長な情報への脆弱性，基本率の無視などが挙げられる。
- メタ認知のモニタリングと制御の近似的な技術的実現可能性についても検討した。
ランダム消去 vs. モデル反転：有望な防御か，誤った希望か [cs.RO, cs.LG, cs.CR, cs.CV]目的：機械学習モデルからのプライベート学習データ再構成を試みるモデル反転攻撃に対する防御
- 機械学習モデルのプライバシー保護は重要であり，攻撃による個人情報の漏洩を防ぐ必要がある。
- モデル反転攻撃は効果的なプライバシー侵害手段であり，既存の防御策では十分な対策が講じられていない。
- ランダム消去という既存技術の新たな応用により，モデル反転攻撃に対する効果的な防御を実現すること。
- ランダム消去を用いたモデルは，再構成画像とプライベートデータの特徴間に有意な差異を生じさせ，モデル反転攻撃の精度を低下させる。
- 部分的な消去はモデルが物体全体を学習することを防ぎ，モデル反転攻撃の成功を阻害する。
- ランダムな消去位置は，プライバシーとユーティリティのトレードオフを最適化する上で重要な役割を果たす。既存手法を上回る性能を37の実験設定で示した。
制約付き最適化のための反復解法の自己教師あり学習 [cs.LG, math.OC]目的：制約付き最適化問題に対する反復解法
- リアルタイム制約下での高精度な最適化は，モデル予測制御等の応用において不可欠である。
- 従来の最適化ソルバーは計算コストが高く，リアルタイム性に課題がある。
- 自己教師あり学習を用いて，高速かつ高精度な反復解法を構築すること。
- 提案手法は，KKT条件に基づく損失関数を用いることで，事前解法なしでの自己教師あり学習を実現した。
- 実験結果から，提案手法は最先端ソルバー(IPOPT)と比較して最大10倍の高速化を達成した。
- また，他の学習ベース手法と比較して，大幅に高い精度を達成した。
最小後悔による最良腕の識別 [cs.LG, cs.IT, math.IT, stat.ML]目的：最小後悔を伴う最良腕の識別
- 現実の実験においては，効率性と安全性の両立が重要であり，探索と活用のバランスが求められる。
- 最良腕の識別問題において，後悔を最小限に抑えつつ効率的に最良腕を特定する手法が不足している。
- 信頼水準を保証しつつ，累積後悔を最小化する識別アルゴリズムの開発を目指す。
- 単パラメータ指数分布族において，累積後悔に関する事例依存型の下限を確立した。
- 固定信頼水準下での最良腕識別における累積後悔とサンプル複雑性のトレードオフを示す不可能性結果を提示した。
- Double KL-UCBアルゴリズムを設計し，信頼水準がゼロに近づくにつれて漸近最適性を示すことができた。
再帰的状態における学習：線形再帰ネットワークによる勾配降下法 [cs.CL, q-bio.NC, cs.LG, cs.AI, cs.NE]目的：線形再帰ネットワークにおける文脈内勾配降下法の実現
- 系列モデリングは自然言語処理や時系列解析など，様々な分野で不可欠である。
- 従来の再帰的更新では，文脈内勾配降下に必要な教師あり信号が直接得られないという課題があった。
- 線形再帰ネットワークに適切な帰納的バイアスを導入し，文脈内での学習を可能にすること。
- 提案アーキテクチャGRILは，タスク固有の線形予測器に対して，単一のフォワードパスでミニバッチ勾配降下法を実装できる。
- 合成された文脈内学習タスクにおいて，GRILは構築によって予測される挙動とパラメータを再現できた。
- Long Range Arenaや言語モデリングにおいても，提案アーキテクチャが有用な性能を示した。
画像とレーダーデータの特徴マップに基づくUAV分類のためのマルチセンサーフュージョン [cs.AI, eess.SP]目的：UAV検出のための分類精度向上
- 現代社会においてUAVの利用が拡大しており，その重要性が増している。
- 悪意のある，または偶発的なUAV関連の事件が増加しており，対策が求められている。
- 複数のセンサーデータを統合し，UAVの検出・分類精度を向上させる。
- 熱画像，光学画像，レーダーデータから抽出された特徴を融合する深層ニューラルネットワークを提案。
- 熱画像と光学画像の特徴を重ねるCNNアーキテクチャを採用することで，個々のセンサー単体よりも高い分類精度を実現。
- マルチセンサーデータのフュージョンにより，UAV検出・分類システムの精度向上が期待できる。
Photon：連合学習による大規模言語モデルの事前学習 [cs.CL, cs.LG, cs.DC]目的：大規模言語モデルの事前学習における連合学習の実現
- 大規模言語モデルの性能向上には大量のデータと計算資源が不可欠であり，その重要性は増している。
- 分散学習には高帯域幅が必要であり，計算資源が限られた環境での学習が困難である。
- 低帯域幅環境下でも大規模言語モデルの事前学習を可能にし，計算資源の制約を克服すること。
- Photonは，最小限の通信オーバーヘッドでグローバル規模の学習を実現する連合学習システムであり，大規模言語モデルの事前学習を可能にする。
- Photonを用いて学習したモデルは，最大70億パラメータ規模でありながら，集中学習よりも優れたperplexityを達成した。
- Photonは，利用可能な計算資源の増加に伴い学習時間が短縮され，集中学習と同等の計算時間と性能のトレードオフを実現している。
説明可能な深層学習が自動運転車の人間による心的モデルを改善する [cs.DC, cs.RO, cs.AI, cs.LG]目的：自動運転車の人間による心的モデルの改善
- 自動運転技術は社会実装が進んでおり，安全性と信頼性の確保が不可欠である。
- 深層学習を用いた自動運転システムは，その内部構造が不透明で，予測が困難である。
- 説明可能なAI技術を用いて，自動運転システムの判断根拠を人間が理解できるようにする。
- 本研究では，Concept-Wrapper Network (CW-Net)を開発し，実際の自動運転車に搭載した。
- CW-Netは，自動運転車の行動を人間の理解可能な概念に基づいて説明し，性能を損なわない。
- 実験により，CW-Netによる説明は，ドライバーの車両に対する予測能力を向上させることが示された。
アクセス不能な場所と計測困難なパラメータのリアルタイム監視を可能にする仮想センシング [cs.LG, cs.AI, eess.SP]目的：エネルギーシステムにおける物理的な計測が不可能な内部状態のリアルタイム監視
- エネルギーシステムの安全性確保は重要であり，内部状態の正確な監視が不可欠である。
- 従来の監視手法は，複雑な方程式や再学習が必要で，リアルタイム性に課題がある。
- 物理計測が困難な場所やパラメータのリアルタイム監視を可能にすること。
- MIMONetは，境界測定値から内部場を推定し，5%以下の相対誤差とサブミリ秒の推論速度を実現した。
- ノイズ耐性が高く，センサーの50%の誤差があっても安定して動作する。
- 物理計測が困難な場所での可視化を回復し，安全性確保への応用が期待される。
再学習不要な計算MRIにおける敵対的頑健性 [cs.RO, cs.CL, cs.CV, cs.LG, eess.IV, physics.med-ph]目的：敵対的摂動に対する計算MRI再構築モデルの頑健性向上
- MRI画像再構築において深層学習の利用が一般的であり，高精度な画像再構築に貢献している。
- 深層学習モデルは，微小な敵対的摂動に対して脆弱であり，画像に大きな歪みを引き起こす可能性がある。
- 敵対的攻撃に対する頑健性を，モデルの再学習なしに向上させることを目指す。
- 提案手法は，様々なデータセット，攻撃タイプ，強さ，PD-DLネットワークにおいて，敵対的摂動の影響を大幅に軽減する。
- 提案手法は，従来の緩和手法と比較して，定量的および定性的に優れた性能を示す。
- 生データにおけるインパルスノイズをモデル化した現実的なシナリオにおいても有効性が確認された。
現実世界のIn-Context Learningに基づくText-to-SQLエラーの理解，検出，および修正 [cs.RO, cs.SY, eess.SY, cs.CL, cs.AI, cs.SE]目的：In-Context Learningを用いたText-to-SQLエラーのタイプと，その検出・修正手法
- 自然言語をSQLに変換する技術は，データベース操作を容易にし，データ分析の効率化に貢献する。
- In-Context Learningは強力だが，変換精度に課題があり，誤ったSQLクエリが生成される可能性がある。
- 既存の修正手法は改善が限定的であり，計算コストが高いという問題があるため，より効率的な手法が求められる。
- 本研究では，In-Context LearningによるText-to-SQLエラーを包括的に分析し，7つのカテゴリに分類した27種類の誤りタイプを特定した。
- 提案手法MapleDoctorは，既存手法と比較して13.8%多くのクエリを修正し，誤修正の数を最小限に抑え，修復遅延を67.4%削減した。
- MapleDoctorは，Text-to-SQLエラーの検出と修正において，高い性能と効率性を実現する。
区分定常バンドット問題に対する実用的な事前知識不要のブラックボックスフレームワークDAL [cs.LG, stat.ML]目的：区分定常バンドット問題における学習手法
- 現実世界における環境は常に変化するため，非定常環境への適応は重要である。
- 非定常バンドット問題では，変化点を検出することが困難であり，最適な行動選択が難しい。
- DALは，変化点検出器を用いて，既存の定常バンドットアルゴリズムを非定常環境に対応させる。
- DALは，既存の最先端手法を凌駕し，多様な非定常シナリオにおいて優れた性能を示した。
- 理論的考察と徹底的な実験検証により，DALの性能の強さが裏付けられた。
- DALは，様々なバンドット問題に適用可能で，拡張性にも優れている。
理論的ミニマックスゲームの観点からのLLM安全性の向上 [cs.CL, cs.LG]目的：大規模言語モデルの安全性向上
- LLMの急速な発展に伴い，安全な利用が不可欠であるため。
- 非英語圏の安全データセットが不足しており，多言語対応の安全モデルが遅れている。
- 質の高い合成データ生成により，安全モデルの性能向上を目指す。
- 提案手法により生成された合成データは，既存のモデルを大幅に上回る性能を実現した。
- 特に英語のベンチマークにおいて，約10%の性能向上と，4.5倍の高速化を達成した。
- この結果は，安全で堅牢な多言語LLM開発のためのスケーラブルな手法であることを示す。
特徴エンジニアリングによる物理情報ニューラルネットワークの性能向上 [cs.LG]目的：物理情報ニューラルネットワークの性能向上
- 偏微分方程式の解法は，科学技術の様々な分野で不可欠であり，その効率化が求められている。
- 従来の物理情報ニューラルネットワークは，学習に時間を要し，高い精度を達成することが困難である。
- 特徴エンジニアリングを用いることで，より高速かつ高精度な解法を実現し，計算コストを削減する。
- 本研究で提案するSAFE-NETは，従来の feature engineering 手法と比較して，桁違いに低い誤差と少ないパラメータ数で高い精度を実現する。
- SAFE-NETは，フーリエ特徴，簡素化された単層ネットワーク構造，効果的な最適化アルゴリズムを用いることで，PINN最適化問題の条件を改善する。
- 実験結果から，SAFE-NETはより速く収束し，より深いネットワークや複雑なアーキテクチャよりも優れた性能を示すことが示された。
ヘイトスピーチ分類におけるアノテーター間の不一致への対処 [cs.CL, cs.AI, cs.LG]目的：ヘイトスピーチ分類におけるアノテーター間の不一致の分析と，その対処法の評価
- ソーシャルメディア上の有害コンテンツ拡散防止は喫緊の課題であり，自動検出技術の重要性が増している。
- ヘイトスピーチの判断は主観的であり，アノテーター間の意見不一致が頻発する。
- アノテーター間の不一致を無視せず，有用な情報源として活用する手法を確立すること。
- 合意が得られないサンプルを削除すると，過度に楽観的な結果となることが示された。
- アノテーターが認識するヘイトスピーチの強度は，分類性能を向上させる補完的な情報となる。
- トルコ語のツイートにおけるヘイトスピーチ検出で，新たな最高水準の結果が達成された。
領域適応型サンプリングによる拡散Transformer [cs.CV, cs.AI]目的：拡散Transformerにおける効率的なサンプリング手法
- 画像生成において拡散モデルが主流であり，リアルタイム処理の需要が高まっている。
- 従来の高速化手法は，空間領域の変動を考慮せず，Transformerの柔軟性を活かせていない。
- Transformerモデルの注視領域に基づき，サンプリング頻度を動的に変化させることで高速化を図る。
- RASは，Stable Diffusion 3とLumina-Next-T2Iにおいて，最大2.36倍と2.51倍の高速化を達成した。
- 生成品質の低下は最小限であり，ユーザースタディでは同等の品質が確認された。
- 本手法は，拡散Transformerのリアルタイム応用の可能性を広げる重要な一歩となる。
自然言語クエリを通じたNoSQLデータベースへのアクセス促進：テキストからNoSQLへの翻訳 [cs.DB, cs.AI]目的：NoSQLデータベースに対する自然言語クエリの実現
- NoSQLデータベースは現代のデータ基盤の中核であり，その利用効率向上が重要である。
- NoSQLデータベースへの自然言語アクセスは未発達であり，データモデルの理解が課題となっている。
- スキーマレスなドキュメントデータベースにおける推論能力の向上を目指す。
- 本研究では，MongoDBに特化した実行検証済みベンチマークデータセットTENDを新たに構築した。
- LLMはNoSQLデータベースへのクエリ生成において，従来のNL2SQLタスクとは異なる課題に直面することが示された。
- スキーマ情報をデータとして活用するSAGソルバーにより，パスと値の根拠付けを効率的に行うことができた。
生成AIの計算安全性：仮説検定の視点 [cs.AI, cs.LG, stat.ML]目的：生成AIにおける安全性課題の定量的な評価・定式化・研究
- AI技術の発展に伴い，その悪用や有害性防止が重要課題となっている。
- 生成AIモデルの性能向上は飽和状態に近づきつつあり，安全性の確保が差別化要因となっている。
- 生成AIの安全性課題を仮説検定として捉え，悪意のあるプロンプトや生成コンテンツの検出を目指す。
- 計算安全性の概念を数学的に定式化し，信号処理理論と手法を用いて安全性課題を分析する枠組みを提示した。
- 入力の安全性に関しては，感度分析や損失地形分析を用いて，脱獄を試みる悪意のあるプロンプトの検出が可能であることを示した。
- 出力の安全性に関しては，統計的信号処理を用いて，AI生成コンテンツの検出が可能であることを示した。
進化する機能を持つスケーラブルなグラフ縮約 [cs.LG, cs.SI]目的：グラフの縮約による高速化
- グラフデータは急速に増加しており，その処理は計算資源を圧迫する。
- 既存のグラフ縮約手法は，データが静的であることを前提としている。
- 動的に変化するグラフデータに対応し，効率的な縮約を実現すること。
- 提案手法GECCは，大規模かつ進化するグラフデータに対応したスケーラブルなグラフ縮約法である。
- クラスごとの特徴量集約によるクラスタリングにより，効率的かつ追跡可能な処理を実現する。
- 実験結果から，GECCは最先端の縮約手法と比較して優れた性能を示し，大規模データセットで約1000倍の高速化を達成する。
非キュレーションデータによるワールドモデルの誘導による効率的な強化学習 [cs.CL, cs.LG, cs.RO]目的：オフラインデータ活用によるオンライン強化学習のサンプル効率向上
- 強化学習はロボット制御などに応用が期待されるが，学習に大量のサンプルが必要となる。
- オフラインデータは安価に入手できるが，その品質が均一ではなく，活用が難しい。
- 非キュレーションデータ活用で強化学習のサンプル効率を大幅に改善することを目指す。
- オフラインデータの分布シフトが学習の妨げとなることを示し，その対策として経験リハーサルと実行誘導を提案。
- 提案手法により，72の視覚運動タスクで，ゼロから学習するベースラインと比較して集計スコアがほぼ2倍に向上。
- 特に，ロボットの運動制御や操作において，既存のオフラインデータ活用手法を上回る性能を示した。
LLM推論の最適化：メモリ制約下における流体ガイダンスによるオンラインスケジューリング [cs.CL, cs.HC, cs.LG, cs.AI, cs.DC, math.OC, stat.ML]目的：LLM推論におけるオンラインスケジューリング手法
- LLMの利用拡大に伴い，推論コストが急増しており，効率的なGPUスケジューリングが不可欠である。
- 生成されるトークン数に応じてKVキャッシュが拡大し，メモリ不足によるリクエスト中断が課題となっている。
- メモリ制約下で安定した推論を実現し，レイテンシを削減することを目指す。
- 流体モデルを用いて，最適なバッチ構成，メモリ要件，安定領域を特徴付けた。
- 出力長が既知の場合と未知の場合の両方に対応するWAITおよびNested WAITアルゴリズムを提案した。
- シミュレーションおよび実機検証の結果，提案手法は既存手法と比較して安定動作範囲を拡大し，特に高負荷時にレイテンシを低減できることが示された。
無料GPUでの7Bアドバイザーのファインチューニング：アダプター・ハンドオフのレシピと合成データ信頼性の注意点 [cs.IR, cs.AI]目的：リソース制約下における特殊なアドバイスのための7B言語モデルのファインチューニング
- 大規模言語モデルの活用は，専門知識を必要とするタスクにおいて大きな可能性を秘めている。
- 無料GPU環境では，モデルのファインチューニングに時間制約があり，複数エポックの学習が困難である。
- 本研究は，無料GPU環境でも実行可能な，アダプター・ハンドオフによる効率的なファインチューニング手法を提案する。
- アダプターのみのハンドオフにより，LoRAアダプター（41.9Mパラメータ）のみをチェックポイント化することで，2つの無料GPU (Tesla P100，T4) を利用したMistral-7B-Instruct-v0.3の3エポックのQLoRAファインチューニングを完了させた。
- ファインチューニングされたモデルは，合成トレーニング分布との類似度では高いスコア (BERTScore F1 +0.063) を示したものの，アドバイスの品質はベースモデルよりも低く評価された。
- 検証の結果，トレーニングデータ自体に誤りが存在し，その誤りがファインチューニングされたモデルに引き継がれていることが判明した (Gemini生成の回答の28-40%に検証可能な誤り)。
PURe：ビジョンネットワークのためのプラグアンドプレイ型プロダクトユニット残差モジュール [cs.CV, cs.AI, cs.LG, eess.IV]目的：ビジョンネットワークにおける乗算的な局所相互作用のモデリング
- 近年のビジョンネットワークは局所変換が主流だが，明示的な乗算的相互作用は未開拓な分野である。
- プロダクトユニットは有効だが，深い構造での最適化の不安定性が課題となっている。
- 深い残差階層内で実数値の対数領域を用いたプロダクトユニットを導入し，最適化を安定化させる。
- PUReは既存の残差ユニットの代替として容易に組み込むことができる。
- 画像分類やボリューメトリックCTデータのスライスベースセグメンテーションで，PUReは性能向上とパラメータ効率の改善を示す。
- PUReは，より浅いモデルでResNetの性能を上回り，より良い精度-パラメータのトレードオフを実現する。
潜在変数を用いた効率的なフローマッチング [cs.CV, cs.AI, cs.LG]目的：画像生成におけるフローマッチングの効率化
- 画像生成は，AI研究において重要な課題であり，多様な応用が期待されている。
- 既存のフローマッチングモデルは，データの潜在的なクラスタ構造を十分に活用できていない。
- 潜在変数を活用することで，学習効率を向上させ，より高品質な画像生成を目指す。
- 提案手法Latent-CFMは，事前学習済みの潜在変数モデルを活用することで，学習と計算コストを大幅に削減する。
- 合成データと画像ベンチマークデータセットにおいて，最先端のフローマッチングモデルと比較して，生成品質が向上した。
- 2次元Darcy流データセットにおいて，より物理的に正確なサンプル生成が可能であることを示した。
DRA-GRPO：数学的推論における多様な推論経路をGRPOが理解する必要性 [cs.CL, cs.LG]目的：数学的推論における多様性の重要性の検証
- 大規模言語モデルの数学的推論能力向上は，教育や研究において重要である。
- 従来のGRPOは，正解報酬のみに依存し，多様な解法を無視する傾向がある。
- DRA-GRPOは，解法の多様性を考慮した報酬調整により，この問題を解決する。
- DRA-GRPOは，既存のGRPOベースラインと比較して，一貫して高い性能を示す。
- DeepSeek-R1-Distill-Qwen-1.5Bにおいて，わずか7,000サンプルで平均58.2%の精度を達成した。
- 本手法は，データ効率の高いAlignmentにおいて，多様性の調整が重要な役割を果たすことを示唆する。
選択的生成による大規模コードモデルの機能的正確性への取り組み [cs.SE, cs.LG]目的：コード生成モデルの機能的正確性の向上
- 安全性が求められるシステムにおいて，コード生成モデルの信頼性が重要である。
- コード生成モデルの幻覚（誤ったコード生成）の検出が困難である。
- 動的コード解析とテスト生成により，幻覚を抑制し，正確性を高める。
- 動的コード解析を用いて自動的にユニットテストを生成する手法を提案。
- 生成されたユニットテストに基づき，不確実なコード生成を抑制する選択的コード生成器を開発。
- 生成されたテストを評価と学習に活用する「FuzzEval」というパラダイムを提案し，有効性を実証。
生成モデルにおけるトークン削減は効率性にとどまるべきではない -- ビジョン，言語からマルチモダリティへ [cs.CL, cs.LG, cs.AI]目的：生成モデルにおけるトークン削減の新たな役割と可能性
- Transformerは様々な分野で利用されており，その性能向上は重要である。
- Transformerの計算コストはトークン数に比例し，高コストな処理となる。
- トークン削減を効率化だけでなく，モデルの性能向上に繋げる。
- トークン削減は，マルチモーダル統合とアライメントを促進する。
- トークン削減は，「過剰思考」や幻覚を抑制し，長文のコヒーレンスを維持する。
- トークン削減は，学習の安定性を高め，新たなアルゴリズム設計の方向性を示す。
モザイク：異種分散環境のための専門家混合によるデータフリー知識蒸留 [cs.LG, cs.AI, cs.DC]目的：異種分散環境における知識蒸留フレームワーク
- 分散環境下での機械学習の重要性が高まっており，プライバシー保護と高性能なモデル構築が求められている。
- モデルやデータの異質性が存在し，クライアント間での表現の不一致や最適化のdivergenceを引き起こす。
- 異質性を克服し，堅牢なグローバル性能を実現するための新しい手法を開発すること。
- モザイクは，クライアントの個別分布を近似するローカル生成モデルを訓練することで，プライバシーを保護した合成データ生成を実現する。
- クライアントモデルの専門知識に基づいて専門家混合（MoE）を形成し，生成されたデータを用いてグローバルモデルに知識を蒸留する。
- MoEアーキテクチャを強化するため，代表的なプロトタイプ上で訓練された軽量メタモデルを通じて専門家の予測を統合する。