arXiv雑要約
AI - 2026/03/13 公開
文字列データにおける外れ値検出アルゴリズムの比較 [cs.LG]目的：文字列データにおける外れ値検出
- 機械学習において重要な課題であり，データ品質向上に不可欠である。
- 数値データへの研究が中心であり，文字列データへの応用は少ない。
- 文字列データに特化した外れ値検出手法を確立し，データクレンジングを支援する。
- 局所外れ値因子法を文字列データに適用するため，レーベンシュタイン距離と階層的な文字クラスに基づく重み付けを導入した。
- 階層的左正規表現学習に基づいた新たな外れ値検出アルゴリズムを提案し，期待されるデータ構造との差異に着目した。
- 実験により，両アルゴリズムが文字列データにおける外れ値を概念的に検出可能であることを示した。
OpenSanctions Pairs：LLMによる大規模エンティティマッチング [cs.SI, math.CO, cs.IR, cs.AI, cs.CL, cs.LG]目的：国際制裁の集約とアナリストによる重複排除から派生した大規模エンティティマッチングベンチマークデータセット
- 国際的な制裁コンプライアンスは重要であり，正確なエンティティ認識が不可欠である。
- 異なるデータソース間のエンティティマッチングは，ノイズや欠損値，多言語対応の難しさから課題が多い。
- LLMの性能を評価し，エンティティマッチングのパイプラインにおける改善の方向性を示す。
- OpenSanctions Pairsデータセットは，755,540件のラベル付きペアを含み，多様なソースと言語に対応している。
- 既存のルールベースのマッチャーと比較して，LLMは大幅に高いF1スコア（最大98.95%）を示した。
- LLMは文字変換や識別子の一致に課題がある一方，ルールベースのマッチャーは過剰マッチングを起こしやすいことが示された。
ニューラル演算子を用いた偏微分方程式サロゲートの構造を考慮したエピステミック不確実性定量化 [cs.LG, cs.AI]目的：ニューラル演算子を用いた偏微分方程式サロゲートの不確実性定量化手法
- 科学計算において，高精度な予測だけでなく，その信頼性評価が不可欠である。
- ニューラル演算子の予測には，データ不足や最適化の不完全さによる不確実性が存在する。
- 構造を考慮した不確実性定量化により，計算効率と空間的な忠実性を両立することを目指す。
- 提案手法では，ニューラル演算子のモジュール構造に着目し，リフティングモジュールにのみ確率的摂動を導入する。
- その結果，既存手法と比較して，より信頼性の高いカバレッジと，より狭い不確実性バンドが得られた。
- また，残差と不確実性の位置合わせも改善され，実用的な計算時間も維持された。
推測デコーディングのスケーリング則：シンプルなスループット最適化 [cs.CL, cs.IT, cs.LG, math.IT]目的：推測デコーディングにおけるスループット最適化
- 大規模言語モデルの推論速度向上は，実用化において重要な課題である。
- 推測デコーディングの効率的な運用には，パラメータ調整が不可欠だが，その最適化は実験的でコストがかかる。
- 事前学習済みのLLMのハイパーパラメータとスループット効率の関係を理論的に解明し，最適なパラメータを予測すること。
- 本研究では，事前学習済みのLLMの主要なハイパーパラメータと，推測デコーディングに基づく推論システムの効率との間に，解析的な関係が存在することを理論的に示した。
- この理論により，推論システムの各コンポーネントの最適なハイパーパラメータを，事前学習前に予測することが可能となる。
- 実験的アプローチに頼らず，コストを削減しつつ，スループットを最適化する道筋を示した。
オンラインソーシャルネットワークにおける信頼性の量的モデリングに関する調査 [cs.SI, cs.AI, cs.CR, cs.CY, cs.GT]目的：オンラインソーシャルネットワークにおける信頼性モデリング手法の分類とレビュー
- ソーシャルメディアは情報伝達の重要な手段となり，その信頼性確保は社会にとって不可欠である。
- 既存の調査は信頼概念の軽視，または特定のモデルに偏重する傾向が見られる。
- オンラインにおける信頼形成要因を分析し，定量モデリングの課題を明確にすること。
- 心理学における信頼理論とモデルを調査し，オンライン信頼形成に影響する要因を特定した。
- 最新の信頼モデルをアルゴリズムの基礎に基づいて分類し，各モデルの貢献を明確にした。
- 利用可能なデータセット，特徴量，モデリング手法，応用事例をまとめた実装ガイドを提供した。
GeNeX：検証過学習に対処するための遺伝的ネットワーク専門家フレームワーク [cs.NE]目的：検証過学習の軽減
- 機械学習モデルの性能は，汎化能力に依存する。そのため，過学習を防ぎ，未知データへの対応能力を高めることが重要である。
- モデル選択における検証性能への過度な依存は，検証過学習を引き起こし，実環境での性能低下を招く可能性がある。
- 本研究は，検証過学習を抑制し，よりロバストで信頼性の高いアンサンブル学習を実現することを目的とする。
- GeNeXは，勾配ベースの学習と遺伝的モデル進化を組み合わせることで，検証性能に依存しないロバストなモデル群を生成する。
- 予測行動に基づいてモデルをクラスタリングし，各クラスタから多様な専門家を選択することで，相補的なアンサンブルを構築する。
- Sequential Quadratic Programmingを用いて予測を最適化し，出力レベルでの相乗効果を高めることで，アンサンブル全体の性能を向上させる。
ARACH：LLMの性能向上を実現する学習不要な推論時プラグイン [cs.SI, cs.SI, cs.CY, cs.SI, cs.SI, math.PR, stat.OT, cs.CL, cs.AI]目的：LLMにおけるグローバルアテンション再配分による性能向上
- LLMは高性能だが，更なる性能向上のためには高コストな学習が必要となる場面がある。
- 既存の推論時手法は，モデルをブラックボックスとして扱い，入力や出力レベルでの介入に留まる。
- モデル内部の計算過程に介入することで，学習コストをかけずに性能向上を目指す。
- ARACHは，アダプティブなコンテキストハブを導入し，コンテキストを集約・アテンションを再配分する推論時プラグインである。
- 複数の言語モデリングタスクにおいて，わずかな推論オーバーヘッドで一貫した性能向上が確認された。
- アテンション分析により，ARACHがアテンションシンク現象を緩和することが示唆された。
TinyNav: マイクロコントローラ上でのリアルタイム自律航法のTinyML [cs.RO, cs.CV, cs.LG]目的：マイクロコントローラ上でのリアルタイム自律航法のためのTinyMLシステム
- 低コストロボットへのアクセスを制限する，電力消費の大きいプロセッサへの依存を軽減する必要がある
- マイクロコントローラはリソース効率が良いが，モデルの複雑さに厳しい制約がある
- 制約されたエッジデバイス上で応答性の高い自律制御を実現し，外部コンピューティング資源への依存を減らす
- TinyNavは，ESP32マイクロコントローラ上で動作する，エンドツーエンドのTinyMLシステムである。
- 20フレームのスライディングウィンドウの深度データを用いて，操舵とスロットルを予測する2D畳み込みニューラルネットワークを用いる。
- 23kパラメータのモデルで，30msの推論遅延を達成し，空間認識と障害物回避が確認された。
閉塞を考慮した次善視点計画：移動ロボットによる人間中心アクティブ知覚 [cs.RO, cs.AI]目的：人間中心の操作のための，閉塞を考慮した次善視点選択
- 人間は視界が遮られると自然に移動し，より多くの情報を得る。ロボットにも同様の能力を持たせることは重要。
- 従来の次善視点計画法は，汎用的な探索や長期的カバレッジに重点を置いており，部分的に閉塞された対象物の視認性向上に特化していない。
- 本研究は，現実的な動作制約下で，閉塞された人間の視認性を高めることを目指す。
- 提案手法OA-NBVは，シミュレーションおよび実環境の両方で90%以上の成功率を達成した。
- OA-NBVは，従来の次善視点計画法と比較して，対象領域を少なくとも81%増加させ，キーポイントの視認性を少なくとも58%向上させた。
- OA-NBVは，多様な人間中心タスクにおいて，ドロップイン可能な視点選択モジュールとして機能する。
異種グラフによる論理的・物理的レイアウト表現の統合：回路混雑予測への応用 [cs.RO, cs.SY, eess.SY, cs.AR, cs.AI]目的：回路混雑の予測
- VLSI設計の規模拡大に伴い，レイアウト検証が重要課題となっている。
- 従来の検証は詳細な配線後に混雑を特定するため，時間とコストがかかる。
- 論理と物理表現を統合することで，早期の混雑予測と配線反復の削減を目指す。
- 提案手法VeriHGNは，回路コンポーネントと空間グリッドを統合した異種グラフを使用する。
- これにより，論理的な意図と物理的な実現の相互作用をより忠実にモデル化できる。
- ISPD2015等の工業用ベンチマークにおいて，予測精度と相関指標で既存手法を上回る結果が得られた。
多様性の拡大：汎用的なツール利用のためのエージェント的タスク合成 [cs.AI, cs.SE]目的：エージェント的タスク合成における多様性の拡大
- 大規模言語モデルのツール利用能力向上は，実世界問題への応用を広げる上で重要である。
- タスクやツールセットの変化に対する汎化性能が不十分であり，実用上の課題となっている。
- 多様なツール，組み合わせ，利用パターンを網羅し，汎化性能を高めることを目指す。
- DIVEは，ツール実行からタスクを逆導出する手法であり，実行可能性と検証可能性を確保しつつ多様性を拡大する。
- DIVEによる学習データでQwen3-8Bを訓練した結果，9つのOODベンチマークで平均22ポイント，最良の8Bベースラインを68ポイント上回った。
- 多様性の拡大が，データ量よりも汎化性能向上に有効であることが示された。
CR-Bench：AIコードレビューエージェントの実用性評価 [cs.RO, cs.SY, eess.SY, cs.SE, cs.AI, cs.CL]目的：AIコードレビューエージェントの有用性評価
- ソフトウェア開発の品質向上は，信頼性と保守性の確保に不可欠である。
- 既存の評価指標では，誤検出が多い場合にエージェントの真価を判断しにくい。
- AIコードレビューエージェントの性能を詳細に評価するための基盤を提供する。
- CR-BenchとCR-Evaluatorは，コードレビューエージェント研究のための標準化された評価環境を提供する。
- AIコードレビューエージェントは，潜在的な問題を全て検出しようとすると，ノイズが多くなりやすい。
- 問題解決率だけでなく，誤検出の少なさが，エージェントの有効性を左右するトレードオフが明らかになった。
LLM支援ソフトウェア設計のための品質重視エージェント推論：時間系列自己QAチェーンとしてのQuestions-of-Thoughts (QoT) [cs.RO, cs.SE, cs.AI]目的：LLM支援ソフトウェア設計における品質向上
- AI技術の発展によりソフトウェア開発の効率化が期待される。
- LLM生成コードは，実装の不完全性，モジュール化の弱さ，セキュリティの問題を抱える。
- QoTにより，制約検証と省略エラーの削減を目指し，設計の安定化を図る。
- QoTは，API設計，データ通信，ファイルシステムといったバックエンドエンジニアリング領域で有効性を示した。
- 大規模モデルや複雑なドメインにおいて，QoTは一貫して品質を向上させる。
- 小規模モデルでは，コンテキストや計画の制約により，トレードオフが生じる場合がある。
エージェントAIの攻撃と防御の状況：包括的な調査 [cs.CR, cs.AI]目的：エージェントAIシステムのセキュリティに関する攻撃と防御の現状分析
- AI技術の発展に伴い，自動化・柔軟性を有するエージェントAIの利用が拡大している。
- 従来のソフトウェアとは異なる新たなセキュリティ課題が顕在化している。
- エージェントAIシステムのセキュリティリスクと防御戦略の体系的な理解を目指す。
- 本調査は，エージェントAIシステムの設計空間，攻撃手法，防御メカニズムを網羅的に分析した最初の試みである。
- 既存システムのセキュリティ上のギャップをケーススタディを通じて明らかにし，未解決の課題を特定した。
- セキュリティリスクと防御戦略を理解するための枠組みを提示し，安全なエージェントAIシステムの構築と研究の発展に貢献する。
因果基盤モデルのための介入時系列事前分布 [cs.LG, stat.ME]目的：時系列因果推論のための合成データ生成
- 因果推論は，データから因果関係を明らかにする上で重要であり，意思決定や政策立案に不可欠である。
- 既存の時系列データセットは，観測データのみを提供しており，介入データが不足しているため，因果基盤モデルの学習が困難である。
- 介入データを含む時系列合成データ生成フレームワークを構築し，因果推論のための基盤モデルの性能向上を目指す。
- 提案手法CausalTimePriorは，観測データと介入データがペアになった時系列構造因果モデルを生成できる。
- CausalTimePriorで学習したPFNは，未知の時系列構造因果モデルにおける因果効果推定において良好な性能を示した。
- 本研究は，時系列因果推論のための基盤モデル開発への道を開く。
自律運転システムの推論：オープンな課題と新たなパラダイム [eess.SY, cs.SY, cs.AI, cs.RO]目的：自律運転システムにおける推論の現状と課題，および将来展望
- 自動運転技術は，社会の安全性向上や移動の効率化に不可欠である。
- 現在の自動運転システムは，複雑な状況やイレギュラーな事態への対応が不十分である。
- LLM等の活用により，より高度な推論能力を備えた自動運転システムの実現を目指す。
- 本研究では，自動運転タスクを認知的な複雑さに応じて階層化する新たな「認知階層」を提案した。
- 推論における応答性と処理時間のトレードオフや，社会的な駆け引きといった7つの主要な課題を体系化した。
- LLMベースの推論の遅延性と，車両制御のリアルタイム性が両立することが今後の課題として浮上した。
データストリームにおける概念のフィンガープリント：教師あり・教師なしメタ情報の活用 [cs.LG]目的：データストリームにおける概念表現の構築と概念ドリフト検出
- リアルタイムデータ収集の増加に伴い，データストリーム分析の重要性が高まっている。
- データストリームの分布が時間とともに変化する概念ドリフトが課題となっている。
- 多様なメタ情報特徴を用いた概念の識別能向上を目指す。
- 提案手法FiCSUMは，教師あり・教師なしデータ両方において概念を表現する。
- FiCSUMは，動的な重み付け戦略により，データセットに適応したメタ情報特徴を選択する。
- 実データおよび合成データを用いた実験で，既存手法を精度と概念ドリフトのモデル化において上回った。
グラフとTransformerを結びつけるためのグラフトークン化 [cs.LG, cs.AI]目的：グラフ構造データとTransformerモデル間のギャップを埋めるための手法
- Transformerの成功はトークナイザに依存する。グラフ構造データへの適用は課題である。
- 既存手法ではグラフ構造情報を効果的に捉えきれない場合がある。
- グラフの構造的情報を保持しつつ，Transformerが扱えるシーケンス表現への変換を実現する。
- 提案手法は，グラフの頻出サブグラフに基づいた可逆的グラフシリアライゼーションとBPEを組み合わせる。
- BERT等のTransformerをグラフベンチマークに直接適用可能となり，最先端の結果を14のデータセットで達成した。
- グラフニューラルネットワークや専用のグラフTransformerと比較して，優れた性能を示す。
AIネイティブクラウド具現知能インフラのための千GPU大規模学習・最適化レシピ [cs.RO, cs.AI, cs.DC]目的：具現知能インフラの大規模学習と最適化に関するレシピ
- 具現知能は汎用人工知能(AGI)への重要な一歩であり，ロボット工学の発展に不可欠である。
- データ，フレームワーク，インフラ，評価システムなど，具現知能開発には多くの課題が存在する。
- 千GPU規模の学習プラットフォーム構築と最適化により，具現知能開発のボトルネックを解消することを目指す。
- クラウドベースの千GPU分散学習プラットフォームを構築し，具現知能の学習パイプライン全体のボトルネックを克服した。
- GR00T-N1.5モデルにおいて，千GPUクラスターと大規模データにより，単回学習時間を15時間から22分に短縮し，40倍の高速化を実現した。
- FlashAttention，Data Packing，FP8量子化などの技術により，学習速度を最大188％向上させた。
ResWM：視覚的強化学習のための残差行動ワールドモデル [cs.RO, cs.AI]目的：視覚的観測からの予測型ワールドモデルの学習
- ロボティクスや連続制御において，生の視覚情報から予測モデルを学習することは重要である。
- 従来のモデルベース強化学習は絶対行動に依存するため，最適化が不安定になりやすい。
- 残差行動を用いることで，制御の安定性を高め，長期的計画を可能にすることを目指す。
- ResWMは，絶対行動から残差行動への制御変数の変換を行う新しいフレームワークである。
- DeepMind Control Suiteにおいて，サンプル効率，漸近リターン，制御のスムーズさにおいて，DreamerやTD-MPCなどの既存手法を上回る性能を示した。
- ResWMは，より安定かつエネルギー効率の高い行動軌跡を生成し，ロボティクスにおける実用的な要件を満たすことが示唆された。
タスク条件付きルーティングシグネチャ：疎なMixture-of-Experts Transformerにおける考察 [cs.LG, cs.AI]目的：疎なMixture-of-Experts Transformerにおけるルーティングシグネチャの構造
- 大規模言語モデルの効率的なスケーリングは重要であり，MoEアーキテクチャはその鍵となる。
- MoEアーキテクチャにおける専門家選択のルーティングメカニズムは未解明な部分が多い。
- ルーティングシグネチャを用いて，タスクに応じたルーティング構造の有無を検証する。
- 同じタスクカテゴリのプロンプトは，高度に類似したルーティングシグネチャを生成することが示された。
- 異なるタスクカテゴリのプロンプト間では，ルーティングシグネチャの類似性は大幅に低下した。
- ルーティングシグネチャのみを用いた分類器で，タスク分類において高い精度（92.5%）が達成された。
勾配降下法を用いた決定木ベースのモデル学習 [cs.LG]目的：決定木モデルの学習手法
- 解釈性の高いモデルが求められる分野で重要であり，特に重要な意思決定を伴う場合に有効である。
- 従来の決定木学習は，組み合わせ的な複雑さや微分不可能な性質から，最適解に到達できない場合が多い。
- 勾配降下法による学習で，決定木のパラメータを同時に最適化し，既存の機械学習手法との統合を可能にする。
- 本研究では，勾配降下法を用いて決定木を学習する新しい手法を提案し，従来の貪欲探索法による制約を克服した。
- 密な決定木表現とストレートスルー演算子によるバックプロパゲーションにより，全てのツリーパラメータを同時に最適化できる。
- 提案手法は，様々なドメインにおいて最先端の結果を達成し，解釈可能な決定木モデルの性能と適用範囲を向上させた。
非更新到着過程におけるキューイングネットワークのための学習に基づく重ね合わせ演算子 [cs.LG, math.PR]目的：非更新到着過程におけるキューイングネットワークにおける重ね合わせ演算
- キューイングネットワークは，通信システムや製造システムなど，幅広い分野で重要な役割を担う
- 一般の非更新到着流の重ね合わせは解析的に困難であり，近似や簡略化が用いられてきた
- 高次の変動や相関情報を保持しつつ，効率的な重ね合わせ演算を実現する
- 提案手法は，到着流の低次モーメントと自己相関記述子から重ね合わせ過程のそれらを予測する学習に基づく演算子である
- 深層学習モデルは，合成されたマルコフ到着過程(MAP)を用いて訓練され，集約ストリームの最初の5つのモーメントと短距離依存構造を正確に再構築する
- 実験結果は，提案手法が古典的な更新ベースの近似よりも均一的に低い予測誤差を示すことを示している
グループ共鳴ネットワーク：学習可能なプロトタイプと多被験者共鳴による脳波感情認識 [cs.LG]目的：脳波に基づく感情認識における，被験者間変動への対処
- 脳波を用いた感情認識は，精神疾患の診断やブレイン・マシン・インターフェースへの応用が期待され，重要性が高い。
- 被験者間の脳波の個人差が大きく，異なる被験者間で汎化性能を上げるのが課題であった。
- 本研究は，グループ間で共有される規則性を活用し，被験者間変動の影響を軽減することを目的とする。
- 提案手法であるグループ共鳴ネットワーク（GRN）は，個々の脳波ダイナミクスとグループ共鳴モデリングを統合する。
- GRNは，バンドごとの脳波特徴抽出，プロトタイプ誘導共鳴，PLV/コヒーレンスに基づく同期エンコーディングの3つの要素を含む。
- SEEDおよびDEAPデータセットでの実験結果から，GRNが既存手法を上回り，プロトタイプ学習と多被験者共鳴モデリングの有効性が確認された。
高解像度気象誘導型代理モデルによるデータ効率の高いクロスロケーション建築物エネルギー予測 [cs.HC, cs.LG]目的：建築物エネルギー予測における，データ効率の向上
- 建築物の最適設計にはシミュレーションが不可欠だが，計算コストが高いという課題がある。
- 既存の代理モデルは場所依存性が高く，汎用性がない点が問題となっている。
- 地域間で共通する短期的な気象とエネルギー需要のパターンを活用し，汎用性の高い代理モデルを構築する。
- 単一ロケーションでの学習により，同一気候帯の他の場所でも高い予測精度を維持することが示された。
- 異なる気候帯への適用においても，性能劣化は最小限にとどまることが確認された。
- 気候情報を活用した汎化により，スケーラブルで再利用可能な代理モデル開発の可能性が示された。
不毛な高原を超えて：高精度画像分類のためのスケーラブルな量子畳み込みアーキテクチャ [cs.MA, cs.CL, cs.RO, cs.LG]目的：高精度画像分類のためのスケーラブルな量子畳み込みアーキテクチャ
- 量子機械学習は，古典的な機械学習の限界を克服する可能性を秘めている。
- 量子畳み込みニューラルネットワークは，勾配消失問題（不毛な高原）により，実用的な性能が低い。
- 勾配消失問題を解決し，実用的な量子画像分類の枠組みを提供する。
- 提案された量子畳み込みアーキテクチャは，局所的なコスト関数と効率的な初期化戦略により，勾配消失問題を軽減する。
- MNISTデータセットでの評価により，分類精度が98.7%に向上し，ベースラインの52.32%を大幅に上回る結果が得られた。
- 古典的なCNNと比較して，同等の収束率を達成するために必要な学習パラメータが$\mathcal{O}(\log N)$少ないことが示された。
WebWeaver：LLMマルチエージェントシステムにおける秘匿性の高い文脈ベース推論によるトポロジー機密性の打破 [cs.CR, cs.AI]目的：LLMマルチエージェントシステムにおける通信トポロジーの推論
- LLMマルチエージェントシステムの性能や安全性において，通信トポロジーは重要な要素である。
- 既存の研究では，現実世界での攻撃を捉えきれていない。管理エージェントの制御やID直接クエリなど，非現実的な前提に依存している。
- 単一のエージェントを侵害するだけで，完全なトポロジーを推論し，現実的な脅威に対応すること。
- WebWeaverは，単一の任意エージェントを侵害するだけで，LLMマルチエージェントシステムのトポロジーを推論する攻撃フレームワークである。
- 既存手法とは異なり，エージェントIDではなく文脈のみに依存することで，よりステルス性の高い推論を実現している。
- 積極的な防御下において，WebWeaverは最先端のベースラインを大幅に上回り，約60％高い推論精度をわずかなオーバーヘッドで達成する。
高次モジュール型アテンション：タンパク質配列におけるペアワイズおよび三項相互作用の融合 [cs.LG]目的：タンパク質配列と表現型の関係性における協調的依存性の解析
- タンパク質構造と機能の解明は，生命科学研究において不可欠である。
- 従来のドット積アテンションでは，３つ以上の残基間の協調的依存性を捉えきれない。
- 高次相互作用を明示的に捉え，タンパク質配列の予測精度向上を目指す。
- 提案手法HOMAは，ペアワイズアテンションと三項相互作用経路を融合することで，表現能力を向上させる。
- 二次構造，蛍光，安定性に関するTAPEベンチマークにおいて，標準的な自己注意機構や効率的なバリアントと比較して，一貫した改善が認められた。
- 明示的な三項相互作用が，制御可能な計算コストでタンパク質配列予測に有用な表現能力を提供する可能性が示された。
効率的な推論のスケーリング：緩和されたオンポリシー蒸留によるアプローチ [cs.LG, cs.CL]目的：制約のあるモデルへの推論能力の転移
- 大規模言語モデルの推論能力は重要だが，計算資源の制約がある場合が多い。
- オンポリシー蒸留は不安定になりやすく，負の転移が発生する可能性がある。
- 本研究では，緩和されたオンポリシー蒸留により，学習の安定化と効率化を目指す。
- REOPOLDは，従来のオンポリシー蒸留の厳格な模倣制約を緩和することで最適化を安定化させる。
- 数学，視覚，エージェントツール利用の推論タスクにおいて，REOPOLDはベースラインモデルを上回り，サンプル効率と推論時のスケーリングが向上した。
- 7Bの生徒モデルが32Bの教師モデルの視覚的推論能力に匹敵し，約3.32倍の推論速度向上を達成した。
H2LooP Spark Preview：低レベル組み込みシステムコードのための大規模言語モデル継続事前学習 [cs.LG]目的：低レベル組み込みシステムコードに対する大規模言語モデルの継続事前学習パイプライン
- 組み込みシステムは，IoT機器や産業機器など，現代社会の基盤を支える重要な技術分野である。
- 大規模言語モデルは汎用プログラミング言語では高い性能を示すが，組み込みシステム分野の知識が不足している。
- この研究は，組み込みシステム特有のデータを用いた継続事前学習により，性能向上を目指す。
- H2LooP Spark Previewパイプラインにより，組み込みシステムドメインのperplexityを大幅に削減した。
- 7Bモデルは，コード生成ベンチマークにおいて，Claude Opus 4.6やQwen3-Coder-30Bを上回る性能を示した。
- この研究成果は，より小さなオープンウェイトモデルでも，専門的なタスクで最先端モデルと競合できる可能性を示唆する。
グループ反事実説明による手続き的公平性 [cs.LG, cs.AI, cs.CY]目的：機械学習モデルにおける手続き的公平性の実現
- 機械学習の公平性は重要であり，差別をなくし，公正な社会を実現するために不可欠である。
- 従来の公平性研究は結果の公平性に偏り，モデルの予測根拠である手続き的公平性が軽視されてきた。
- グループ間での説明のばらつきを抑制し，モデルの透明性と信頼性を高めることを目指す。
- 提案手法GCIGは，グループ条件付きベースラインを用いて説明の不変性を強制する正則化フレームワークである。
- GCIGは，既存の公平性指標と比較して，グループ間の説明の差異を大幅に削減することを示した。
- モデルの推論をグループ間で整合させることで，結果の公平性だけでは達成できない公平性の向上に貢献する。
注意が集まり，MLPが構成する：VideoViTにおける行動と結果の関係性の因果分析 [cs.LG, cs.AI, cs.CV]目的：ビデオモデルにおける行動の結果表現のメカニズム解明
- AIの信頼性向上には，モデル内部の処理過程の理解が不可欠である。
- モデルが最終的な出力に影響を与えない隠れた意味情報をどのように表現しているかが課題である。
- ビデオモデルにおける行動の結果表現回路の役割を明らかにすること。
- Attentionヘッドが低レベル情報を集約し，MLPブロックが概念を構成する分担構造が明らかになった。
- 成功/失敗の信号は，層5から11にかけて段階的に増幅されることが示された。
- この分散冗長な回路は，単純なアブレーションに対するロバスト性を示す。
博物館ビデオのためのカタログに基づくマルチモーダルアトリビューション：リソースと規制の制約下 [cs.MM, cs.CV, cs.LG]目的：博物館ビデオのカタログスタイルメタデータキュレーションの自動化
- 博物館の視覚資料は増加の一途をたどっており，その有効活用が重要である。
- 既存のアーカイブ作業は手作業に依存しており，時間と労力がかかる。
- リソースや規制の制約下で，視覚資料の検索性を向上させる。
- 提案手法は，ビデオ内の美術作品の要約，カタログスタイルの説明とジャンルラベルの生成，そしてカタログとの類似性に基づくタイトルと作者の特定を行う。
- 初期段階の実験では，本フレームワークが視覚資料アーカイブの検索性を向上させることが示された。
- リソース制約，データ主権，そして新たな規制を尊重する，応用志向の機械学習のテンプレートとなりうる。
大規模言語モデルにおける脱獄攻撃の系統的なスケーリング分析 [cs.LG, cs.CR]目的：大規模言語モデルの脱獄攻撃のスケーリング特性の理解
- 大規模言語モデルの安全性確保は，社会への普及において不可欠である。
- 脱獄攻撃に対する脆弱性が残存しており，その規模や効率に関する系統的な理解が不足している。
- 攻撃者のリソースと攻撃成功率の関係を定量化し，効果的な防御策の検討に貢献すること。
- 脱獄攻撃は，攻撃者の計算リソース（FLOPs）に依存して成功率が向上するスケーリング則に従うことが示された。
- プロンプトベースの手法は，最適化ベースの手法と比較して計算効率が高い傾向が確認された。
- 誤情報に関連する有害な目的の方が，他の種類の有害な目的よりも攻撃が容易であることが示された。
アルゴリズム的把握，計算複雑性，および無限Transformerの誘導的バイアス [cs.LG, cond-mat.dis-nn, stat.ML]目的：アルゴリズム的把握の形式的定義と，無限幅Transformerの学習可能な関数に対する計算複雑性の限界
- 深層学習モデルの汎化能力の理解は，AI研究の根幹であり，より信頼性の高いAI開発に不可欠である。
- 深層学習モデルが統計的補間と真のアルゴリズム学習を区別することが困難であり，汎化性能評価が課題となっている。
- Transformerモデルのアルゴリズム学習における限界を明らかにし，より効率的な学習手法の開発に貢献すること。
- アルゴリズム的把握を，問題サイズの任意の拡大に対する誤差制御と最小限のサンプル適応能力として形式的に定義した。
- 無限幅Transformerは，効率的多項式時間ヒューリスティックスキーム(EPTHS)クラス内の低複雑度アルゴリズムに誘導的バイアスを持つことが示された。
- このバイアスにより，Transformerは高複雑度アルゴリズムの把握が制限される一方，探索，コピー，ソートなどの単純なタスクは成功する。
バイオマーカーによる監督学習を用いたハンチントン病の自動音声認識 [cs.LG, cs.CL, cs.SD]目的：ハンチントン病の自動音声認識の精度向上
- 音声認識技術は，コミュニケーション支援や医療診断において重要である。
- ハンチントン病の音声は，発話タイミングの不規則性や構音障害により，既存の音声認識モデルでは認識が困難である。
- バイオマーカーを活用し，ハンチントン病の音声認識における誤りを軽減し，認識精度を向上させる。
- ハンチントン病患者の音声データを用いた実験により，Parakeet-TDTが他のモデルよりも優れた性能を示した。
- バイオマーカーに基づいた適応学習により，単語誤り率を6.99%から4.95%に低減することができた。
- バイオマーカーによる補助的な監督学習は，単に単語誤り率を改善するのではなく，重症度に応じてエラーパターンを変化させた。
PACED：学生モデルの能力限界における知識蒸留 [cs.AI, cs.LG]目的：知識蒸留における効率的な学習範囲の特定
- 大規模言語モデルの知識蒸留は，計算資源を有効活用し，高性能なモデルを軽量化する上で重要である。
- 従来の知識蒸留では，学生モデルがすでに習得済みの問題や，難易度が高すぎる問題に計算資源を浪費する傾向がある。
- 本研究は，学生モデルの能力限界（近接発達領域）に焦点を当て，効率的な知識蒸留を実現することを目的とする。
- 理論的に，知識蒸留における勾配の信号対雑音比が，正答率の極端な場合に消失することが証明された。
- 提案手法Pacedは，この理論的考察に基づき，正答率を重み付けする関数を用いて，近接発達領域に学習を集中させる。
- 実験の結果，Pacedは，従来の知識蒸留手法と比較して，性能向上と忘却の抑制に成功した。
部分的に既知のシステムに対するハイブリッドモデルを用いたベイズ最適化 [cs.LG]目的：部分的に既知のシステムの最適化手法
- 高次元かつ非線形なシステム最適化は計算コストが高く，効率的なアルゴリズムが求められている。
- 標準的なベイズ最適化は，最適な解に収束するために多数の実験を必要とする場合がある。
- 物理モデルの知識とデータ駆動型最適化を組み合わせることで，効率的な最適化を目指す。
- 提案手法は，物理法則に基づく制約をハイブリッドモデルに組み込むことで，標準的なベイズ最適化よりも優れた設計を実現した。
- 蒸留プロセスのシミュレーションにおいて，提案手法は質量保存則に基づいて初期サンプル次第で1回の反復で収束した。
- 一方，標準的なベイズ最適化は，どのシードに対しても25回の反復では収束しなかった。
DNS-GT：DNSクエリからのドメイン名埋め込み学習のためのグラフベースTransformerアプローチ [cs.CR, cs.LG]目的：ドメイン名の埋め込み表現
- ネットワークセキュリティにおいて侵入検知は重要であり，組織のサイバー攻撃防御戦略の中核を担う。
- 従来の機械学習はラベル付きデータの依存度が高く，汎化性能が限定的であるという課題があった。
- DNSクエリ間の文脈情報を考慮することで，より効果的なドメイン名表現を学習し，侵入検知の精度向上を目指す。
- 提案手法DNS-GTは，DNSクエリ系列からドメイン名の埋め込みを学習するTransformerベースのモデルである。
- 自己教師あり学習でDNSアクティビティの一般的な振る舞いを学習した後，特定のタスクでファインチューニングを行う。
- 実世界のDNSデータを用いた評価で，ドメイン名分類とボットネット検知において既存手法を上回る性能を示した。
継続学習のための表現の微調整 [cs.LG, cs.AI]目的：継続学習における表現の微調整手法
- 現実世界は常に変化するため，モデルが新たなデータに適応できる継続学習が重要である。
- 既存のパラメータ効率的な微調整手法は，表現の変化を制御できず，ドメインシフトや破滅的忘却の問題がある。
- 表現空間での微調整により，過去の知識を維持しつつ，新しいタスクへの適応を可能にすることを目指す。
- 本研究では，隠れ表現の低ランク線形部分空間内でタスク固有の介入を行うCoReという新しいフレームワークを提案する。
- CoReは，パラメータ効率を維持しつつ，既存の最先端手法と比較して大幅な性能向上を達成した。
- 表現の微調整は，継続学習のための効果的かつ解釈可能な新しいパラダイムとなりうる。
参照に基づく機械アンラーニング [cs.LG]目的：機械アンラーニングにおける忘却と汎化性能のバランス
- 機械学習モデルのプライバシー保護やデータ更新の重要性が増しているため。
- 既存のアンラーニング手法は最適化の不安定さや汎化性能の低下を招く場合がある。
- 忘却データと未見データの分布を近づけることで，安定したアンラーニングを実現する。
- 提案手法ReGUnは，参照データセットを用いてモデルを蒸留することで，既存手法よりも優れた忘却-ユーティリティのトレードオフを実現する。
- 様々なモデルアーキテクチャ，画像データセット，忘却割合において，ReGUnが一貫して良好な性能を示す。
- ReGUnは，分布の indistinguishability を重視したアンラーニングフレームワークである。
非線形マルチアダプターを用いたVision-Languageモデルによる単純な効率的増分学習フレームワーク [cs.CV, cs.AI]目的：増分学習における効率向上
- 機械学習において，継続的な学習能力は重要であり，既存の知識を保持しつつ新たなタスクに対応できる能力が求められる。
- 従来の増分学習法は，学習効率の低さ，過去データの保存に依存する問題，そして強力な基盤モデルの必要性といった課題を抱えている。
- 本研究は，Vision-Languageモデルと非線形アダプターを用いることで，これらの課題を克服し，効率的な増分学習を実現することを目指す。
- SimEは，TinyImageNetにおいて従来の学習手法を9.6%上回り，CIFAR-100においては他のCLIPベース手法を5.3%上回る優れた性能を示した。
- アダプターの接続数とモデルの増分学習能力の間には非線形な相関関係が存在することが明らかになった。Transformerブロック間での接続増加は性能向上に寄与する一方，Transformerブロック内での接続増加は必ずしも性能向上に繋がらない。
- CLIPのゼロショット学習能力を最大限に活用するため，より大規模なデータセット(LAION2B)や強力なアーキテクチャ(ViT-L/14)で学習したCLIPモデルをSimEのエンコーダーに置き換えることを提案する。
LLMベースのコード生成におけるセキュリティ・バイ・デザイン：内部表現を活用した概念駆動型ステアリング機構 [cs.CR, cs.LG]目的：LLMベースのコード生成におけるセキュリティの確保
- ソフトウェア開発におけるLLM利用が増加する中で，セキュリティリスクへの対策が不可欠である。
- 既存手法では，機能性とセキュリティの両立が難しく，実用レベルの性能に達していない。
- LLMの内部表現を分析し，セキュリティ概念に基づいたコード生成を誘導することで，この問題を解決する。
- LLMはコード生成時にセキュリティ脆弱性を認識していることが明らかになった。
- 提案手法SCS-Codeは，LLMの内部表現を操作し，安全で機能的なコード生成を促進する。
- SCS-Codeは既存手法と比較して，複数のセキュアコーディングベンチマークで優れた性能を示した。
多段階サイバー攻撃シナリオにおけるAIエージェントの進捗測定 [cs.HC, cs.CY, cs.AI, cs.LG]目的：AIエージェントのサイバー攻撃能力の評価
- サイバーセキュリティは重要性が増しており，自動化された攻撃・防御手法の開発が求められている。
- AIによるサイバー攻撃の自動化は発展途上であり，その能力の正確な評価方法が確立されていない。
- AIエージェントのサイバー攻撃能力の進捗を定量的に測定し，能力向上を促進する。
- AIモデルの性能は，推論時の計算資源と対数線形にスケールすることが示された。
- 最新モデルは，以前のモデルと比較して，同じ計算資源下で高い性能を発揮する。
- 企業ネットワーク攻撃において，最新モデルは人間の専門家と同等の時間で22/32ステップを完了した。
MDER-DR：エンティティ中心の要約を用いた多段質問応答 [cs.CL, cs.AI, cs.IR]目的：知識グラフに基づく質問応答フレームワークの開発
- 知識グラフは，複雑な関係性を構造化して表現するため，高度な質問応答に不可欠である。
- 知識グラフのテキストをトリプルに変換する際，文脈が失われ，質問応答の精度が低下する問題がある。
- 文脈を保持しつつ，知識グラフから効率的に情報を取得することで，多段質問応答の性能向上を目指す。
- 提案手法MDER-DRは，既存のRAGベースラインと比較して，標準およびドメイン固有のベンチマークで大幅な改善（最大66%）を達成した。
- MDERは，文脈由来のトリプル記述とエンティティレベルの要約を統合することで，グラフの明示的なトラバーサルを回避し，効率的な情報取得を実現する。
- DRは，ユーザクエリを解決可能なトリプルに分解し，反復的な推論を通じて知識グラフに結び付けることで，質問応答のロバスト性を高める。
大規模言語モデルにおけるマルコフ連鎖による生成 [cs.CL, cs.AI, cs.LG]目的：大規模言語モデルの反復処理によるテキストの変化
- 言語モデルの活用が広がる中で，その挙動の理解は不可欠である。
- 言語モデルの反復処理におけるテキストの変化に関する研究は不足している。
- 言語モデルの反復処理におけるテキストの収束性や多様性のメカニズムを解明する。
- 反復処理は，テキストを限られたパターンに収束させるか，または新しい文を生成し続けるかのいずれかである。
- 温度パラメータや初期入力文によって，文の多様性が増減することが示された。
- 本研究は，反復的な言語モデル推論のダイナミクスに関する知見を提供する。
日常生活における高齢者の気分モニタリングと予測 [cs.LG, eess.SP]目的：高齢者の日常生活における気分の状態のモニタリングと予測
- 高齢化社会において，高齢者の精神的健康の維持・向上は重要な課題である。
- 客観的な気分の測定が難しく，高齢者自身の自己申告に依存しがちである。
- ウェアラブルデバイスを用いて，客観的に高齢者の気分を推定し，早期発見に貢献する。
- ウェアラブルデバイスとEMAを組み合わせることで，気分の状態をモニタリングできるシステムを開発した。
- 機械学習を用いて，ウェアラブルデバイスのデータから気分の状態を予測することが可能となった。
- 幸福感や活動性の検出において，既存技術と同等の精度を達成した。
セマンティックルーティングに基づくLoRAによる可逆的な継続学習モデル編集 [cs.HC, cs.AI]目的：大規模言語モデルにおける継続的なモデル編集手法
- 現実世界の動的な変化に対応するため，大規模言語モデルの編集が重要である。
- 既存手法では，セマンティックドリフトや知識の忘却が課題となっている。
- セマンティックルーティングにより，編集の正確性，効率性，可逆性を実現する。
- 提案手法SoLAは，各編集を独立したLoRAモジュールとしてカプセル化し，セマンティックルーティングで動的に活性化する。
- これにより，セマンティックドリフトや破滅的忘却を防ぎ，特定の編集を精密に撤回できる。
- 実験結果から，SoLAが編集された知識を効果的に学習・保持し，可逆的な継続学習モデル編集を実現することが示された。
エージェントタスクにおけるユーザーシミュレーションのSim2Realギャップに注意を払う [cs.AI]目的：ユーザーシミュレーションの現実との乖離の定量化
- 自然言語処理の評価は，静的なベンチマークから多段階のインタラクティブな設定へと移行している。
- LLMベースのシミュレーターは現実の人間行動を忠実に再現していると仮定されがちである。
- LLMシミュレーターと現実の人間のインタラクティブな行動との類似性を評価する指標を開発し，検証する。
- LLMシミュレーターは，過度に協力的で，スタイルが均一であり，現実的な欲求不満や曖昧さが欠如している。
- シミュレーションはエージェントの成功率を過大評価し，ルールベースの報酬は人間のフィードバックを捉えきれていない。
- モデルの一般的な能力が高いからといって，必ずしも現実のユーザーシミュレーションを忠実に再現できるとは限らない。
機械学習のための微分可能な熱力学的相平衡 [cs.LG]目的：相平衡計算における物理的整合性と学習性能の向上
- 化学工学において，物質分離などのプロセス設計に不可欠な基礎である。
- 既存手法では，極値原理に基づく相平衡の計算が難しく，精度向上の余地がある。
- 熱力学的一貫性を保ちつつ，ニューラルネットワークによる効率的な相平衡計算を実現する。
- DISCOMAXアルゴリズムを開発し，熱力学的な整合性を保証した相平衡計算を可能にした。
- 二成分液体-液体平衡データに対する実験では，既存の代替法よりも高い性能を示した。
- 様々な平衡データからの学習を可能にする汎用的なフレームワークを提供する。