arXiv雑要約
AI - 2026/02/02 公開
ブロックの打破：統一されたLLM量子化と適応のための連続低ランク分解スケーリング [cs.LG, cs.AI]目的：LLMの量子化と適応のための新しいスケーリング手法
- 大規模言語モデル（LLM）の効率的な利用は，計算資源の制約から重要な課題となっている。
- 既存の量子化手法はブロック構造に依存し，表現力に制約が生じやすい。
- 低ランク分解による連続的なスケーリングを通じて，表現力と効率性を両立することを目指す。
- 提案手法LoRDSは，ブロック構造の制約を打破し，量子化粒度を再考する統一的なフレームワークを提供する。
- Llama3-8Bにおいて，3ビット量子化でNormalFloat量子化に対し最大27.0%の精度向上を達成した。
- NVIDIA RTX 4090上での推論速度を1.5倍に向上させ，QLoRAと比較してPEFT性能を9.6%向上させた。
一歩後退：Prefix Importance Ratio が方策最適化を安定化させる [cs.AI, cs.LG]目的：大規模言語モデルにおける方策最適化の安定化
- 大規模言語モデルの推論能力向上には，強化学習を用いた後学習が有効であり，その重要性が増している。
- オフポリシーでのロールアウト生成が計算効率に貢献する一方，サンプリング方策とターゲット方策の乖離が不安定性を招く。
- Prefix Importance Ratio を用いることで，オフポリシー学習における不安定性を抑制し，安定した方策最適化を目指す。
- 本研究では，トークンレベルの重要度サンプリング比率が，オフポリシー度が大きい場合に訓練の不安定性を引き起こすことを指摘した。
- 理論的に妥当なPrefix Importance Ratio に基づく MinPRO という新しい目的関数を提案し，オフポリシー学習における安定性を向上させた。
- 複数の数学的推論ベンチマークにおいて，MinPRO が訓練の安定性とピークパフォーマンスを大幅に改善することを示した。
AEGIS：LLMと訓練効果評価を用いたホワイトボックス攻撃経路生成システム - 大規模サイバー防御演習への応用 [cs.CR, cs.AI]目的：サイバー防御演習のための攻撃経路の生成
- サイバー攻撃は高度化・多様化しており，現実的な訓練環境の構築が不可欠である。
- 従来の攻撃経路自動生成は，事前に脆弱性グラフやエクスプロイトセットが必要であり，適用範囲が限られていた。
- LLMを活用し，事前知識なしに動的に攻撃経路を発見・検証することで，演習シナリオ作成の効率化を目指す。
- AEGISは，LLMとホワイトボックスアクセス，モンテカルロ木探索により，攻撃経路を生成する。
- CIDeX 2025での評価において，AEGISが生成した攻撃経路は，人間の作成したシナリオと同等の訓練効果を持つことが示された。
- AEGISの導入により，シナリオ開発期間を数ヶ月から数日に短縮し，専門家の負担を軽減できる。
表現の局所的な固有次元がAIモデルとヒト脳におけるアラインメントと汎化を予測する [cs.LG]目的：AIモデルとヒト脳における表現のアラインメントと汎化の予測
- AIモデルの性能向上には，汎化能力が不可欠であり，そのメカニズム解明が重要である。
- 異なるアーキテクチャや学習方法のモデル間，モデルと脳間の表現アラインメントの程度は不十分である。
- 表現の幾何学的性質に着目し，アラインメントと汎化を説明する要因を特定すること。
- 汎化性能，モデル間のアラインメント，モデルと脳のアラインメントは有意に相関関係にあることが示された。
- 表現の局所的な固有次元が，これらの関係性を説明する重要な幾何学的特性であることが明らかになった。
- モデルの規模拡大や学習データ増加は局所的な固有次元を減少させ，汎化性能向上に繋がることが示唆された。
OpenVTON-Bench: 制御可能なバーチャル試着評価のための大規模高解像度ベンチマーク [cs.CV, cs.AI]目的：バーチャル試着システムの評価のための大規模ベンチマークデータセット
- バーチャル試着技術は，Eコマースやファッション業界において顧客体験を向上させる上で重要である。
- 既存の評価指標は，微細なテクスチャや意味的一貫性を定量化する能力が不十分である。
- 大規模かつ多様なデータセットを用いて，バーチャル試着システムの評価精度を向上させることを目指す。
- OpenVTON-Benchは，約10万組の高解像度画像ペアを含む大規模なベンチマークデータセットである。
- 提案された多次元評価プロトコルは，背景の一貫性，ID忠実度，テクスチャ忠実度などの5つの側面からVTONの品質を評価する。
- 実験結果は，人間の判断と高い一致性を示し，VTON評価のための信頼性の高いベンチマークであることを示唆する。
ImgCoT: 大規模言語モデルの効率的な推論のためのコンパクトな視覚トークンへの長鎖思考の圧縮 [cs.CV, cs.AI]目的：大規模言語モデルにおける効率的な推論
- 大規模言語モデルの性能向上には，より複雑な推論能力が不可欠である。
- 長鎖思考(CoT)の長さに起因する計算コストが課題となっている。
- CoTをコンパクトに表現し，推論効率を向上させることを目指す。
- テキストCoTを再構成するのではなく，CoTを画像に変換し，視覚的CoTをターゲットとすることで，言語的バイアスを空間的バイアスに置き換えた。
- 視覚的潜在トークンは，推論のグローバルな構造をより良く捉えることを可能にする。
- 視覚的潜在トークンに少数の重要なテキスト推論ステップを付加する「緩いImgCoT」は，CoT全体よりも少ないトークン数で，推論の全体構造と詳細を維持する。
因果的意思決定におけるエピステミック不確実性の分解 [cs.CL, cs.LG, cs.AI]目的：因果的意思決定におけるエピステミック不確実性の分解
- 観察データからの因果推論は，高価なランダム化試験なしに意思決定において最適な行動を示す強力な証拠となる。
- 観測されない交絡因子が存在する場合，因果効果は特定が困難であり，既存手法では過学習や過信が生じやすい。
- サンプル数の増加で削減可能な不確実性と，変数の追加でのみ削減可能な不確実性を区別し，最適な行動の特定を支援する。
- 提案手法では，経験的観測分布の信頼区間を考慮し，その範囲内の全ての分布に対する因果効果の範囲の交差を求める。
- これにより，サンプル不確実性と非識別不確実性を区別し，サンプル数を増やすことが最適な行動の決定に役立つかどうかを判断できる。
- 合成データおよび実データを用いた実験により，提案手法がサンプル数の増加が無効な場合に判断できることが示された。
美と野獣：拡散ベースの顔入れ替えに対する方向性属性編集による知覚できない摂動 [cs.CL, cs.CV, cs.CR, cs.LG]目的：拡散ベースの顔入れ替えに対する防御効果と知覚不能性の両立
- 顔画像処理技術の高度化に伴い，悪意のある顔入れ替えによる肖像権侵害や名誉毀損のリスクが増大している。
- 既存の防御手法は，大きな摂動が顔構造を歪ませ，小さな摂動では防御効果が弱まるというトレードオフに直面している。
- 知覚できない摂動によって顔入れ替え攻撃に対する防御効果を高め，視覚的な歪みを最小限に抑えること。
- 提案手法FaceDefenseは，拡散損失と方向性属性編集を導入することで，既存手法よりも優れた知覚不能性と防御効果を両立している。
- 二段階の交互最適化戦略により，最終的な摂動画像を生成し，防御効果を高めている。
- 広範な実験により，FaceDefenseが既存手法を凌駕することが示された。
ソフトマックス損失は全てか？ ソフトマックス系損失の原理的分析 [cs.LG]目的：ソフトマックス系損失の整合性，収束性，および実証的性能の分析
- 分類・ランキング問題において，ソフトマックス損失は広く利用されている。その理論的性質の解明は重要である。
- クラス数が非常に多い場合，計算効率が課題となる。近似手法が提案されているが，その理論的保証は不足している。
- ソフトマックス系損失の理論的基盤を確立し，大規模分類問題における損失関数の選択に役立つ指針を提供する。
- ソフトマックス系損失は，分類・ランキング指標との整合性を示すことが確認された。
- 損失関数の勾配ダイナミクス分析により，収束性の違いが明らかになった。
- 近似手法に対する系統的なバイアス・バリアンス分解により，収束性の保証と計算複雑性に関する分析が得られた。
都市MoE：多タスク都市地域プロファイリングのための疎なマルチモーダル混合エキスパートフレームワーク [cs.ET, cs.AI]目的：多タスク都市地域プロファイリングのベンチマークと，それに対応するフレームワーク
- 都市計画や資源配分において，地理的領域の特性把握は不可欠である。
- 既存手法は単一タスクに限定され，都市環境の多面的な関連性を捉えられていない。
- 多タスクに対応する標準的なベンチマークとフレームワークを確立し，都市分析の進展を目指す。
- 本研究で構築したベンチマークを用いて，提案手法UrbanMoEが既存手法を上回る性能を示すことが確認された。
- 疎な混合エキスパートアーキテクチャにより，マルチモーダルな特徴量を効率的に活用し，多様な都市指標を同時予測することが可能となった。
- 詳細な分析の結果，UrbanMoEは都市分析における有効性と効率性が実証され，新たな最先端技術としての地位を確立した。
物理情報に基づくムンツ・サシャスネットワークによるスケーリング指数探索 [cs.LG, cs.NA, math.NA]目的：スケーリング指数の発見
- 特異点や臨界点近傍の物理現象はべき乗則に従うため，その指数を正確に把握することが重要である。
- 従来のニューラルネットワークでは，支配的な指数が暗黙的にしか扱われず，解釈性に課題があった。
- 本研究は，スケーリング指数を学習可能なパラメータとして明示的に扱うことで，この課題を解決する。
- 物理情報に基づくムンツ・サシャスネットワーク（MSN-PINN）は，スケーリング指数を高い精度で復元できることが示された。
- MSN-PINNは，ノイズや疎なサンプリング下でも1〜5%の誤差で単一の指数を復元し，2次元ラプラス方程式のコーナー特異指数を0.009%の誤差で再現した。
- 制約を考慮した学習により，精度が3桁向上し，物理的要件との整合性が確保された。
OSNIP：大規模言語モデル推論におけるプライバシー・ユーティリティ・効率のトレードオフを打破する隠蔽された意味的零空間 [cs.LG]目的：大規模言語モデル推論におけるプライバシー保護
- 大規模言語モデルの利用拡大に伴い，個人情報保護の重要性が高まっている。
- 既存手法では，プライバシー保護とモデルの性能維持を両立することが困難である。
- 意味的零空間を利用し，プライバシーを保護しつつ，モデルのユーティリティを維持すること。
- OSNIPは，クライアント側で軽量な暗号化を実現し，プライバシー保護された推論を可能にする。
- 攻撃成功率を大幅に低下させつつ，厳しいセキュリティ制約下でも高いモデルの有用性を維持する。
- 各ユーザーに固有の摂動軌跡を合成するキー依存確率的マッピングを導入することで，プライバシーを強化する。
視覚言語モデルを用いた産業トラブルシューティングガイドからの手順知識抽出 [cs.CV, cs.AI]目的：産業トラブルシューティングガイドからの手順知識の抽出と構造化
- 産業現場では，設備の故障診断と解決が重要であり，熟練技術者の知識伝承が課題。
- トラブルシューティングガイドからの知識抽出は手作業では非効率で，誤りも起こりやすい。
- 視覚言語モデルを活用し，トラブルシューティングガイドからの知識抽出を自動化する。
- 視覚言語モデルの性能評価を行った結果，モデルによってレイアウトへの感度と意味的堅牢性のトレードオフがあることが判明した。
- 標準的な指示提示と，トラブルシューティングのレイアウトパターンを意識させる拡張的な提示戦略を比較した。
- この結果は，現場での実用的な展開判断に役立つ情報を提供する。
埋め込み次元と分布収束からの汎化理解 [cs.LG]目的：学習済みモデルにおける予測性能を制御する埋め込みの幾何学
- 深層学習は高い汎化性能を示すため，従来のパラメータ数に基づく分析では説明が困難である。
- 埋め込み空間の次元数や分布が汎化性能に与える影響は十分に解明されていない。
- 埋め込み次元と分布収束に基づく汎化性能の理論的限界を確立することを目指す。
- 汎化誤差の上界が，埋め込み分布の固有次元と埋め込みから予測へのマッピングの感度によって決定されることが示された。
- 最終層において，アーキテクチャの感度は消失し，汎化性能との強い相関がある埋め込み次元が支配的であることが明らかになった。
- 様々なアーキテクチャとデータセットを用いた実験により，理論の妥当性と埋め込みに基づく診断の有用性が検証された。
分子言語モデルにおけるスケーリング振る舞いの解明：モデルサイズ，データ，表現の影響 [cs.LG, q-bio.BM]目的：分子言語モデルのスケーリング挙動の解析
- 創薬や材料開発において，分子構造の生成が重要視される。
- 大規模モデルの学習には計算資源が必要であり，効率的な資源配分が課題。
- モデルサイズ，データ量，分子表現が性能に及ぼす影響を定量的に明らかにすること。
- 事前学習とダウンストリームタスクの両方において，分子モデルの明確なスケーリング則が確認された。
- 分子表現が性能に大きく影響することが示され，過去の矛盾する結果の説明に貢献した。
- 本研究で学習したモデル群は，今後の研究開発を促進するために公開されている。
AutoRefine：継続的なLLMエージェント改善のための軌跡からの再利用可能な専門知識 [cs.AI]目的：LLMエージェントの継続的な改善のための経験パターン抽出と維持
- LLMエージェントの性能向上は，現実世界の問題解決において不可欠である。
- 既存手法では，複雑なタスクの処理手順を十分に捉えられていない。
- 経験からの知識蓄積と，その知識の長期的な維持を実現する。
- AutoRefineは，エージェントの実行履歴から手順型と静的な2種類の経験パターンを抽出・維持する。
- ALFWorld，ScienceWorld，TravelPlannerの評価で，高い成功率とステップ数の削減を達成した。
- TravelPlannerにおいては，手動設計システムを上回る性能を示し，手順型協調の自動抽出能力を証明した。
LLM設計GUIの質的評価 [cs.HC, cs.AI, cs.SE]目的：LLM設計GUIのユーザビリティと適応性
- 生成AIの進化に伴い，GUI設計の自動化が期待される分野である。
- LLMが生成するGUIは，アクセシビリティやインタラクティブ性に課題が残る。
- 多様なユーザニーズに応えるGUIの生成におけるLLMの限界を明らかにする。
- LLMは構造化されたレイアウトの作成には有効であるが，アクセシビリティ基準を満たすことが難しい。
- LLMは異なるユーザペルソナに対応したGUIを部分的に調整できるものの，文脈理解が不十分である。
- LLMはUIプロトタイピングの初期段階で有望なツールとなりうるが，ユーザビリティ向上のためには人間の介入が不可欠である。
AscendCraft：DSL誘導トランスコンパイルによる自動Ascend NPUカーネル生成 [cs.DC, cs.LG, cs.PF, cs.SE]目的：自動Ascend NPUカーネル生成手法
- 深層学習モデルの性能は効率的なカーネル実装に依存するが，開発には専門知識と時間がかかる。
- NPU向けカーネル生成は，GPUと比較してドメイン固有のプログラミングモデルや情報不足から進んでいない。
- DSL誘導トランスコンパイルにより，LLMによる高性能なNPUカーネル生成を可能にすること。
- AscendCraftは，Ascend固有の実行セマンティクスを明示的にモデル化する軽量DSLを導入した。
- MultiKernelBenchにおける評価で，98.1%のコンパイル成功率と90.4%の機能的正確性を達成した。
- 生成されたカーネルの46.2%がPyTorchのeager実行性能を上回り，新アーキテクチャmHCでも良好な性能を示した。
事前学習済みLLMはどこまでできるか：記号音楽における教師あり学習と嗜好に基づく適応の比較 [cs.SD, cs.AI]目的：記号音楽の理解と生成に関する事前学習済み大規模言語モデル（LLM）の適応戦略の比較
- 音楽と言語には類似点が多く，LLMの応用が期待される。音楽情報処理の発展に貢献しうる。
- LLMを記号音楽に適用する際の効果的な適応方法が十分に解明されていない。最適な学習戦略が不明確である。
- 記号音楽へのLLM適応におけるドメイン適応と事前知識の保持のトレードオフを明らかにすること。
- ABC形式の音楽生成と理解に関する実験から，ドメイン適応がLLMの性能向上に寄与することが示された。
- 事前学習済みのLLMは，ドメイン適応によって音楽固有の知識を獲得し，専門的なモデルに匹敵する性能を示す可能性がある。
- 記号音楽のドメイン適応を評価するための指標の挙動は，従来の指標とは異なる特徴を示すことが確認された。
疎な注意機構とコンパクトカーネル回帰 [cs.LG]目的：疎な注意機構とコンパクトカーネルの対応関係
- Transformerは自然言語処理の性能向上に大きく貢献しており，その中核をなす注意機構の理解は重要である。
- 疎な注意機構の理論的解釈が課題であり，カーネル理論との関連性は未解明であった。
- 疎な注意機構をカーネル回帰の観点から解釈し，その設計原理を明確にすることを目的とする。
- 疎な注意機構は，Epanechnikovカーネル回帰と密接な関係があることが示された。
- α-entmax注意機構が，Epanechnikov，biweight，triweightといったカーネルに対応することが明らかになった。
- カーネル回帰に基づくTransformer（Memory Mosaics）は，言語モデリング等において競争力のある性能を発揮した。
抽象的順守を超えて：AIにおける信頼を道徳的関係として運用する [cs.CY, cs.AI]目的：AIにおける信頼の新たな原則
- AI技術の社会実装が進む中で，信頼関係の構築は不可欠である。
- 既存のAI信頼性フレームワークは，信頼を客観的指標で評価しがちである。
- 信頼を関係性として捉え，包括的なプロセスと長期的な関係構築を目指す。
- 本研究では，関係倫理，特にアフリカ共同体主義哲学に基づき，AI信頼の原則を拡張する。
- 医療と教育の事例を通して，信頼を醸成するための具体的な運用方法を示す。
- AI開発ライフサイクル全体でコミュニティを巻き込むことが，公平で文脈に即したAIシステムに繋がる。
TSPO：多段階検索ポリシー最適化における二重均質化のジレンマを打破 [cs.AI]目的：多段階ツール統合推論における検索ポリシー最適化
- LLMの複雑なタスク解決能力向上には，反復的な情報検索が不可欠である。
- 既存の強化学習フレームワークは疎な報酬に依存し，過程の無視やグループ内優位性推定の非効率化を招く。
- 過程レベルの信号を保持し，グループ内報酬分散を増加させることで，最適化を改善する。
- 提案手法TSPOは，既存の最先端手法と比較して，Qwen2.5-3Bモデルで平均24%の性能向上を達成した。
- TSPOはまた，Qwen2.5-7Bモデルにおいても平均13.6%の性能向上を示した。
- TSPOは，外部報酬モデルや注釈を必要とせずに，効率的な最適化を実現する。
課題を用いた学習：モバイルGUIエージェント訓練のための適応的難易度を意識したデータ生成 [cs.AI]目的：モバイルGUIエージェント訓練のためのデータ生成手法
- モバイルGUIエージェントの性能向上には，大規模かつ高品質なインタラクションデータの存在が不可欠である。
- 既存手法は，難易度制御が不十分であり，エージェントの能力とのミスマッチが学習効果を阻害する。
- エージェントの能力水準に合わせた難易度のデータ生成により，効率的な学習を可能にすること。
- MobileGenは，タスクの構造的・意味的難易度を分離し，エージェントの能力範囲を評価することで，難易度分布を適応的に調整する。
- 実験の結果，MobileGenは既存手法を上回り，複数のベンチマークにおいてGUIエージェントの平均性能を1.57倍向上させた。
- この結果は，能力に合わせたデータ生成が，効果的なモバイルGUIエージェント訓練に重要であることを示している。
野生生物観察検索のためのコンパクトな超立方体埋め込み [cs.IR, cs.CV, cs.LG, cs.MM, cs.SD]目的：野生生物観察のテキストベース検索の高速化
- 生物多様性モニタリングは重要であり，大規模なデータ処理が求められる。
- 大規模データにおける類似性検索の計算コストが課題となっている。
- テキスト検索による効率的な野生生物観察の検索方法を確立する。
- 超立方体埋め込みを用いた検索は，連続埋め込みと同等かそれ以上の性能を示す。
- メモリ使用量と検索コストを大幅に削減できることが示された。
- ハッシュ目的が基盤となるエンコーダ表現を改善し，汎化性能を高める。
LLMにおけるIITに着想を得た意識：報酬に基づく学習フレームワーク [cs.AI]目的：大規模言語モデルにおける意識様処理の実現可能性の探求
- 汎用人工知能(AGI)の実現には，意識のような情報処理能力が不可欠と考えられている。
- 現在の言語モデルは意識を持たないが，意識の一側面と類似した行動を示すのみである。
- 統合情報理論(IIT)に基づく報酬関数を用いて，言語モデルの因果性，コヒーレンス，統合性を向上させる。
- IITに着想を得た報酬関数による最適化により，より簡潔なテキスト生成が可能となった。
- ドメイン外タスクにおいては，出力長を最大31%削減しつつ，ベースモデルと同等の精度を維持した。
- 本フレームワークは，概念的に単純かつ計算効率が高く，外部データや補助モデルを必要としない。
Float8@2bits：エントロピー符号化によるデータフリーなモデル圧縮 [cs.LG]目的：データフリーなモデル圧縮手法の開発
- 大規模言語モデルの利用拡大に伴い，モデルサイズの削減が重要課題となっている。
- 既存手法では，圧縮率と性能維持のトレードオフが存在し，極端な低ビット化で性能が低下する。
- データ依存型手法の性能を維持しつつ，データフリー手法の高速性と汎用性を実現する。
- EntQuantは，エントロピー符号化により数値精度とストレージコストを分離し，700億パラメータモデルを30分以内に圧縮可能にした。
- 標準的な評価セットやモデルにおいて，最先端の結果を達成するとともに，指示調整済みモデルでも高い性能を維持した。
- 推論時のオーバーヘッドはわずかであり，実用的な圧縮技術として貢献する。
大規模推論モデルに対する条件付き性能保証 [cs.HC, cs.AI, math.ST, stat.TH]目的：大規模推論モデルの効率的な推論における統計的保証
- 大規模言語モデルの性能向上は重要だが，計算コストが課題となっている。
- 従来のPAC推論は周辺的な保証しか提供できず，厳密な条件付きカバレッジは得られない。
- 入力空間を分割することで，グループレベルでのPAC保証を提供する枠組みを構築する。
- 提案手法G-PACとC-PACは，グループ条件付きリスク制御を達成できることが証明された。
- グループ化により，異質な設定において周辺PAC推論よりも効率が厳密に向上する。
- 実験結果から，G-PACとC-PACはリスク制御と計算コスト削減を両立することが示された。
Trackly：ユーザー行動分析とリアルタイム異常検知を統合したSaaSプラットフォーム [cs.CR, cs.LG]目的：ユーザー行動分析とリアルタイム異常検知の統合プラットフォーム
- デジタル体験向上，ビジネス転換率最適化，不正行為対策にユーザー行動の理解が不可欠である。
- 既存のプラットフォームは分析とセキュリティが分断され，可視性の低下と脅威検知の遅延が生じていた。
- ユーザー行動分析と異常検知を統合し，迅速かつ透明性の高い意思決定を可能にすることを目指す。
- Tracklyは，セッション，IP位置情報，デバイスフィンガープリント，イベント等の詳細なユーザー行動を追跡する。
- 設定可能なルールとリスクスコアリングにより，不正なログインやボット行為等の異常な活動を検知する。
- 合成データセットでの検証で，98.1%の精度，97.7%の適合率，2.25%の誤検知率を達成し，中小企業やECサイトへの有効性が示された。
大規模言語モデルのためのクリッピングフリーな方策最適化 [cs.LG]目的：大規模言語モデルのポストトレーニングにおける方策最適化
- 大規模言語モデルの性能向上には，強化学習が不可欠であり，その重要性は高まっている。
- 従来のアルゴリズムはクリッピング機構に依存し，大規模化に伴い勾配消失や報酬ハッキング等の問題が生じる。
- クリッピング機構に代わる，安定した方策更新を可能とする新しい最適化手法を提案し，問題を解決する。
- 提案手法CFPOは，クリッピングを用いる手法と同等の性能を，推論タスクにおいて実現した。
- アラインメントにおいては，冗長性の悪用を抑制し，能力劣化を軽減するとともに，指示応答性能を維持した。
- CFPOは実装が容易であり，追加のハイパーパラメータは不要である。
難易度を考慮した強化学習による効率的なコード検証器 [cs.AI, cs.SE]目的：LLMによるコード生成後のコード検証の効率化
- LLMのコード生成の信頼性向上のためには，コード検証が不可欠である。
- 既存の教師あり学習は，データ不足，高い失敗率，低い推論効率が課題である。
- 難易度を考慮した報酬設計により，難しい分岐やサンプルに対する効果的なテスト生成を目指す。
- CVeDRLは，0.6Bパラメータで最先端の性能を達成し，GPT-3.5と比較して最大28.97%高い合格率と15.08%高い分岐網羅率を実現した。
- 競合するベースラインと比較して，20倍以上の高速な推論が可能である。
- 構文と機能に基づいた報酬と，分岐・サンプル難易度を考慮した強化学習によって，検証の信頼性が向上した。
SOMBRERO：エンドツーエンド階層型シーケンスモデルにおける境界配置の測定と制御 [cs.LG, cs.AI, cs.CL]目的：階層型シーケンスモデルにおける境界配置の品質評価と制御
- 長文の効率的な自己回帰モデリングのため，学習されたセグメンテーションが重要である。
- 境界配置の品質を定量的に評価し，計算資源の割り当てを制御することが困難である。
- 予測困難な箇所に計算資源を集中させる境界配置の最適化。
- 境界エンリッチメントBという境界品質の指標を導入し，境界配置の品質を定量的に評価することを可能にした。
- Sombreroは，予測困難度への境界配置を導くことで，精度と効率性のトレードオフを改善した。
- 英語，ドイツ語のテキスト，コード，数学コンテンツを含むUTF-8コーパスで，境界配置の一貫性を高めた。
属性グラフにおける見えない要素の整合性：グラフ幾何学とノード属性多様体の相互作用 [cs.AI, math.DG]目的：属性グラフにおける表現学習の幾何学的欠陥の克服
- グラフ構造とノード属性を同時に学習する表現学習は，様々な応用分野で重要である。
- 従来の表現学習は，異なる計量空間を無理に統合し，情報損失を引き起こす。
- 本研究は，多様体学習と構造的整合性を分離することで，この情報損失を回復することを目指す。
- 提案手法は，属性多様体をグラフのHeat Kernelにマッピングする際の計量歪みを定量化し，構造記述子として活用する。
- 実験結果から，提案手法は従来の表現学習では検出できない接続パターンや異常を明らかにする。
- これにより，従来の理論的および実用的な限界が明らかになった。
Quartet II：改善された不偏勾配推定によるNVFP4での高精度LLM事前学習 [cs.HC, cs.LG]目的：NVFP4におけるLLM事前学習の精度向上
- 大規模言語モデルの発展は，計算資源の効率的な利用が不可欠である。
- 低精度化による計算効率向上は，精度低下を招く可能性がある。
- NVFP4における勾配推定の精度向上により，精度低下を抑制する。
- 提案手法MS-EDENは，従来のSRと比較して2倍以上の低い量子化誤差を実現した。
- Quartet IIは，主要な行列乗算において，より一貫して優れた勾配推定を達成する。
- 最大1.9BパラメータのLLM学習において，BF16と比較して最大4.2倍の高速化を達成した。
混合型特徴を持つ異種表形式データのためのカスケードフローマッチング [cs.LG, stat.ML]目的：異種表形式データにおける混合型特徴の生成
- 表形式データの生成モデルは，プライバシー保護やデータ拡張など，多様な応用が期待されている
- 離散値と連続値を組み合わせた混合型特徴の生成は，既存手法では困難であった
- 低解像度表現を介して高解像度モデルを誘導することで，混合型特徴のより忠実な生成を目指す
- 提案手法は，輸送コストの理論的な上限を厳しくする理論的保証を持つ
- 生成されたサンプルは，より現実的であり，分布の詳細をより正確に捉えることが示された
- 検出スコアが40%向上し，モデルの性能向上が確認された
埋め込み空間での隠れんぼ：大規模言語モデルにおける幾何学に基づくステガノグラフィーと検出 [cs.CR, cs.AI]目的：大規模言語モデルにおけるステガノグラフィーと検出手法の研究
- 言語モデルの安全性確保は重要であり，悪意のある改ざんや秘密情報の隠蔽に対する対策が求められる。
- 既存のステガノグラフィー手法は，容易に秘密情報を復元可能であるという問題があった。
- 秘密情報の復元率を低下させつつ，ステガノグラフィーの有効性を維持することを目指す。
- 低復元率ステガノグラフィーを用いることで，秘密情報の正確な復元率を向上させることが示された（Llama-8Bで+78%, Ministral-8Bで+80%, Llama-70Bで+123%）。
- 従来のステガノグラフィー検出手法は，ファインチューニングによる分布の変化と区別できないため，効果が限定的である。
- 後続層の活性化に基づく線形プローブを用いることで，ファインチューニングされたモデルにおいて秘密情報を高精度に検出できることが示された。
新規患者向け不確実性フィルタリングを用いたメタ学習による個別化薬剤推薦 [cs.LG, cs.AI]目的：新規患者における薬剤推薦の精度向上
- 電子カルテは臨床判断を支援する重要なデータ源であり，治療法の改善に貢献する。
- 新規患者の処方履歴が少ない場合，適切な薬剤推薦が困難となることが多い。
- 患者の特性に適応した，新規患者向けの薬剤推薦手法を開発する。
- 提案手法MetaDrugは，既存の薬剤推薦手法と比較して，新規患者に対する推薦精度において優れた性能を示す。
- MetaDrugは，自己適応とピア適応という二段階のメタ適応メカニズムにより，患者固有の医療イベントと類似患者の情報を取り込み，表現を豊かにする。
- 不確実性定量化モジュールにより，適応に使用する医療イベントの重要度を評価し，ノイズを除去することで，適応の整合性を高める。
ロバストなスタイルアラインメントによる高品質行動のオフライン強化学習 [cs.LG, cs.AI, cs.RO]目的：スタイル条件付きの方策のオフライン強化学習
- 強化学習は，自律的な意思決定を行う上で重要な技術である。
- オフライン強化学習では，分布シフトや報酬とスタイルの競合が課題となる。
- 報酬とスタイルアラインメントを両立した効率的な学習手法を確立すること。
- 提案手法であるSCIQLは，既存のオフライン強化学習手法と比較して，両方の目的において優れた性能を示す。
- SCIQLは，ゴール条件付き強化学習と新しいGated Advantage Weighted Regressionメカニズムを組み合わせることで，高いタスクパフォーマンスとスタイルアラインメントを両立する。
- SCIQLは，行動スタイルの統一的な定義に基づいた実践的なフレームワークを構築している。
分解と合成：単一LoRAにおけるランク1エキスパートプールによる効率的な視覚言語継続学習へ [cs.LG, cs.CV]目的：視覚言語モデルにおけるタスク適応能力向上と破滅的忘却の回避
- 視覚言語モデルは多様なタスクに応用可能だが，継続学習における性能維持が課題である。
- 従来の継続学習手法は計算コストが高いか，外部知識に依存しており，効率性に課題がある。
- LoRAを活用し，少ないパラメータ更新で破滅的忘却を抑制する手法を開発すること。
- 提案手法では，単一LoRAモジュールを分解可能なランク1エキスパートプールとして再構成する。
- [CLS]トークンの意味に基づいて，タスク固有のスパースな更新を動的に構成することで，効率的な学習を実現する。
- 活性化を考慮した直交化損失により，タスク間の干渉を最小限に抑え，最先端の結果を達成した。
Metaにおける即時捕捉テスト生成 [cs.HC, cs.SE, cs.AI]目的：大規模バックエンドシステムにおけるバグの防止
- 大規模システムでは，バグの早期発見がシステム安定性に不可欠である。
- 従来のテストでは，誤検出が多く，開発の遅延を引き起こす可能性がある。
- 誤検出を減らし，バグを効率的に発見するテスト手法の確立。
- コード変更を考慮した手法により，捕捉テスト候補の生成効率が向上した。
- ルールベースおよびLLMベースのアセッサーにより，人的レビュー負荷を70%削減できた。
- 生成された捕捉テストは，深刻な障害を未然に防ぐ効果が確認された。
等方性正則化された潜在空間を用いた，条件なしフローベース時系列生成 [cs.LG]目的：時系列生成のための，等方性を明示的に促す潜在空間の設計
- 時系列データは様々な分野で重要であり，その生成モデルの性能向上が求められている。
- 既存の生成モデルでは，潜在空間の設計が重要だが，時系列データに適した等方性を持つ潜在空間は未開拓である。
- 等方性正則化により，潜在空間の品質を向上させ，生成性能を高めることを目指す。
- 提案手法は，潜在空間に等方性正則化損失を導入し，事前学習済みのオートエンコーダを微調整する。
- 実験の結果，提案手法は，標準的な時系列生成指標において，既存の拡散モデルを上回り，サンプリング速度も大幅に向上した。
- これらの結果は，時系列生成のための潜在生成モデルに幾何学的帰納バイアスを組み込むことの利点を強調している。
階層的シフト混合：Transformer における密な注意層を超える [cs.RO, math.OC, cs.CL, cs.LG]目的：Transformerにおけるトークン混合の新しい枠組み
- Transformerは大規模言語モデルの基盤であり，高性能を実現する上で不可欠である。
- Transformerの注意層は計算量が膨大であり，効率的な計算が課題となっている。
- 計算効率を維持しつつ，Transformerの性能を向上させることを目指す。
- 提案手法HSMは，線形時間複雑度を実現しながら，従来のsoftmax注意層に近い性能を達成する。
- HSMとsoftmax注意層を組み合わせたハイブリッドアーキテクチャは，GPTスタイルのTransformerを上回る性能を示す。
- 学習および推論時の計算コストを削減することが可能となる。
OptiMAG：不均衡最適輸送による構造と意味の整合 [cs.LG]目的：マルチモーダル属性グラフにおける構造と意味の不整合軽減
- 複雑なシステムをモデル化する上で，テキストや画像などの多角的な情報統合が重要である
- 異なるモダリティの埋め込み表現とグラフ構造の間にずれが生じ，ノード表現学習を妨げる
- 最適輸送を用いて構造と意味の整合性を促し，ノード表現の質を向上させる
- OptiMAGは，不均衡最適輸送に基づき，局所的な近傍におけるクロスモーダル構造の一貫性を明示的に誘導する
- KLダイバージェンスペナルティにより，クロスモーダル不整合への適応的な対処を可能にする
- ノード分類やグラフ生成など，多様なタスクにおいて既存手法を上回る性能を示す
押し出しによる形状の構築学習 [cs.GR, cs.AI]目的：形状構築のためのテキスト符号化押し出し表現
- 3Dモデリングは，様々な分野で不可欠であり，効率的な手法が求められている。
- 従来の3Dモデル生成は，ポリゴンリストに依存し，自由な形状表現が困難であった。
- テキストによる形状表現とLLMを活用し，多様な形状を生成すること。
- 本研究では，メッシュ構築を面押し出しのシーケンスとして表現する「テキスト符号化押し出し（TEE）」を提案した。
- TEEとLLMを用いることで，任意の面数を持つ多様な形状を生成可能であり，かつ，自己交差のないメッシュを生成できる。
- 学習された押し出しシーケンスは既存メッシュの編集にも応用でき，再構成，新規形状合成，機能追加を実現した。
検証可能なソフトウェアエンジニアリングのためのスケーラブルな多言語環境構築 [cs.SE, cs.AI]目的：検証可能なソフトウェアエンジニアリングタスクインスタンスのスケーラブルな生成
- ソフトウェア開発におけるLLMエージェント活用は重要だが，検証可能なデータセット不足が課題。
- 多様な言語に対応した実行可能な環境構築の複雑さが，データセット作成のボトルネックとなっている。
- 多言語環境の自動構築フレームワークにより，検証可能なタスクインスタンス生成を可能とする。
- MEnvAgentは，10言語1000タスクからなるMEnvBenchにおいて，ベースラインを8.6%上回る性能を示した。
- 環境再利用メカニズムにより，計算コストを43%削減することに成功した。
- MEnvAgentを用いて，現実的な検証可能なDocker環境の大規模オープンソースデータセットMEnvData-SWEを構築した。
ベイジアン補間ニューラルネットワーク（B-INN）：大規模物理システムのためのスケーラブルで信頼性の高いベイジアンモデル [math.NA, cs.AI, cs.NA]目的：大規模物理システムにおける不確実性定量のための，スケーラブルかつ信頼性の高いベイジアンモデル
- 物理シミュレーションの精度向上には，不確実性を考慮したモデリングが不可欠である。
- 従来のニューラルネットワークは，大規模データに対してスケーラビリティが低く，信頼性も十分ではない。
- 計算効率と堅牢な不確実性推定を両立し，大規模産業シミュレーションでの活用を目指す。
- B-INNは，高次の補間理論，テンソル分解，交互方向アルゴリズムを組み合わせることで，予測精度を損なうことなく次元削減を実現する。
- 理論的に，B-INNの関数空間はガウス過程の部分集合であり，ベイジアン推論は学習サンプル数に対して線形複雑度$\mathcal{O}(N)$を示す。
- 数値実験の結果，B-INNはベイジアンニューラルネットワークやガウス過程と比較して，20倍から10,000倍高速かつ，堅牢な不確実性推定が可能であることが示された。
強化学習による不均一バッテリー群の劣化を考慮した周波数調整 [cs.AR, cs.HC, eess.SY, cs.AI, cs.SY]目的：不均一バッテリー群の集合的な周波数調整スケジューリング
- 再生可能エネルギーの不安定性に対応するため，電力系統の安定化にバッテリーエネルギー貯蔵システムが不可欠である。
- バッテリーの充放電を繰り返すと劣化が進み，寿命が低下する。劣化予測と最適化が課題である。
- バッテリーの劣化を最小限に抑えつつ，効率的な周波数調整を実現するスケジューリング手法を開発する。
- 提案手法は，サイクル深度の発生と劣化指標をベースラインのスケジューリング手法と比較して，一貫して低減することを示した。
- 充電・放電パスに依存する劣化を考慮し，状態空間が広大でも学習可能な強化学習手法を開発した。
- 状態遷移確率過程（MDP）としてバッテリー群のスケジューリング問題を定式化し，サイクル深度削減に合致した報酬関数を設計した。
文脈に依存する異常：異常検知のための条件付き適合性の学習 [cs.CV, cs.LG]目的：異常検知における条件付き適合性の学習
- 異常検知は，様々な分野で重要な役割を担っており，その精度向上は社会的なニーズが高い。
- 従来の異常検知は文脈を考慮せず，同じ対象でも状況によって正常か異常かが変わる場合に誤検出が生じやすい。
- 文脈依存性を考慮した異常検知フレームワークを構築し，より正確な異常検出を目指す。
- 本研究では，視覚と言語表現を活用し，被写体と文脈の関係性をモデル化する条件付き適合性学習フレームワークを提案した。
- 提案手法は，CAAD-3Kベンチマークにおいて既存手法を大幅に上回り，MVTec-ADおよびVisAでも最先端の性能を達成した。
- これにより，文脈依存性のモデリングが従来の構造異常検知を補完することが示された。
真実の前提の浸食：基盤モデルの幻覚と偽情報に対する人間の脆弱性の因果分析 [cs.CY, cs.AI, cs.CL, cs.HC]目的：基盤モデルによる幻覚と偽情報に対する人間の脆弱性のメカニズム解明
- ウェブ上の信頼性確保のため，人間と生成されたコンテンツの識別が重要性を増している。
- 人間は，高度な言語能力を持つ基盤モデルが生成したコンテンツを見抜くことが困難になりつつある。
- 人間の識別能力に影響を与える要因を特定し，信頼できる情報環境を構築するための対策を提案する。
- 政治的志向は，コンテンツの真偽を見抜く能力とはほとんど関係がないことが示された。
- 「フェイクニュースへの慣れ」は，人間の識別能力に影響を与える可能性が示唆された。
- GPT-4の生成する流暢な文章は，情報源のモニタリング機構を迂回し，人間が書いた文章と区別がつかなくなる。
Matterhorn：マスクされた最初のスパイクまでの時間符号化を用いた効率的なアナログ疎なスパイク変換器アーキテクチャ [cs.CL, cs.LG]目的：エネルギー効率の高いLLM推論のためのスパイクニューラルネットワークのアーキテクチャ
- LLMの推論コスト削減は，AIの普及に不可欠であり，低消費電力化が重要な課題である。
- 既存のSNNのエネルギー評価は計算量に偏っており，データ転送などのハードウェアコストが無視されている。
- スパイクの移動と重みアクセスオーバーヘッドを削減し，エネルギー効率を向上させる。
- Matterhornは，M-TTFS符号化とmemristive synapse unit (MSU)を統合することで，スパイクの移動を削減し，重みアクセスコストを解消する。
- M-TTFSは，最も頻繁な膜電位にゼロエネルギー状態を割り当てることで，データ分布に合わせた符号化方式を実現し，スパイク移動エネルギーを最小化する。
- GLUEベンチマークにおいて，Matterhornは平均精度で既存のSNNを1.42%上回り，エネルギー効率を2.31倍向上させた。
複雑ネットワークを用いた合成時系列データの生成 [cs.LG]目的：合成時系列データの生成手法
- 機械学習モデルの性能向上には，質の高い時系列データが不可欠である。
- プライバシー，コスト，ラベリングの問題から，十分なデータを入手することが困難である。
- データ制約を克服するため，統計的・構造的特性を保持した合成データの生成を目指す。
- 分位グラフ（QG）を用いた手法は，既存のGANと比較して競争力のある性能を示す。
- 生成されたデータは，元のデータの統計的特性と構造を比較的良く保持する。
- 本手法は，解釈可能性に優れた合成時系列データ生成の代替手段となる。