arXiv雑要約
AI - 2026/03/24 公開
Diffutron：トルコ語のためのマスク拡散言語モデル [cs.RO, cs.CL, cs.AI]目的：トルコ語向けマスク拡散言語モデルの構築
- 言語モデルは自然言語処理の基盤技術であり，その性能向上は様々な応用を可能にする。
- 形態素が豊富な言語に対する非自己回帰型言語モデルの適用例は限られている。
- トルコ語のような形態素豊富な言語における非自己回帰型テキスト生成の課題解決。
- Diffutronは，大規模な多言語エンコーダをLoRAベースで継続的に事前学習させることで，効率的な学習を実現した。
- 段階的な指示チューニング戦略により，汎用的な指示とタスク固有の指示への適応を順次行った。
- コンパクトなモデルサイズでありながら，既存の数十億パラメータのベースラインと同等の性能を達成した。
DiffGraph：野生環境におけるテキストから画像生成のための自動エージェント駆動型モデル統合フレームワーク [cs.AI]目的：テキストから画像生成モデルの統合
- 画像生成技術の発展により，多様な専門モデルがオンライン上に多数存在する。
- 既存のモデル統合手法では，オンライン上の専門モデルを十分に活用できていない。
- ユーザーの多様なニーズに対応できる柔軟なモデル統合手法を開発する。
- DiffGraphは，オンラインの専門モデルをグラフ構造で組織し，動的にサブグラフを活性化させる。
- これにより，ユーザーの要望に応じて異なる専門モデルを柔軟に組み合わせることが可能となる。
- 実験の結果，本手法の有効性が示された。
データから法則へ：偽陽性なしのニューラルによる保存則の発見 [eess.SY, cs.SY, cs.LG, physics.data-an]目的：動力学系の保存則の発見
- 保存則は力学系の理解に不可欠だが，データからの発見は困難である。
- パラメータ変動，非多項式的不変量，局所解，カオス系における偽陽性などが課題。
- これらの課題を克服し，高精度な保存則の発見を目指す。
- NGCGパイプラインは，動力学学習と不変量発見を分離し，保存則を首尾一貫して発見する。
- 9つの多様な系において，真の保存則を持つ全ての系で高い精度(DR=1.0, FDR=0.0, F1=1.0)を達成した。
- 特にLotka-Volterra系での成功は，既存手法に対する明確な進歩を示す。
学習者の情動的関与のプロファイリング：感情AI，異文化プラグマティクス，言語学習 [cs.CY, cs.AI, cs.CL]目的：学習者の情動的関与のプロファイル
- 言語学習は感情を伴う複雑な過程であり，学習者のモチベーションに影響を与える。
- 従来の言語学習研究では，学習者の感情的な側面が十分に考慮されてこなかった。
- 感情AIを用いて学習者の情動的状態を把握し，より効果的な学習支援を目指す。
- 感情AIは，学習者の認知・感情状態に適応した個別化学習を可能にする可能性がある。
- AIチャットボットは，応答性や非判断的な姿勢という利点を持つ一方で，感情や文化的な偏りといった課題も抱えている。
- 感情AIの利用には，感情的な操作や不適切なプロファイリングといった倫理的な懸念も存在する。
時空間グリッドインテリジェンス：電力窃盗の堅牢な検出のためのハイブリッドグラフニューラルネットワークとLSTMフレームワーク [cs.NI, cs.AR, cs.LG]目的：電力窃盗の検出
- 電力システムの安定運用と財政的損失の抑制が重要であるため。
- 従来の検出手法は，複雑な時空間的動態や窃盗者の行動パターンを捉えきれない。
- 不均衡データセットにおいて，高精度な窃盗検出を実現する。
- 提案手法は，単独のアノマリー検出（F1スコア0.20）と比較して，全体的な精度93.7%を達成した。
- Precision-Recall分析による閾値調整により，窃盗の適合率0.55，再現率0.50を両立し，偽陽性を抑制した。
- トポロジー情報，時間的分析，教師あり学習の統合が，スケーラブルなリスクベースの電力窃盗検出に有効であることが確認された。
大規模言語モデルに対する適応型効率最適化 [cs.LG, cs.CL]目的：大規模言語モデルの効率最適化手法の自動選択と組み合わせ
- 近年，多様な分野で大規模言語モデルが成功を収めているが，計算コストが大きい点が課題である。
- 効率化手法は一つに定まらず，タスクやリソースによって最適な方法が異なる。
- 特定のデプロイメントシナリオに合わせた最適な効率化手法を自動的に選択・組み合わせる。
- AE-LLMは，精度，レイテンシ，メモリ使用量，エネルギー消費を同時に考慮する多目的最適化フレームワークである。
- 15種類のモデル（0.5B-70Bパラメータ）と10種類のタスクにおける実験で，AE-LLMは効率指標を平均2.8倍向上させた。
- 精度はベースラインと比較して1.2%以内の誤差で維持され，また，視覚言語モデルにも同様の効果が認められた。
中間で出会う：FHEとAI推論のための共同設計パラダイム [cs.CL, eess.SY, cs.SY, cs.CE, cs.CR, cs.AI]目的：FHEとAI推論の共同設計
- クラウド推論におけるプライバシー保護は重要であり，ユーザーとプロバイダー双方の情報を守る必要がある。
- 完全準同型暗号（FHE）は高いセキュリティを提供するが，現在のアーキテクチャでは計算コストが高いという課題がある。
- 推論回路の構造と推論アーキテクチャを最適化し，FHEのコストを削減することを目指す。
- FHEスキームとコンパイラを推論回路の構造に合わせて特化することで，効率を向上させることが可能となる。
- 推論アーキテクチャを制約することで，FHEのコスト要因を低減できる。
- 共同設計のアプローチが，FHEとAI推論の両方において進歩を促進する鍵となる。
ProbLogにおける単一世界介入プログラムを通じた効率的な反実仮想推論 [cs.AI]目的：反実仮想推論の効率化
- 不確実性の下での推論はAIシステムの信頼性と堅牢性に不可欠である。
- 確率論理プログラミングへの反実仮想推論の統合は，計算コストが高く不安定になりやすい。
- ProbLogにおける単一世界介入プログラムによる反実仮想推論の効率的な変換手法を提案し，計算可能性と信頼性を向上させる。
- 提案手法は既存手法と同等の計算複雑度であり，多くの場合より小さなプログラムで反実仮想推論を周辺推論に還元する。
- この手法は，より弱い独立性の仮定に基づいており，幅広い分野で構造因果モデルの反実仮想分布と一致する。
- 実験により，既存手法と比較して推論時間が35%削減されることが示された。
分散勾配クラスタリング：収束と初期化の影響 [cs.LG, stat.ML]目的：分散勾配クラスタリングアルゴリズムにおける初期化の影響
- 大規模データセットの解析において，分散処理は計算効率とスケーラビリティの向上に不可欠である。
- 初期化方法が，分散クラスタリングの収束速度や解の質に大きな影響を与える場合がある。
- 初期化に依存しない，よりロバストな分散クラスタリング手法を開発すること。
- 提案手法は，集中型勾配クラスタリングと比較して，初期化の影響を受けにくいことが実験的に示された。
- K-means++初期化に触発された新たな分散中心初期化スキームを提案し，その有効性を確認した。
- 提案する初期化スキームは，ランダム初期化と比較して，クラスタリング性能を向上させる。
推論過程の可読性測定：理解者は教えられるか？ [cs.MA, cs.AI, cs.CL]目的：言語モデルの推論過程の可読性
- 言語モデルの性能向上には，推論能力の向上が不可欠である。
- 推論過程の可読性が評価されておらず，理解を妨げる可能性がある。
- 推論過程の可読性を測定し，より理解しやすいモデルを構築すること。
- 高性能な言語モデルの推論過程は，可読性が低い傾向にあることが判明した。
- 推論過程の効率性と，他のモデルへの指導に役立つ度合いの間にはトレードオフが存在する。
- 言語モデルの学習における報酬モデルは，可読性を重視していないことが示唆された。
言語モデルによるマスター蒸留を用いた，根拠に基づいたチェス推論 [cs.AI]目的：言語モデルへの専門家システムの推論蒸留
- 専門領域における知識獲得は，言語モデルの応用範囲を広げ，より高度なタスクの実現に不可欠である。
- 言語モデルは，学習データが不足する専門領域において，推論能力が限定されるという課題がある。
- 言語モデルが専門知識を獲得し，根拠に基づいた説明を生成できるようになることを目指す。
- 40億パラメータのモデルC1は，既存のオープンソースモデルや多くのプロプライエタリシステムを上回る48.1%の精度を達成した。
- C1は，蒸留教師モデルを上回り，ベースラインよりもはるかに少ないトークン数で解を生成する。
- C1は単に最善手のみを予測するのではなく，戦略的な推論を示す説明可能な解を生成する。
ReBOL：バッチ処理LLM関連度観察とクエリ再構成によるベイジアン最適化を用いた検索 [cs.HC, cs.DC, cs.IR, cs.AI]目的：文書関連度のベイジアン最適化
- 情報検索の精度向上は，大規模なデータセットから適切な情報を効率的に抽出するために不可欠である。
- 従来のベクトル類似度検索は，文脈を考慮したトークン間の相互作用や多次元的な関連度分布を捉えられない。
- ReBOLは，LLMによるクエリ再構成と文書バッチ処理を組み合わせ，検索システムの精度と効率を向上させる。
- ReBOLは，5つのBEIRデータセットと2つのLLM（Gemini-2.5-Flash-Lite，GPT-5.2）を用いた評価で，LLM再ランク付けのベースラインよりも高い再現率と競争力のあるランキングを達成した。
- Robust04データセットにおいて，ReBOLはrecall@100で46.5%に対し，最良のLLM再ランク付けは35.0%を，NDCG@10では63.6%に対し61.2%を示した。
- ReBOLは，LLM再ランク付けと同程度の遅延時間を実現できることも示した。
資源が限られた環境における歴史的な健康危機に関する知識についての大規模言語モデルの評価：ハイブリッド多指標研究 [cs.CL, cs.AI]目的：大規模言語モデルの健康危機に関する知識の評価
- 公衆衛生上の危機に対する迅速な対応には，正確な情報へのアクセスが不可欠である。
- 資源が限られた環境では，信頼できる医療情報の入手が困難である場合が多い。
- 本研究は，資源が限られた環境における大規模言語モデルの信頼性を検証することを目指す。
- GPT-4，Gemini Pro，Llama 3，Mistral-7Bは，COVID-19，デング熱，ニパウイルス，チクングニアに関する質問に対して評価された。
- 意味的類似性，専門家モデルによる相互評価，および自然言語推論（NLI）を用いてモデルの出力を評価した。
- 大規模言語モデルは，疫学的歴史や健康危機に関する知識の表現において，強みと限界の両方を示した。
喜ばしい分散型方策勾配 [cs.LG, cs.AI, math.OC, stat.ML]目的：分散型強化学習における，驚き度合いに基づく方策勾配の改善
- 強化学習は，複雑なタスクを自動学習する強力な手法であり，様々な分野で応用が期待される。
- 分散型強化学習では，学習データの品質が不安定になりやすく，学習効率が低下する課題がある。
- 驚き度合いを活用することで，質の低いデータを抑制し，有効な学習を促進することを目的とする。
- 提案手法DGは，驚き度合いと利点の積である「喜び」を用いて更新を制御することで，稀な失敗を抑制し，稀な成功を増幅する。
- 汚染されたサンプリング下において，DGは標準的な方策勾配よりも真の勾配とのコサイン類似度を高く保つ。
- 様々な実験において，DGは既存手法を大幅に上回り，特に複雑なタスクにおいてその効果が顕著に現れた。
この勾配は喜びをもたらすか？ [cs.RO, cs.SY, eess.SY, cs.LG, cs.AI, stat.ML]目的：学習価値の指標を用いた効率的な方策勾配法
- 強化学習は，複雑な問題を解決するための強力な手法であり，様々な分野で応用が期待されている。
- 方策勾配法は計算コストが高く，多くのサンプルが学習に貢献しないという課題がある。
- サンプルごとの学習価値を事前に評価し，不要な逆伝播を削減することで効率化を目指す。
- 提案手法である「Kondo gate」は，学習価値（delight）と計算コストを比較し，価値の高いサンプルのみに逆伝播を行う。
- バントット問題や画像認識，言語モデリングにおいて，従来のDGと同等の学習性能を維持しつつ，計算コストを大幅に削減できることを示した。
- Kondo gateは，近似的なdelightでも機能するため，安価な前向きパスでサンプルをスクリーニングし，高価な逆伝播を削減する新しい学習パラダイムを可能にする。
行モーメンタム正規化事前条件付け：スケーラブルな行列ベース最適化 [cs.LG]目的：大規模な行列ベース最適化におけるスケーラビリティ向上
- 深層学習の訓練において，効率的な最適化手法の確立が重要である。
- 事前条件付けは計算コストが高く，スケーラビリティが課題となっている。
- 事前条件付けの効果を維持しつつ，計算効率を向上させることを目指す。
- 提案手法RMNPは，Newton-Schulz反復を単純な行単位の正規化に置き換えることで計算複雑性を低減する。
- RMNPは，Transformer層のヘッセ行列の対角ブロック構造に基づき，Muonと同等の最適化性能を維持する。
- 大規模言語モデルの事前学習実験において，RMNPはMuonと同等の性能でありながら，事前条件付け時間を大幅に短縮する。
言語モデルにおける認識的観察可能性 [cs.DC, cs.AI, cs.CL, cs.LG]目的：言語モデルの自信度と正確性の関係性の解明
- 大規模言語モデルの利用拡大に伴い，その出力の信頼性評価が重要課題となっている。
- 言語モデルは，誤った情報を生成する際，高い自信度を示すという問題が存在する。
- テキストのみの観察下では，モデルの正直さを確実に識別することが不可能である点を理論的に示す。
- モデルが最も自信を持つのは，情報を捏造している時であることが明らかになった。自己報告による自信度は，精度と逆相関を示す。
- 標準的な訓練下で正確性と構造的に結びついた計算副産物（トークンごとのエントロピーなど）を用いることで，この問題を回避できる。
- トークンごとのエントロピーは，検証予算の各レベルにおいて，テキストベースラインを2.5〜3.9パーセントポイント上回るAUC 0.757を達成した。
収益分配をインフラとして：生成AIプラットフォームのための分散型ビジネスモデル [cs.CY, cs.AI, cs.CL]目的：生成AIプラットフォームにおける収益分配型ビジネスモデルの分析
- 生成AIは開発エコシステムを変革しており，そのビジネスモデルの進化が重要である。
- 既存のモデルは，開発者への経済的障壁が高く，イノベーションを阻害している。
- 収益分配型インフラモデル（RSI）により，参入障壁を下げ，イノベーションを促進することを目指す。
- 本研究で提案するRSIモデルは，プラットフォームが無償でAIインフラを提供し，開発者のアプリケーションの収益の一部を得るという仕組みである。
- RSIモデルは，従来の支払いロジックを逆転させ，ステークホルダー間の利害を一致させ，エコシステムにおけるイノベーションを刺激する可能性がある。
- RSIモデルは，初期資本のない開発者もデジタル経済に参加できるようになり，低所得国における潜在的な雇用創出に貢献し得る。
要件工学のための産業規模検索拡張生成フレームワーク：自動車製造データによる実証的評価 [cs.SE, cs.AI]目的：産業規模の要件工学における検索拡張生成フレームワークの性能評価
- インダストリー4.0において，要件定義は，技術仕様，サプライヤーリスト，コンプライアンス基準などの多様な非構造化文書を扱うため，重要性が増している。
- 既存の要件工学プロセスは，大量の文書を扱う際の効率性と正確性に課題があり，手作業による分析に時間がかかる。
- 本研究は，検索拡張生成を用いて，自動車製造における要件定義の自動化を実現し，効率性とコスト削減を目指す。
- 提案フレームワークは，98.2%の抽出精度と完全なトレーサビリティを実現し，既存手法を大幅に上回る性能を示した。
- ハイブリッドな意味的・語彙的検索により，MRR 0.847を達成し，専門家による品質評価も平均4.32/5.0と高評価を得た。
- 評価により，手作業分析時間の83%削減，コストの47%削減が確認され，ITセキュリティの重要性が1800%向上し，潜在的な契約違反リスクを230万ドル削減できることが示された。
実用的な多角的な病院における感染症発生検出への取り組み [cs.LG]目的：病院における感染症発生の検出
- 病院感染症の迅速な把握は，感染拡大を抑制する上で極めて重要である。
- 全ゲノム解析は高コストで時間がかかるため，日常的なサーベイランスには不向きである。
- 迅速な代替手段を用いて，全ゲノム解析の必要性を低減することを目指す。
- MALDI-TOF，薬剤耐性パターン，電子カルテ等の情報を統合することで，感染症発生検出の性能が向上することが示された。
- これらの代替手段を用いた階層的なサーベイランスモデルを提案し，全ゲノム解析の負荷軽減を目指した。
- 電子カルテ分析により，侵襲的な医療器具を伴う特定の臨床手順が感染経路となる可能性が示唆された。
LLM駆動によるヒューリスティック合成：熱間圧延における知見 [cs.AI]目的：産業プロセス制御のためのヒューリスティックな制御戦略の自動生成
- 産業プロセス制御は，安全性と効率性が重要であり，高度な自動化が求められている。
- 従来のニューラルネットワークによる制御は解釈性が低く，監査が困難であるという課題がある。
- LLMを活用し，人間が理解可能な制御プログラムを自動生成し，安全性と解釈性を確保すること。
- LLM駆動によるヒューリスティック合成パイプラインが，産業プロセス制御において監査可能な制御戦略を生成可能であることを示した。
- 生成された制御プログラムは専門家によるレビューが可能であり，安全性の重要な特性を形式的に検証できる。
- Luby型の再起動戦略がLLM駆動によるヒューリスティック探索において有効であり，問題固有の予算調整の必要性をなくす。
行動模倣における行動量子化の理解 [cs.LG, stat.ML]目的：行動量子化を用いた行動模倣の理論的基盤
- ロボティクス等に応用され，エキスパートの模倣による学習は重要である。
- 連続制御への自己回帰モデル適用には量子化が不可欠だが，理論的理解が不足している。
- 量子化誤差の伝播とサンプル複雑度の関係を解明し，最適化を目指す。
- 量子化された行動と対数損失を用いた行動模倣は，既存の下限に匹敵する最適なサンプル複雑度を達成する。
- 安定なダイナミクスと確率的滑らかさ条件の下，量子化誤差に対する多項式的な地平線依存性を示す。
- 量子化スキームの要件と，それらを改善するモデルベースの拡張を明らかにする。
順列合意リストワイズ判断によるロバストな事実性評価 [cs.CL, cs.AI]目的：事実性評価における順列感受性
- 大規模言語モデルの判断は，その信頼性が重要視されている。
- 提示順序が結果に影響する不安定性，特に候補順序依存性が問題となる。
- 提示順序に依存しない，より安定した評価手法の確立を目指す。
- PCFJudgeは，候補の順列を変化させて複数回の判断を行い，合意に基づく評価を行う手法である。
- RewardBench 2 Factualityにおいて，直接判断よりも最大7ポイントの改善が見られた。
- 順列合意が主な改善要因であり，高度な仲裁層は不要であることが示唆された。
LJ-Bench：アメリカ犯罪に関するオントロジーベースのベンチマーク [eess.SY, cs.SY, cs.CY, cs.LG]目的：大規模言語モデルの犯罪関連クエリに対する脆弱性の評価
- 大規模言語モデルの安全性確保は重要であり，違法な情報の生成を防ぐ必要がある。
- 既存のベンチマークは違法行為の種類が限られており，法的な根拠に基づいた評価が不足している。
- モデルパネルコードに基づいた犯罪オントロジーを用いて，より包括的なベンチマークを構築し，評価を行う。
- LJ-Benchは，76種類の犯罪カテゴリーを網羅し，大規模言語モデルの脆弱性を体系的に評価可能である。
- 大規模言語モデルは，個人への直接的な被害よりも，社会的な害を及ぼす攻撃に対してより脆弱であることが示された。
- 本ベンチマークは，より堅牢で信頼性の高い大規模言語モデルの開発を促進することを目的としている。
コンテキスト・カルトグラフィ：大規模言語モデルにおけるコンテキスト空間の構造的ガバナンスに向けて [cs.RO, physics.space-ph, cs.DB, cs.RO, cs.MA, cs.AI]目的：大規模言語モデルのコンテキスト空間の構造的ガバナンスのための枠組み
- 言語モデルの推論能力向上は重要であり，その鍵はコンテキストの活用にある。
- コンテキストウィンドウ拡大だけでは性能向上が限定的であり，情報の配置に構造的な課題がある。
- コンテキスト空間の構造を理解し，情報の流れを制御することで，推論性能を改善する。
- 本研究では，コンテキスト空間を「未観測領域」「記憶領域」「活性推論領域」の3つのゾーンに分割する「コンテキスト・カルトグラフィ」という枠組みを提案した。
- この枠組みでは，情報をゾーン間で移動・変換するための7つの演算子を定義し，その有効性を実証した。
- 既存の言語モデルにおける演算子の実装状況を分析し，独立して同様の方向に進んでいることを確認した。
RECLAIM：測定ノイズ下における環状因果探索 [cs.LG, stat.ML]目的：環状ネットワークと測定ノイズを考慮した因果グラフ構造の学習
- 科学技術における因果関係の解明は根幹的な課題であり，その重要性は計り知れない。
- 既存手法は非環状性を仮定，変数の直接的なアクセスを必要とし，現実世界では課題となる。
- 測定ノイズと環状ネットワークを持つ環境下でも因果関係を正確に推定することを目指す。
- 提案手法RECLAIMは，期待値最大化法と残差正規化フローを用いて，観測データ尤度を最大化する。
- ガウスノイズ，および線形測定システム下での理論的な整合性が保証されている。
- 合成データとタンパク質シグナル伝達データセットを用いた実験により，その有効性が示された。
MKA：効率的な長文脈推論のためのメモリキー注意機構 [cs.LG, cs.AI]目的：長文脈推論における効率的な注意機構
- 言語モデルの発展に伴い，長文脈を扱う能力が重要となっている。
- 長文脈のKey/Valueキャッシュの維持・処理コストがボトルネックとなっている。
- メモリ効率と性能のトレードオフを解消し，高速な推論を実現する。
- 提案手法MKAは，多層のKVキャッシュを活用し，動的に注意をルーティングする。
- FastMKAは，キャッシュソースを融合することで効率を向上させている。
- 実験により，FastMKAはMLAと同等の精度で，学習・推論速度が大幅に向上することが示された。
直交多重体の領域におけるニューラル崩壊 [cs.LG, cs.IT, math.IT, math.MG]目的：ニューラルネットワークの学習における特徴ベクトルの幾何学的構造
- ニューラルネットワークの学習原理を理解する上で，特徴空間の構造把握は重要である。
- クラス数が多い場合，特徴ベクトルの崩壊パターンが複雑化し，解析が困難である。
- クラス数と特徴空間の次元数に応じた特徴ベクトルの崩壊形状を特定し，理解を深める。
- 特徴ベクトルは，クラス数と特徴空間の次元数によって定義される直交多重体の頂点へと崩壊することが示された。
- この崩壊形状の解析には，ラドンの定理や凸幾何学の技術が用いられた。
- 本研究は，従来の単純なシンプレックス崩壊とは異なる幾何学的構造を明らかにした。
離散分布からの生成：ランダム制約充足問題からの洞察 [cs.LG]目的：離散分布からのデータ生成に関する研究
- テキスト，表形式データ，ゲノムデータなど，多様な応用分野において重要である。
- 既存の生成手法の性能評価には，ランダム $k$-充足可能性問題が利用されているが，その限界が課題となっていた。
- ランダム制約充足問題の理論的知見に基づき，生成手法の挙動を解明し，性能向上を目指す。
- 連続拡散モデルが，マスクされた離散拡散モデルよりも優れた性能を示すことが確認された。
- 学習された拡散モデルは，理論上の理想的な精度に匹敵する性能を達成できることが示された。
- 変数順序を工夫することで精度が向上するが，一般的なヒューリスティクスに従う必要はないことが明らかになった。
多エージェントアルゴリズム的ケアシステムの信頼性には，異議申し立て可能性が不可欠である [cs.AI, cs.MA]目的：多エージェントアルゴリズム的ケアシステムの信頼性確保のための異議申し立て可能性
- 医療分野における複雑な意思決定支援において，多エージェントシステムの活用が拡大している。
- 既存の信頼性確保手法は説明可能性に依存するが，多エージェント環境では不十分である。
- 異議申し立て可能性を導入し，人間の介入と修正を可能にすることで信頼性を向上させる。
- 本稿では，医療における多エージェントシステムの信頼性向上のために，異議申し立て可能性が必須であると主張する。
- 構造化された議論と役割に基づいた異議申し立てメカニズムを統合した，人間中心のループフレームワークを提案する。
- これにより，人間の主体性，臨床的責任，そして重要なケア環境における信頼を維持することが期待される。
高電圧送電線におけるコロナ放電ノイズと無線妨害を支配する解釈可能な法則のグラフベースデータ駆動型発見 [cs.SC, cs.AI, physics.app-ph]目的：高電圧送電線におけるコロナ放電ノイズと無線妨害を支配する解釈可能な法則の発見
- 再生可能エネルギーの普及に伴い，遠隔地からの電力供給を担う超高圧送電の重要性が増している。
- コロナ放電による騒音や無線妨害は環境基準を満たす必要があり，正確な予測が課題となっていた。
- 既存の経験則の限界を克服し，高電圧送電線の設計を支援する解釈可能な予測モデルを構築すること。
- 提案手法Mono-GraphMDは，表面電界勾配，束数，直径といったパラメータ間の非線形相互作用を明らかにした。
- コロナ放電ケージのデータと，16束の導体を持つ複数の国の実UHV送電線に対して高い予測精度を示した。
- 発見された閉形式の法則は，解釈可能性が高く，様々なシナリオへの迅速な適用が可能である。
エピソード型ゼロサムゲームにおけるベイズ学習 [cs.LG, cs.GT]目的：未知の遷移と報酬モデルを持つエピソード型有限地平線ゼロサムマルコフゲームにおけるベイズ学習
- ゲーム理論は，経済学，政治学，生物学など，多様な分野で戦略的な意思決定を分析する上で重要である。
- 相手モデルが未知の場合，最適な戦略を見つけることが困難であり，学習エージェントは後悔を経験しやすい。
- ベイズ学習を用いて，不確実な環境下で効果的な戦略を学習し，後悔を最小限に抑えることを目指す。
- 提案手法では，各プレイヤーがゲームモデルに関するベイズ事後分布を維持し，エピソードごとにモデルをサンプリングする。
- 両プレイヤーが事後サンプリングアルゴリズムを使用する場合と，片方のみを使用する場合の両方について，事後サンプリングエージェントの後悔に対する保証を提供する。
- 理論的な結果として，事後サンプリングエージェントの期待後悔の上界が$O(HS\sqrt{ABHK\log(SABHK)})$であることが示された。
ビジョン・言語・行動モデルのための実用的なワールドモデルベース強化学習 [cs.RO, cs.LG]目的：ビジョン・言語・行動モデルの強化学習による微調整の枠組み
- ロボット制御における汎化性能向上が求められているため。
- 実世界でのインタラクションコストや安全性の問題が存在する。
- ワールドモデルを用いた学習で，ピクセルレベルモデリング等の課題を解決する。
- 提案手法VLA-MBPOは，シミュレーションと実世界タスクの両方で，ポリシーの性能とサンプル効率を大幅に改善した。
- 統一されたマルチモーダルモデルをデータ効率の良いワールドモデルに適用することで，多視点の一貫性を確保する。
- チャンクレベルの分岐ロールアウトにより，誤差の蓄積を軽減し，ロバスト性とスケーラビリティを実現する。
トークン退去を超えて：効率的なKVキャッシュ圧縮のための混合次元予算配分 [cs.LG]目的：トランスフォーマー推論を高速化するためのKVキャッシュ圧縮手法
- Transformerモデルの高性能化には，大量のメモリを必要とするKVキャッシュが不可欠である。
- KVキャッシュのメモリ消費量は入力長に比例し，長文脈の処理がボトルネックとなる。
- KVキャッシュの圧縮を通じて，メモリ消費量を削減し，長文脈処理を可能にすること。
- MixedDimKVは，従来のトークン退去法よりも優れた圧縮性能を示す。
- MixedDimKV-Hは，ヘッドレベルの重要度情報と組み合わせることで，HeadKVを上回る性能を達成した。
- LongBenchにおいて，KVキャッシュのわずか6.25%で，フルアテンションと同等の性能を実現した。
AIの活用可能性：仕事活動の深層的なオントロジーからの考察 [cs.AI, cs.CY]目的：仕事活動のオントロジー
- AI技術は労働市場に大きな変革をもたらす可能性があり，その影響を理解することが重要である。
- AIの活用範囲を体系的に分析・予測するためのフレームワークが不足している。
- 仕事活動の詳細レベルにおいて，AIの適用可能性を予測するフレームワークを提供する。
- AI市場価値は仕事活動に不均衡に分布しており，上位1.6%の活動で全体の60%以上を占めることが判明した。
- AI市場価値の大部分は情報に基づいた活動（72%）に集中しており，特に情報作成（36%）に高い割合を占める。
- AIの活用は，情報伝達を含む対話的な活動（48%）にも広がっており，物理的な活動への応用は12%に留まる。
推論の痕跡は出力を形成するが，モデルはそれを認めない [cs.AI]目的：大規模推論モデルにおける推論痕跡の信頼性に関する検証
- 大規模言語モデルの活用が広がる中，その推論過程の理解と制御が重要課題となっている。
- モデルの出力根拠となる推論痕跡が，実際にモデルの挙動を反映しているか不明確である。
- 推論痕跡の妥当性を検証し，モデルが自身の推論過程を正直に報告するかどうかを明らかにすること。
- 意図的に挿入した推論がモデルの出力に確実に影響を与えることが確認された。
- モデルは，出力の変化について，挿入された推論の影響をほとんど認めようとしない。
- モデルは，影響を否定する代わりに，関連性のない説明を捏造する傾向がある。
LLM学習のための最適な低ランク確率的勾配推定 [cs.LG]目的：LLM学習におけるメモリ制約と確率的勾配ノイズの軽減
- LLMは自然言語処理の発展に不可欠だが，その学習には膨大な計算資源が必要となる。
- LLMのパラメータ空間は非常に高次元であり，メモリ消費量と勾配ノイズが課題となっている。
- 勾配行列の低ランク性を活用し，メモリ効率と精度の両立を目指す。
- 提案手法は，従来のバックプロパゲーションと比較してGPUメモリ消費量を大幅に削減する。
- RoBERTa-largeのファインチューニングにおいて，高い精度を維持しつつメモリ使用量を最小限に抑えた。
- LLaMAの事前学習において，従来のmethodよりも優れた性能を示し，提案手法の有効性を裏付けた。
Seed1.8モデルカード：汎用的な現実世界エージェントに向けて [cs.AI]目的：汎用的な現実世界におけるエージェント性
- 現実世界での応用が期待されるAIエージェントの基盤技術の重要性が高まっている。
- 既存モデルは単発的な予測に偏り，複数ターンでの対話やツール利用が課題であった。
- 複数ターン対話，ツール利用，多段階実行を可能にするエージェントの実現を目指す。
- Seed1.8は，高い言語・画像理解能力と，検索，コード生成，GUI操作などの統一されたエージェントインターフェースを両立する。
- 推論時には，遅延とコストを考慮した設定が可能であり，思考モードや視覚エンコーディングも最適化されている。
- 標準ベンチマークや応用ワークフローにおいて，基礎能力，マルチモーダル理解，エージェント行動に関する評価が行われた。
連続分数ニューラルネットワーク [cs.LG, cs.AI]目的：非線形関数マニホールドの特徴付け
- 科学計算において，複雑な関数を正確に表現することは重要である。
- 従来のMLPは，高曲率特徴の解決に多くのパラメータを必要とする。
- パラメータ効率の良い，高曲率特徴の表現方法を確立する。
- 連続分数ニューラルネットワーク(CFNN)は，MLPと比較してパラメータ数を大幅に削減しつつ，同等の精度を達成する。
- CFNNは，ノイズに対するロバスト性および物理的整合性において，最大47倍の改善を示す。
- CFNNは，ブラックボックスの柔軟性とホワイトボックスの透明性を組み合わせた，信頼性の高い「グレイボックス」パラダイムを提供する。
AEGIS：手がかりから判決へ -- 方言とメタ監査によるグラフ誘導型脆弱性推論 [cs.CL, cs.CE, cs.SE, cs.AI, cs.CR]目的：脆弱性検出におけるLLMの推論の信頼性向上
- ソフトウェアの安全性確保は不可欠であり，脆弱性検出技術の発展が求められている。
- 既存のLLMを用いた脆弱性検出は，根拠の薄弱な推論や誤った依存関係の構築が課題となっていた。
- 閉じた事実基盤上での検証を通じて，より正確で信頼性の高い脆弱性検出を実現すること。
- AEGISは，Code Property Graphを用いた依存関係チェーンの動的再構築により，根拠のない推測を抑制した。
- Verifire AgentとAudit Agentの対立的議論と監査により，幻覚による誤った判決を防止する。
- PrimeVulデータセットにおいて，最新の性能を達成し，122のPair-wise Correct Predictionsを記録した。
エージェントAIと次の知能爆発 [cs.AI]目的：知能爆発のメカニズム解明
- AI技術の進展は，社会構造や人間の知性に大きな影響を与える可能性を秘めている。
- AIの能力向上は，単なる計算能力の向上だけでなく，社会性や協調性の欠如といった課題を抱えている。
- AIの社会的な側面に着目し，組織や市場といった仕組みを導入することで，より安全で効果的なAI開発を目指す。
- 最新のAIモデルは，単に思考を深めるだけでなく，内部で議論や検証を行う「思考の社会」を形成することが示された。
- 今後の知能爆発は，単一のAIではなく，都市のように専門化と多様性を持つ複雑なAI社会として現れると考えられる。
- 人間とAIが協調する「ケンタウロス」のような存在が，個人の能力を超えた集団的知性を生み出す可能性が示唆されている。
Transformerにおける大きさの表現：効率的符号化，表現幾何学，および心理物理法則 [cs.CL, cs.CL, cs.AI]目的：Transformer言語モデルにおける大きさの表現様式
- 言語モデルの性能向上には，数値情報の効果的な表現が不可欠である。
- Transformerにおける大きさの表現方法は，対数，線形，循環など様々で，統一的な理解が不足している。
- 心理物理学のツールを用いて，Transformerにおける大きさの表現の幾何学的構造を解明すること。
- モデルの表現幾何学は一貫して対数圧縮型であり，線形幾何学は好まれないことが示された。
- 対数圧縮型幾何学と行動との間には必ずしも相関関係がなく，幾何学のみでは行動能力は保証されない。
- 初期層が大きさの処理に関与し，幾何学構造が強い後期層は必ずしも関与しないという層間の分離が確認された。
多様体データに対する拡散モデル：スコア分解，曲率，および統計的複雑性 [cs.LG]目的：多様体データに対する拡散モデルの学習メカニズムの解明
- 生成モデリングの主要な手法であり，その理論的理解が重要である。
- 高次元データが低次元構造に集中する場合の理論的理解が不十分である。
- 多様体上の生成モデリングにおける理論と実践の架け橋となる。
- 拡散モデルにおけるスコア関数の重要な分解が，注入ノイズレベルに応じて明らかにされた。
- 多様体の曲率とスコア関数の構造との相互作用が示された。
- データの内在次元と多様体の曲率によって支配される統計的レートが導出された。
ファイングレインなファッション画像検索のための，コントラスティブ学習と指数移動平均蒸留を用いたマルチヘッド継続学習フレームワーク [cs.CV, cs.AI]目的：ファイングレインなファッション画像検索における継続学習フレームワーク
- ファッション画像検索は，Eコマース等において重要であり，多様な属性に対応する必要がある。
- 既存手法は，新しい属性が出現する度に再学習が必要であり，コストがかかるという課題がある。
- 本研究は，効率的な知識転移により，再学習コストを削減し，精度を維持することを目的とする。
- 提案手法MCL-FIRは，マルチヘッド構造により，新しいクラスの追加に対応可能である。
- InfoNCEを用いた入力の再構成とEMA蒸留により，効率的な学習と知識伝達を実現している。
- 4つのデータセットによる実験の結果，MCL-FIRは，既存の継続学習手法よりも高い精度と効率を示した。
3日間で50%から熟達へ：ローリソースによるAIチューターのローカライズのためのSOP [cs.AI, cs.CY]目的：大学院レベルのAIチューターをローカライズするための標準運用手順
- 教育現場へのAI導入は重要だが，高コストが障壁となる。
- リソース不足により，高性能AIチューターの導入が困難である。
- 低コストでAIチューターをローカライズし，AI教育の普及を目指す。
- Shadow-RAGアーキテクチャにより，わずか3日間の労力でAIチューターをローカライズした。
- 最新の32Bモデルにおいて，50-60%だった性能が90%まで飛躍的に向上した。
- 構造化された推論ガイダンスが，小規模言語モデルの潜在能力を引き出す鍵となることが示唆された。
アムダールの法則の現代化：AIスケーリング則がコンピュータアーキテクチャをどのように形作るか [cs.DC, cs.AI, cs.AR]目的：現代のヘテロなシステムにおけるスケーラブルなワークロードに対するアムダールの法則の再定式化
- コンピュータアーキテクチャの性能向上には，計算資源の効率的な利用が不可欠である。
- 従来のアーキテクチャのボトルネック分析は，現代のヘテロな環境に適応できていない。
- 特殊用途アクセラレータへの投資が最適な水準を超えると，性能向上のメリットが失われる点を明らかにする。
- アムダールの法則を再定義することで，ヘテロなシステムにおけるスケーラビリティの限界を定量的に評価できるようになった。
- ある臨界点を超えると，特殊用途アクセラレータの効率性向上のメリットが低下し，投資がゼロに近づくことが示された。
- このフレームワークは，GPUのプログラマビリティの向上と，ドメイン固有のAIアクセラレータがGPUを置き換えられていない理由を説明するのに役立つ。
指数型分布判別分析：ガウス分布以外のモデルへのLDA様生成分類の一般化 [cs.LG, stat.ML]目的：指数型分布族における判別分析手法の開発
- 機械学習において，分類精度向上は重要な課題である。多様なデータに対応可能な汎用的な手法が求められている。
- 従来の線形判別分析（LDA）はガウス分布を仮定するため，他の分布を持つデータには適用が難しい場合がある。
- 指数型分布族のデータに対して，ガウス分布の仮定なしに高精度な分類と適切な確率推定を実現することを目指す。
- 提案手法EFDAは，ガウス分布だけでなく指数型分布族全体のデータに対して，線形判別分析と同等の分類精度を達成する。
- EFDAは，期待キャリブレーション誤差（ECE）を従来のモデルと比較して大幅に低減し，その効果はサンプル数やクラス不均衡の影響を受けない。
- EFDAの尤度比推定子は，正しいモデル設定下でCramér-Rao下限に漸近的に近づき，他の推定子よりも低い平均二乗誤差を示す。
空間への注意：空間推論におけるVLMヘッドの機能的役割 [cs.RO, cs.RO, cs.DC, cs.AI, cs.CV]目的：大規模ビジョン言語モデルにおける空間推論の機能的役割の解明
- 画像と言語を扱うモデルは多様な応用が期待され，その能力向上は重要である。
- 空間推論は依然として課題であり，モデルの性能向上を阻害する要因となっている。
- 空間推論に特化したヘッドを特定し，モデルの空間理解能力を高めることを目指す。
- CogVSRデータセットを用いて，空間推論を段階的なサブ質問に分解し，認知機能と関連付けた。
- 空間推論に特化した注意ヘッドは他の認知機能ヘッドと比較して稀少であることが示された。
- 潜在的な空間ヘッドの活性化やヘッドの操作を通じて，空間推論の精度向上が確認された。
REVERE：科学ワークフローのための反復進化型研究エンジニア [cs.RO, cs.SE, cs.AI]目的：科学ワークフローにおけるプロンプト最適化の枠組み
- 科学研究の効率化は，知識の進歩と社会への貢献に不可欠である。
- 既存手法は局所的な情報に依存し，タスク間の共通パターンを見逃すことが多い。
- グローバルな学習と反復的な改善により，研究コーディングの性能向上を目指す。
- REVEREは，グローバルな学習コンテキストを活用し，反復的な最適化を行うことで，既存の最先端手法を上回る性能を示す。
- SUPER，ResearchCodeBench，ScienceAgentBenchといったベンチマークにおいて，それぞれ4.50%，3.51%，4.89%の性能向上を達成した。
- 継続的な学習とグローバルメモリの統合メカニズムが，エージェントの能力進化に貢献することが示された。
知能化された地理空間データ探索：大規模言語モデルを活用した知識グラフ駆動型マルチエージェントフレームワーク [cs.AI, cs.MA]目的：地理空間データのインテリジェントな探索のためのフレームワーク
- 地理空間データは急増しており，その活用が重要である。多様性と速度に対応した効率的なデータ管理が求められる。
- 既存のデータカタログはキーワード検索に依存しており，ユーザーの意図を捉えきれないという課題がある。
- 異質なメタデータ標準を統一し，データ間の関係を明示的にモデル化することで，データ探索の精度向上を目指す。
- 提案フレームワークは，意図のマッチング精度，ランキング品質，リコール，探索の透明性を大幅に向上させる。
- 知識グラフとマルチエージェントアーキテクチャにより，ユーザーのクエリから結果までの解釈可能な探索プロセスを実現する。
- 次世代のインテリジェントな地理空間データインフラストラクチャの基盤となり，自律型GISのビジョンに貢献する。