arXiv雑要約
AI - 2026/05/12 公開
情報理論的視点からの異種性グラフにおける不確実性推定 [cs.LG, cs.SI]目的：異種性グラフにおける不確実性推定手法
- グラフ構造データは複雑な関係性を表現でき，様々な分野で重要性が増している。
- 既存の不確実性推定手法は同質性グラフに依存しており，異種性グラフでは性能が低下する。
- 情報理論的アプローチを用いて，異種性グラフにおける不確実性推定の新たな手法を開発する。
- 情報処理不等式のアナロジーを導入し，モデル層を通しての情報量を定量化することで，異種性グラフにおける不確実性推定の理論的枠組みを確立した。
- 異種性グラフでは，ノードの潜在表現がそれぞれ異なる情報を持つことが示され，それらを同時に考慮することが重要であることが明らかになった。
- ノード埋め込み空間に対する事後密度推定器を導入し，異種性グラフにおいて最先端の不確実性推定性能を達成した。同質性グラフでも既存手法と同等の性能を示した。
一つの軌跡，一つのトークン：パノラマ的サブオブジェクト軌跡による grounded ビデオトークン化 [cs.CL, cs.CV, cs.AI, cs.GR, cs.LG]目的：ビデオの grounded トークン化手法
- 長尺ビデオを扱うトランスフォーマーモデルのスケーラビリティ向上が課題。
- 既存手法は時空間パッチを使用し，トークン数が過剰になり計算効率が悪い。
- パノラマ的サブオブジェクト軌跡に基づき，効率的なトークン化を実現する。
- 提案手法TrajViTは，ビデオとテキストの検索において，ViT3Dよりも6%高いtop-5 recallを達成し，トークン数を10分の1に削減した。
- VideoQAベンチマーク6つにおいて，ViT3Dよりも平均5.2%の性能向上を示し，学習時間は4分の1，推論FLOPsは18分の1に減少した。
- TrajViTは多様なビデオ解析タスクにおいてViT3Dを上回り，スケーラブルな効率的なエンコーダーとなる。
多肢選択を超えて：要約のための操舵ベクトルの評価 [cs.LG, cs.CL]目的：要約における話題，感情，毒性，可読性の制御
- 自然言語処理におけるテキスト生成の制御は，多様な応用を可能にする上で重要である。
- 生成モデルの制御は難しく，品質低下や不正確な情報の生成を招く可能性がある。
- 操舵ベクトルの制御能力と品質のバランスを評価し，最適な制御方法を模索する。
- 操舵ベクトルは，特定のテキスト特性を効果的に制御できることが示された。
- しかし，強い操舵力は，反復や事実誤認を引き起こす可能性が示唆された。
- プロンプトと操舵ベクトルを組み合わせることで，制御性と品質の最適なバランスが得られることがわかった。
ニューラル分散を考慮した二者択一バンディット：深層表現と浅い探索 [cs.LG, stat.ML]目的：文脈的二者択一バンディット問題に対する分散を考慮したアルゴリズム
- 強化学習の分野において，文脈に応じた最適な行動選択は重要な課題である。
- 既存手法では，非線形な報酬関数の近似や探索と活用のバランスが難しい場合がある。
- 不確実性を考慮した探索戦略により，効率的な学習と最適な行動選択を実現する。
- 提案手法は，ニューラルネットワークを用いて非線形な報酬関数を近似し，分散を考慮した探索戦略を採用する。
- 理論的な解析により，提案アルゴリズムが亜線形累積平均リグレットを持つことが示された。
- 合成データと実世界のタスクの両方において，提案手法が既存手法を上回る性能を示すことが確認された。
多段階の複雑さを克服するマルチモーダル心の理論推論：スケーラブルなベイズプランナー [cs.AI, cs.CL]目的：マルチモーダル環境における心の理論推論の複雑性に対処するためのスケーラブルなベイズプランナー
- 社会認知の基盤となる心の理論は，人間関係や協力において不可欠であり，その計算機モデル化が重要である。
- 既存手法は，タスクの複雑化やマルチモーダル環境への適用において，スケーラビリティや汎化性能に課題がある。
- 本研究は，より複雑な状況下で人間の心の状態を正確にモデル化することを目的とする。
- 提案手法は，既存の最先端技術と比較して，マルチモーダル心の理論ベンチマークで4.6%の精度向上を達成した。
- この手法は，従来のモデルが苦手とする未見のシナリオにおいても高い性能を示し，新しい基準を確立した。
- 小さな言語モデルで心の理論特有の尤度推定を専門とし，それを大規模言語モデルに転送することで，効率的な推論を実現している。
TAH-QUANT：低速ネットワークにおけるパイプライン並列処理による効果的な活性化量子化 [cs.LG]目的：大規模言語モデルの分散学習における活性化量子化手法
- 地理的に分散した環境で大規模モデルを学習するには，計算資源の共同利用が不可欠である。
- パイプライン並列処理は大規模モデルを扱う上で有効だが，ネットワーク帯域幅の制限がボトルネックとなりやすい。
- ネットワーク通信のオーバーヘッドを削減し，学習速度を向上させる活性化量子化手法の開発。
- TAH-Quantは，タイル単位の適応型ハダマール量子化により，3-4ビットという高い量子化率を実現した。
- FP32と比較して最大4.3倍のスループット向上，AQ-SGDと比較して最大1.33倍のウォールクロック時間短縮を達成した。
- TAH-Quantは学習収束性を維持し，AQ-SGDの活性化キャッシュオーバーヘッドを回避しながら，様々な学習シナリオで良好な汎化性能を示した。
グラフ上フィルタリングにおける量子化ノイズ低減のための定量的な誤差フィードバック [cs.LG, cs.MA, cs.SY, eess.SY]目的：グラフ上フィルタリングにおける量子化ノイズ低減
- グラフニューラルネットワーク等の応用拡大に伴い，分散環境での効率的な信号処理が重要になっている。
- 通信制約下では量子化が必須となるが，量子化ノイズがフィルタリング性能を劣化させるという課題がある。
- 量子化ノイズを定量的にフィードバックすることで，ノイズの影響を正確に補償し，フィルタリング精度を向上させる。
- 本研究で提案する誤差フィードバックフレームワークは，様々なグラフ構造や更新方法において，量子化ノイズを大幅に低減することが理論的に示された。
- 最適誤差フィードバック係数について閉形式解が得られ，分散最適化フレームワークへの統合も可能であることが確認された。
- 数値実験により，提案手法が従来の量子化戦略と比較して，精度とロバスト性の両面で優れていることが示された。
Transformerと大規模言語モデルにおける関係性推論と誘導バイアス [cs.LG, q-bio.NC]目的：Transformerにおける関係性推論のメカニズムの解明
- 近年，Transformerが高度な推論能力を示すが，その基盤となる関係性推論は未解明な点が多い。
- 従来のモデルでは，関係性を明示的に学習できず，複雑な推論タスクにおいて性能が限界を迎える場合がある。
- Transformerがどのように関係性を学習し，推論を行うかを明らかにすることで，より高度なAI開発に貢献する。
- Transformerは，線形埋め込みを学習し，人間や動物と同様の行動効果を示す推移的推論を可能にする。
- In-context learningモデルは，訓練データによって推移的な一般化が可能だが，それ以外の場合は単純なマッチングとコピー戦略を学習する。
- ICLモデルを線形回帰タスクで事前学習させることで，IWLモデルに類似した行動と内部表現が得られることが示された。
CodeBrain：非連結型トークナイザーとマルチスケールアーキテクチャを組み合わせた脳波基盤モデル [cs.CL, cs.LG]目的：脳波基盤モデルにおける表現能力の向上と解釈可能性の提供
- 脳波はリアルタイムな脳活動情報を提供し，神経科学分野の多様な応用を支える重要な技術である。
- 既存の脳波基盤モデルは，臨床的に解釈困難な表現や，識別力の低さが課題となっていた。
- 本研究は，脳波信号の特徴を効率的に捉え，より解釈可能なモデルを構築することを目指す。
- 提案手法CodeBrainは，異なる時間・周波数特性を持つ脳波信号を分離し，識別力を向上させるトークナイザーを導入した。
- マルチスケールEEGSSMアーキテクチャにより，脳のsmall-world特性を反映し，長距離および局所的な依存関係を効率的に捉える。
- 大規模な脳波データセットでの事前学習により，8つの下流タスクと10のデータセットで高い汎化性能と分布シフトへの頑健性を示した。
計画による効率的なLLM連携 [cs.AI]目的：大規模言語モデルと小規模言語モデルの効率的な連携手法
- LLMの性能向上は目覚ましいが，推論コストが高い点が課題となっている。
- 小規模モデルは低コストだが，複雑なタスクでの性能が十分でない。
- 両モデルの長所を活かし，コスト効率の良い推論を実現すること。
- 提案手法COPEは，プランナーモデルが生成した計画に基づいて，executorモデルがタスクを実行する。
- 大規模モデルと小規模モデルを交互にプランナーとexecutorとして利用することで，コストを削減。
- 数学，コード生成，自由記述，エージェントタスクにおいて，COPEは大規模モデルと同等の性能を示した。
ノイズの多い言語モデル事前知識を用いた逐次因果探索 [cs.LG]目的：観測データからの因果関係の発見
- 因果推論は科学的発見や意思決定の基盤であり，その重要性は高い。
- 既存手法は完全なデータと専門家の知識を前提とし，現実のデータへの適用が困難。
- 不完全データや限られた専門知識下でも因果関係を探索する枠組みを構築する。
- 本研究では，逐次的なバッチデータとノイズを含む言語モデルの知識を統合するハイブリッドな枠組みを提案した。
- DAGからPAGへの表現の変換により，言語モデルの知識と局所的な観測データを整合的に組み合わせることが可能になった。
- 様々なデータセットと言語モデルを用いて，構造的正確性とパラメータ推定において既存手法を上回る性能を示した。
FeDa4Fair：公平性評価のためのクライアントレベルの連合データセット [cs.DB, cs.HC, cs.LG, cs.AI]目的：連合学習における公平性評価のためのデータセットとベンチマークフレームワーク
- プライバシー保護と機械学習の発展は重要であり，連合学習はその両立を目指す。
- 連合学習では，クライアントレベルでの差別が残り，公平性の見せかけが生じることがある。
- 属性間および値ごとのバイアスに対処可能な公平性評価フレームワークの構築。
- FeDa4Fairは，クライアントのバイアスが異質な状況下での公平な連合学習手法を評価するためのライブラリである。
- FeDa4Fairライブラリを用いて生成されたベンチマークスイートを公開し，公平な連合学習手法の評価を標準化する。
- これらのデータセットに対する公平性の評価を行うための関数を簡単に利用できる。
推論モデルはどこで拒否するのか [cs.RO, cs.CL, cs.AI, cs.LG]目的：推論モデルにおける拒否判断の発生箇所
- 有害な要求への対応は，AIの安全性において不可欠であり，モデルの倫理的な利用を保証する上で重要である。
- 従来のチャットモデルでは，最初のトークン生成前に拒否判断が行われるが，推論モデルではそのタイミングが不明確である。
- 推論過程における拒否判断のメカニズムを解明し，有害な応答を抑制するための指針を得る。
- 推論過程（CoT）は，拒否結果に因果的に影響を与え，特定の推論軌跡を固定することで，モデルの拒否/応答のばらつきを減少させる。
- 蒸留モデルでは，推論の冒頭一文の違いが拒否判断を決定することがあり，そのパターンは教師モデル間で転移する。
- モデル活性化からの線形拒否方向を削除すると，有害な応答が増加するが，非推論モデルほど効果的ではなく，汎用能力も低下する。
不規則な時系列データに対する整合性保証付き因果探索 [cs.LG, cs.AI]目的：不規則にサンプリングされた時系列データにおける因果関係の発見
- 金融，医療，気候科学など，リスクに敏感な分野でデータ欠損や不規則なサンプリングが因果メカニズムを歪めるため，因果探索は重要である。
- データ補完と因果構造学習の間の相互依存関係が課題であり，補完エラーと構造学習エラーが相互に悪化し，不正確な因果グラフにつながる。
- 補完と構造学習の整合性を保証するメカニズムを導入し，不規則なサンプリングや欠損データ下での因果構造の正確な復元を目指す。
- 提案手法ReTimeCausalは，EMベースのフレームワークを用いて，補完と構造学習を交互に行い，最適化プロセス全体を通して構造的整合性を促進する。
- 理論的な整合性保証を提供し，不規則サンプリングや高欠損率の条件下で古典的な結果を拡張する。
- 合成データと実データにおける実験により，ReTimeCausalが，困難な不規則サンプリングや欠損データ下で既存手法よりも効果的であることが示された。
ヨーロッパ議会演説におけるエリートの分極化：大規模言語モデルを用いた新たな測定手法 [cs.IR, cs.CL, cs.AI]目的：政治エリート間の相互評価における分極化の測定
- 民主主義の安定，ポピュリズム，政党システムの危機を理解する上で，エリート間の関係性が重要である。
- 既存の研究では，大衆の感情的な分極化やエリートのイデオロギー的距離は測定できるが，エリート間の相互評価は十分ではない。
- 議会演説におけるエリート間の敵意を定量化し，分極化の新たな指標を開発すること。
- 本研究で開発された「エリート分極化スコア」は，議会演説における政党間の否定的な評価を測定する。
- イギリス，ハンガリー，イタリアの議会データを分析した結果，この指標は既存の分極化指標とは概念的・実証的に区別されることが示された。
- 大規模言語モデルの活用により，多言語対応でスケーラブルな分析が可能となり，国際比較研究への応用が期待される。
生成モデルにおけるウォーターマーク偽造の軽減：ランダム化されたキー選択による [cs.CR, cs.AI, cs.LG]目的：生成AIモデルが生成したコンテンツの検証
- AI生成コンテンツの普及に伴い，著作権保護や信頼性確保が重要になっている。
- ウォーターマークを悪用した偽造攻撃により，AI提供者の信頼が損なわれるリスクがある。
- 攻撃者が多数のウォーターマーク付きサンプルを収集しても，偽造を防止する手法を開発する。
- 提案手法は，攻撃者が収集したウォーターマーク付きコンテンツの数に関わらず，偽造耐性があることを理論的に証明した。
- 各クエリごとにウォーターマークキーをランダム化し，正確に1つのキーでのみ検出されたコンテンツを本物と判定する。
- 画像とテキストの両モダリティで効果が確認され，計算コストも無視できる程度である。
行動チャンキングによる強化学習 [cs.LG, cs.AI, cs.RO, stat.ML]目的：長期的かつ疎な報酬タスクに対する強化学習アルゴリズムの改善
- 強化学習は，ロボット工学やゲームなど，様々な分野で自律的な意思決定を可能にする重要な技術である。
- オフラインデータからの効率的な学習と，探索の課題が，サンプル効率の良いオンライン学習のボトルネックとなっている。
- オフラインデータの利用による効果的な探索と，安定した効率的なTD学習を実現することを目指す。
- Q-chunkingは，行動チャンキングをTDベースの強化学習に適用し，探索の課題を軽減する。
- 実験結果は，Q-chunkingが優れたオフライン性能とオンラインサンプル効率を示し，既存手法を上回ることを示す。
- 一連の長期的で疎な報酬のマニピュレーションタスクにおいて，Q-chunkingは優れた結果を達成した。
TinyTroupe：LLMを活用した多エージェントペルソナシミュレーションツールキット [eess.SY, cs.SY, cs.MA, cs.AI, cs.CL, cs.HC]目的：多エージェントシステムにおける現実的な人間行動シミュレーションの実現
- LLMの発展により自律エージェントの研究が活発化しており，社会シミュレーション等への応用が期待される。
- 既存のMASライブラリは，詳細なペルソナ設定や検証機能が不足しており，行動研究への利用が制限されている。
- TinyTroupeは，詳細なペルソナ定義とLLM制御により，個別の行動問題や集団行動の解決を目指す。
- TinyTroupeは，国籍，年齢，職業，性格，信念，行動といった詳細なペルソナ定義を可能にする。
- 本ツールキットは，ブレインストーミングや市場調査といった実用的な問題設定と解決策を提供できる。
- 定量および定性評価の結果，TinyTroupeの有用性，限界，トレードオフが示された。
心血管疾患の診断と予後のための説明可能な機械学習フレームワーク [cs.LG, cs.AI]目的：心血管疾患の診断と予後に関する機械学習フレームワーク
- 心血管疾患は世界的な健康問題であり，特に医療インフラが不十分な地域で深刻である。
- 従来の診断手法は，心疾患リスクの正確な検出と管理に限界があり，予後不良を招く場合がある。
- 機械学習を活用し，心血管疾患の診断と予後予測の精度向上を目指す。
- ランダムフォレスト分類器は，実際のデータで0.972，合成データで0.976の高い精度を達成した。
- 線形回帰モデルは，実際のデータと合成データ両方でそれぞれ0.984と0.992の高いR2値を記録した。
- 説明可能なAI技術により，モデルの予測結果の解釈可能性を高めた。
温度とペルソナがLLMエージェントの合意形成に与える影響：定性的コーディングにおけるわずかな精度向上 [cs.CL, cs.AI]目的：LLMを用いた多エージェントシステムにおける，ペルソナと温度が合意形成およびコーディング精度に及ぼす影響の分析
- 大規模言語モデルは，教育データ等の定性的研究を大規模に行う可能性を秘めている。
- 多エージェントシステムが単一エージェントよりもコーディングにおいて優位性があるかは不明である。
- LLMエージェントのペルソナと温度が合意形成に与える影響を明らかにすること。
- 温度は，全LLMにおいて合意に達するかどうか，またいつ達するかという点に有意な影響を与えた。
- 複数のペルソナ（中立，積極的，共感的）を持つMASは，6つのLLMのうち4つで合意形成を遅らせた。
- 温度やペルソナの組み合わせは，コーディング精度を大幅に向上させなかった。単一エージェントがMASの合意と同等またはそれ以上の性能を発揮した。
HAMLET：ライブ演劇のための階層型適応マルチエージェントフレームワーク [cs.CL, cs.AI, cs.MA]目的：ライブ演劇におけるドラマ生成とリアルタイムパフォーマンスの実現
- インタラクティブな物語体験は重要であり，没入感の向上が求められている。
- 既存のドラマ生成手法は，自発性や物理的環境とのインタラクションに課題がある。
- HAMLETは，シンプルなテーマから自律的な演劇体験を創出することを目指す。
- HAMLETは，ナラティブブループリントを用いて即興パフォーマンスを誘導する。
- 各アクターは適応的推論モジュールを備え，複雑な状況下で自律的に行動する。
- アクターは小道具を操作することで環境とインタラクトし，演劇体験を豊かにする。
等変性ボルumetricグラッピング [cs.AR, cs.RO, cs.AI]目的：回転に対する等変性を持つボルumetricグラップモデル
- ロボットハンドによる物体把持は，自動化において重要な課題である。
- 既存の把持計画手法は計算コストが高く，効率性に課題がある。
- 計算効率を向上させる新たな把持モデルを開発すること。
- 提案手法は，3つの主要平面への3D特徴量投影に基づく等変性モデルを採用する。
- 水平面上の特徴量は90度回転に対して等変性，他の2面は反射に対して不変性を示す。
- 実験の結果，提案手法は計算・メモリコストを削減し，既存手法を上回る性能を実証した。
AI評価における人間テストの使用停止と，AI固有の原理に基づいたテストの開発 [cs.HC, cs.LG, cs.AI]目的：AI固有の評価フレームワークの開発
- AI技術の発展は目覚ましいが，その能力を測る評価方法が確立されていない。
- 人間を対象とした心理テストをAIに適用することで，誤った解釈が生じる可能性がある。
- AIの特性に適合した，客観的で妥当な評価方法を確立する必要がある。
- 大規模言語モデル(LLM)の人間テストにおける高スコアは，人間のような特性の誤認を招く可能性がある。
- 既存の人間心理テストはAIへの適用に関して検証が不十分であり，妥当性やバイアスの問題がある。
- AI固有の評価フレームワークは，AIの能力をより正確に評価し，開発を促進するために不可欠である。
PA-RNet: 擾乱を考慮した残差ネットワークによるロバストな多変量時系列予測 [cs.CL, cs.LG]目的：多変量時系列予測におけるロバスト性の向上
- 実世界における多変量時系列予測の重要性が増しており，テキスト情報と数値データの統合が求められている。
- テキスト情報にはノイズが含まれる可能性があり，予測性能を低下させるという課題が存在する。
- ノイズの影響を受けにくい，ロバストな多変量時系列予測モデルの開発を目指す。
- 提案手法PA-RNetは，テキスト情報の擾乱を考慮し，安定した文脈情報を保持しながら誤解を招く信号を低減する。
- 理論的にPA-RNetがテキスト埋め込みに対してリプシッツ連続性を持つこと，スペクトル残差補正が予測誤差を低減することを証明した。
- 多様なドメインにおける実験により，PA-RNetが最先端のベースラインを上回り，安定した予測性能を維持することが示された。
タスクの複雑性がニューラルネットワークにおける内部表現とロバスト性を形作る [cs.CE, cs.LG, cs.AI, physics.soc-ph]目的：ニューラルネットワークの内部表現が入力データの複雑さと解決する問題によってどのように形作られるかの解明
- ニューラルネットワークは多様なタスクで高い性能を示すが，その内部動作はブラックボックスである。
- タスクの難易度がニューラルネットワークの表現のトポロジーやロバスト性に与える影響が不明である。
- タスク難易度を考慮したモデル圧縮や解釈性の向上に繋がる知見の獲得を目指す。
- 難易度の高いタスクのモデルを二値化すると精度が著しく低下するが，難易度の低いタスクのモデルはロバスト性を維持する。
- 難易度の高いタスクの二値化モデルにおいて，低マグニチュードのエッジをプルーニングすると，性能に急激な相転移が生じる。
- 適度なノイズ注入が精度を向上させる現象が認められ，小マグニチュードの重みの符号反転と関連する確率共鳴効果を示唆する。
不安定な通信路における準同型状態符号化を用いたロバストなリモート強化学習 [cs.LG, cs.IT, cs.MA, math.IT]目的：不安定な通信路環境下でのリモート強化学習
- ロボット制御や分散システムにおいて，遠隔からの情報に基づいた意思決定は不可欠である。
- 通信路の信頼性が低い場合，状態情報の欠損や遅延が生じ，強化学習の性能が低下する。
- 通信路の不安定性に対処し，効率的な学習を実現する新しいアーキテクチャを提案する。
- 提案手法HR3Lは，勾配情報の交換を必要とせず，分散学習を可能にする。
- 実験結果から，HR3Lはサンプル効率が大幅に向上し，学習速度が向上し，通信オーバーヘッドが削減されることが示された。
- HR3Lは，パケット損失，遅延，帯域幅制限といった様々なシナリオに適応し，性能劣化を抑制できる。
あなたの救済策は，私の損失？共有制約下でのアルゴリズム的救済 [cs.CL, cs.AI]目的：制約条件下での複数主体間のアルゴリズム的救済策の最適化
- 機械学習は重要な意思決定に利用され，その透明性と公正性が求められている。
- 既存研究は個別最適化に偏っており，資源制約下での複数主体の相互作用が考慮されていない。
- 複数主体間の救済策が互いに影響し合う状況下で，社会全体の厚生を最大化することを目指す。
- 本研究では，救済策を二部グラフのマッチング問題としてモデル化し，容量制約を考慮した最適化手法を提案した。
- 提案手法は，社会厚生の向上に加え，不利な立場にある救済希望者への配慮も可能にする。
- 実験結果から，本フレームワークがシステム設定の変更を最小限に抑えつつ，ほぼ最適な厚生を達成できることが示された。
ランダム化PCAフォレストによる教師なし外れ値検出 [cs.LG, cs.AI, stat.ML]目的：教師なし外れ値検出手法
- 異常検知は，不正検知や品質管理など，幅広い分野で重要である。
- 既存手法では，計算コストが高い場合や，複雑なデータへの適用が難しい場合がある。
- ランダム化PCAフォレストを用いて，効率的かつ高精度な外れ値検出を実現する。
- 提案手法は，複数のデータセットにおいて，古典的な手法や最新手法と比較して優れた性能を示した。
- 実験結果から，提案手法のロバスト性と計算効率が確認された。
- 提案手法は，教師なし外れ値検出において有望な選択肢となりうる。
イベントを考慮した非定常時系列予測 [cs.LG, cs.AI]目的：イベントと時系列データの相互作用による非定常時系列予測の精度向上
- エネルギーや交通など多様な分野で時系列予測が不可欠であり，その精度向上は重要である。
- テキスト等の外部イベントを組み込んだ予測は未開拓で，単一モダリティに依存するモデルの性能限界が課題である。
- 離散的なイベントと連続的な時系列データの統合，及びイベントによる変動を考慮した拡散過程の改善を目指す。
- 提案手法EventTSFは，時系列データとテキストイベントをステップごとの拡散を通して統合する自己回帰的拡散フレームワークである。
- イベントの意味内容に応じたフローマッチングタイムステップを使用し，不均衡なノイズ除去の難易度を緩和する。
- 実験の結果，EventTSFは既存の非定常時系列予測手法と比較して，確率予測で平均41.3%，決定論的予測で27.5%の性能向上を達成した。
主観論理を用いたAI学習データセットの信頼性評価：バイアスへの応用 [cs.LG, cs.AI]目的：AI学習データセットの信頼性評価手法
- AIの性能は学習データに依存するため，データセットの質が重要である。
- データセット全体の特性であるバイアスは，個々のデータだけでは評価が困難である。
- データセットレベルでバイアスなどの信頼性を定量的に評価する手法を確立する。
- 本研究では，主観論理に基づいたデータセット信頼性評価フレームワークを提案した。
- 提案手法は，不完全または矛盾する情報下でも，バイアスなどのグローバルな特性を評価できる。
- 交通標識認識データセットを用いた実験で，クラス不均衡を捉え，解釈性とロバスト性を示した。
物理情報とメタ機械学習を用いたマクロ基礎ダイアグラムの学習 [cs.LG]目的：マクロ基礎ダイアグラムの学習
- 交通流解析において，都市全体の交通状況を把握する上で基礎ダイアグラムは重要な役割を果たす。
- 基礎ダイアグラムの推定には多数のループコイルが必要だが，設置状況によってはデータ不足に陥る場合がある。
- データ不足の都市においても，基礎ダイアグラムを推定できる手法を開発することを目指す。
- メタ学習を用いることで，データ豊富な都市の知見をデータ不足の都市へ転移させることが可能となった。
- 提案手法は，複数の都市データを用いて学習し，異なる構造を持つ都市の基礎ダイアグラムの推定精度を向上させた。
- 流量予測において，平均絶対誤差を約50%改善し，多様な都市環境への汎用性を示した。
意味関係に基づいたマルチモーダル表現学習 [cs.CL, cs.LG, cs.AI]目的：マルチモーダル表現学習における意味関係の条件付き導入
- 画像とテキストの理解はAIの重要課題であり，人間らしい知能を実現する上で不可欠である。
- 既存手法では，一つのサンプルに対して単一の埋め込み表現が用いられ，意味関係に応じた柔軟性に欠ける。
- 意味関係を明示的に考慮することで，マルチモーダル表現の質と応用範囲の向上を目指す。
- 提案手法RCMLは，意味関係を条件としてマルチモーダル表現を学習するフレームワークである。
- 実験の結果，RCMLはゼロショット，ファインチューニング，および外域設定において，既存手法を上回る性能を示した。
- これは，意味関係を活用することで，マルチモーダル表現学習を効果的に導くことを示唆している。
GUARD：適応的ロールプレイと脱獄診断によるLLMのガイドライン遵守テスト [cs.CL, cs.AI, cs.CV]目的：LLMのガイドライン遵守の検証
- LLMは様々な分野で不可欠になりつつあり，その安全性確保は社会的な要請となっている。
- 政府が発行する倫理的ガイドラインは抽象的で，具体的なテスト項目への落とし込みが課題である。
- ガイドラインを具体的なテスト項目に変換し，LLMの遵守状況を評価することを目的とする。
- GUARDは，政府発行のガイドラインに基づき，違反を誘発する質問を自動生成し，LLMの応答を評価する。
- 違反が直接見られない場合でも，「脱獄」診断GUARD-JDを用いて，安全機構を回避する可能性のあるシナリオを特定する。
- Vicuna-13Bなど8つのLLMで実証実験を行い，3つの政府ガイドラインへの準拠度と脱獄診断の有効性を検証した。
トークン・バンチャー：有害な強化学習ファインチューニングからLLMを保護 [cs.LG, cs.CL]目的：LLMの有害な利用を防ぐための防御策
- LLMの能力向上に伴い，悪用リスクも増大しており，安全性確保が重要である。
- 従来の防御策は教師あり学習による悪用を想定していたが，強化学習による悪用に対する対策は不足している。
- 強化学習を利用したLLMの安全性低下を防ぎ，悪意のあるタスク支援機能を抑制することを目指す。
- 本研究で提案するTokenBuncherは，強化学習におけるモデル応答のエントロピーを抑制することで，有害なファインチューニングを効果的に軽減する。
- TokenBuncherは，エントロピーを報酬とする強化学習と，トークンノイザー機構により，有害な能力の拡大を防止する。
- 複数のモデルと強化学習アルゴリズムを用いた実験により，TokenBuncherが有害な強化学習ファインチューニングを頑健に緩和しつつ，有用な機能を維持することが示された。
合成データ公開における局所尤度攻撃を通じたプライバシー監査 [cs.LG, stat.ML]目的：合成データ公開時のプライバシー漏洩の評価
- データ利活用とプライバシー保護の両立が重要視される中，合成データの安全な公開が求められている。
- 既存のプライバシー監査手法は，不確かな仮定に基づき，合成データ経由での学習データ漏洩検出能力に限界がある。
- 生成モデルの過学習に着目し，モデル知識なしでプライバシーリスクを定量的に評価する手法を提案する。
- 提案手法Gen-LRAは，サーロゲートモデルを用いた局所尤度比推定により，効率的なプライバシー監査を実現する。
- 理論的な分析により，Gen-LRAスコアが局所的な密度比統計量として表現され，過学習下でメンバーと非メンバー間のスコア差が理論的に保証されることを示す。
- 多様なデータセットと生成モデルに対する実験により，Gen-LRAが既存手法と比較して高い精度を持つことが確認された。
Scam2Prompt：実運用LLMにおける悪意のある詐欺エンドポイントを監査するためのスケーラブルなフレームワーク [cs.CR, cs.AI, cs.SE]目的：LLMにおける詐欺サイトの悪意を検出し，それを再現するプロンプトを生成することによる脆弱性評価
- LLMはソフトウェア開発に不可欠だが，学習データに含まれる悪意のあるコンテンツのリスクがある。
- LLMが詐欺的なURLを生成する可能性は存在するが，その評価方法が確立されていない。
- 実運用LLMにおける詐欺サイトを模倣したプロンプトに対する脆弱性を定量的に評価する。
- Scam2Promptを用いて4つのLLMを評価した結果，4.24%のケースで悪意のあるURL生成が確認された。
- Innoc2Scam-benchを用いて検証した結果，最新のLLMにおいても高い割合で悪意のあるコード生成が確認された。
- 既存の安全対策では，この脆弱性を効果的に防ぐことは難しいことが示された。
Top-Hデコーディング：テキスト生成における有界エントロピーを用いた創造性と一貫性の調整 [cs.CL, cs.AI, stat.ML]目的：テキスト生成における創造性と一貫性のバランス改善
- 大規模言語モデルは多様なタスクで高い性能を示すが，生成テキストの質をさらに向上させる余地がある。
- 既存のTruncated Sampling手法は，モデルの確信度をサンプリング戦略に効果的に組み込むことが難しい。
- モデルの確信度を考慮した効率的なデコーディングアルゴリズムを開発し，テキスト生成の質を向上させる。
- 提案手法Top-Hデコーディングは，既存手法min-pサンプリングと比較して，創造性を評価するベンチマークで最大25.63%の性能向上を達成した。
- 質問応答データセット（GPQA，GSM8K，MT-Bench）においても，Top-Hデコーディングは頑健性を維持している。
- LLM-as-judge評価により，Top-Hデコーディングは高い温度設定下でも一貫性のある出力を生成することが確認された。
AU-Harness：音声LLMの包括的評価のためのオープンソースツールキット [cs.SD, cs.AI, cs.LG, eess.AS]目的：音声LLMの包括的評価
- 近年，音声LLMが急速に進歩しており，その性能評価が重要となっている。
- 既存の評価ツールキットは非効率で標準化されておらず，公平な比較が困難である。
- 大規模な評価を可能にし，音声LLMの真の推論能力を明らかにすること。
- AU-Harnessは，最適化されたバッチ処理と並列実行により，既存のツールキットと比較して最大151%の高速化を実現した。
- 標準化されたプロンプトプロトコルと柔軟な設定により，多様なシナリオでの公平なモデル比較が可能となった。
- マルチターン対話のダイナミクスなど，統一された基盤なしでは困難だった詳細な分析が可能となり，音声LLMの限界に関する知見も得られる。
強化学習による微調整は，SFTにおける分布外忘却を改善する [cs.CL, cs.LG, cs.AI]目的：大規模言語モデルの分布内・分布外推論における挙動の分析
- 大規模言語モデルの性能向上は，様々な応用において重要であり，継続的な研究が必要である。
- SFT後のRLによる微調整は有効だが，そのメカニズムは十分に解明されていない。
- SFTで低下する分布外性能を，RLによって回復させるメカニズムを明らかにすること。
- SFT初期段階で分布外性能がピークに達し，その後SFTを進めるにつれて低下する傾向が確認された。
- RLは，SFTの初期段階の分布外性能を超えることは少なく，むしろSFTによって失われた能力を回復させる役割を担っている。
- この忘却と回復のパターンは，特異ベクトル回転と相関しており，特異値は安定していることが示された。
トークン認識位相注意による位置エンコーディング [cs.CL, cs.AI]目的：長文脈における注意機構の性能向上
- 自然言語処理において，長文脈を扱う能力は，モデルの性能を大きく左右する重要な要素である。
- 既存の位置エンコーディング法は，文脈長が長くなるにつれて注意スコアに距離依存的な偏りが生じ，性能が低下する問題がある。
- 本研究では，学習可能な位相関数を注意機構に組み込むことで，この偏りを軽減し，長文脈での性能を向上させることを目指す。
- 提案手法TAPAは，RoPEスタイルのベースラインと比較して，大幅に低いパープレキシティとより強力な検索性能を長文脈領域で実現した。
- TAPAは，トークン間の長距離相互作用を維持し，直接的かつ軽量な継続事前学習によりより長い文脈に対応可能である。
- また，TAPAは未知の文脈長への外挿性能も示しており，RoPEの拡張法のような事後調整を必要としない。
明示的な推論がより優れた判断者を生み出す：精度，効率性，および頑健性に関する体系的な研究 [cs.AI, cs.CL]目的：大規模言語モデルを自動判断者として利用する際の信頼性，効率性，および頑健性の評価
- ベンチマークや報酬モデリングにおいて，大規模言語モデルの自動判断者としての利用が拡大している。
- 自動判断者の性能評価において，精度と効率性の両立が課題となっている。
- 明示的な推論能力が，自動判断者の性能向上に貢献するかどうかを検証する。
- 思考型LLMは，非思考型LLMと比較して，約10%高い精度をわずかな計算コスト増加（2倍未満）で達成した。
- 少数ショット学習などの拡張戦略は，高い計算コスト（8倍以上）でわずかな改善しか得られなかった。
- 思考型LLMは，位置，バンドワゴン，アイデンティティ，多様性，ランダムなどの様々なバイアス条件下で，一貫性を大幅に向上させた（平均で6%高い）。
教師としての計算：推論計算を教師なし監督学習へ [cs.LG]目的：推論計算による自己教師あり学習の枠組み
- 強化学習は，報酬関数の設計が課題である。質の高い報酬が学習成功の鍵となる。
- 教師データがない状況下での強化学習は，報酬設計が困難を極める。
- 推論計算自体を教師信号として利用し，報酬設計の課題を解決する。
- 推論時の並列ロールアウトから生成される疑似参照により，モデルは人間のラベルなしで学習可能となる。
- HealthBenchにおいて，CaTは推論時間集約の品質を維持しつつ，テスト時間計算量を9分の1に削減した。
- 専門医のアノテーションによる学習と同等以上の性能を示し，最大30%の相対的な改善を達成した。
完全分散型協調マルチエージェント強化学習は文脈モデリングの問題である [cs.LG]目的：完全分散型協調マルチエージェント強化学習における協調戦略学習の困難さ克服
- マルチエージェント強化学習は，複数のエージェントが協調して複雑な問題を解決する上で重要である。
- 他エージェントの行動を観測できない場合，価値関数の更新が非定常になり，過剰一般化が生じやすい。
- 他エージェントの行動をモデル化することで，非定常性と過剰一般化を同時に解決することを目指す。
- 提案手法DACは，各エージェントから見たタスクを文脈的マルコフ決定過程として定式化する。
- DACは，潜在変数を用いて文脈間のダイナミクス分布をモデル化し，価値関数の更新における非定常性を解消する。
- また，協調行動の選択を促進する楽観的周辺価値を導出し，価値関数推定における相対的な過剰一般化に対処する。
ミューオンとそれ以降の収束について [cs.LG]目的：ニューラルネットワークの訓練における行列構造パラメータの最適化手法であるミューオンの理論的限界の解明
- ニューラルネットワークの学習において，効率的な最適化手法の開発は，高性能なモデルの実現に不可欠である。
- ミューオンは実用上成功しているものの，その収束率に関する理論的な理解が十分でなかった。
- ミューオンの収束率を向上させるための手法として，分散減少型手法の有効性を検証する。
- 分散減少型手法を用いたミューオンの変種(Muon-MVR2)は，特定の学習率スケジュール下で最適な収束率$\widetilde{\mathcal{O}}(T^{-1/3})$を達成することが示された。
- Polyak–\L{}ojasiewicz(PL)条件の下では，Muon-MVR1とMuon-MVR2は，期待される二乗誤差の平方根に関する最適な収束率を達成することが示された。
- CIFAR-10とC4における実験結果は，提案された分散減少型ミューオン変種の有効性を裏付けている。
ソフトミンエネルギー最小化による大域的最適化 [cs.LG, math.OC]目的：非凸関数の大域的最適化手法
- 複雑な関数の最適化は，機械学習や工学など，多くの分野で不可欠である。
- 従来の勾配法は，局所的最小値に陥りやすく，大域的最適解を見つけるのが困難である。
- ソフトミンエネルギーを用いた新しい最適化手法により，局所的最小値からの脱出と収束速度の向上を目指す。
- 提案手法は，粒子群内のソフトミンエネルギーを用いて，探索と利用のバランスを取る。
- 理論的に，強凸関数において，少なくとも1つの粒子が大域的最小値に到達することを示す。
- ベンチマーク関数を用いた実験により，シミュレーテッドアニーリングよりも優れた性能が確認された。
摩擦Q学習 [eess.SY, cs.SY, cs.LG, cs.AI]目的：オフポリシー強化学習における外挿誤差の軽減
- 強化学習は，複雑な制御問題において最適な行動戦略を獲得するための重要な手法である。
- オフポリシー強化学習では，リプレイバッファに十分なデータがない行動を選択した場合に，外挿誤差が発生しやすい。
- 本研究は，静止摩擦の概念を用いて，オフポリシー強化学習の外挿誤差を抑制することを目的とする。
- 提案手法Frictional Q-Learningは，サポートされた行動を接線方向として符号化する。
- リプレイバッファを滑らかな多様体として捉え，外挿誤差を効率的に抑制する。
- 標準的な連続制御ベンチマークにおいて，既存手法と比較して安定した性能を示す。
学習カーネルを持つスペクトルアルゴリズムに対するアラインメント感応型ミニマックスレート [cs.LG, math.ST, stat.TH]目的：データから学習されるカーネルを持つスペクトルアルゴリズムにおけるミニマックスレートの解析
- 機械学習において，カーネル法は汎化性能に重要な役割を果たすため，その理論的理解は不可欠である。
- 従来のカーネル理論は固定カーネルを前提としており，データからカーネルを学習する場合の汎化性能の評価が困難である。
- 本研究は，学習されたカーネルを持つスペクトルアルゴリズムの汎化性能を評価するための新しい指標を導入し，理論的な上限を導出することを目指す。
- 有効スパン次元（ESD）を導入し，信号，スペクトル，ノイズレベルに依存するアラインメント感応型複雑度尺度を定義した。
- ESDがK以下である系列モデルに対し，ミニマックス超過リスクがσ^2 Kのオーダーでスケーリングすることを示した。
- 過パラメータ化された勾配フローがESDを削減し，適応的特徴学習がスペクトルアルゴリズムの汎化性能を向上させることを明らかにした。
リー群上のニューラル確率微分方程式に対する明示的かつ効果的に対称なスキーム [cs.LG, cs.NA, math.NA]目的：リー群上のニューラル確率微分方程式の効率的な解法
- 近年，ニューラル確率微分方程式は，複雑なデータ分布のモデリングにおいて重要な役割を果たしている。
- 従来の逆伝播法は，メモリ消費量が大きいか，精度の低い勾配近似となるという課題があった。
- 本研究では，メモリ効率と勾配精度を両立する新しいスキームを提案し，リー群上での適用を可能とする。
- 提案手法は，既存の可逆スキームと比較して，硬いドリフトや大きなステップサイズに対する安定性が向上した。
- ウィリアムソン2N-storage実現により，多様体値問題においてメモリ使用量を最大で1桁削減することに成功した。
- 効果的に対称な積分は，メモリ効率と安定性を兼ね備えたニューラル確率微分方程式の学習における基盤となり得る。
LiLAW：サンプル難易度を学習し，ノイズの多い学習を改善するための軽量学習適応重み付け [cs.LG]目的：深層ニューラルネットワークにおけるノイズとデータ異質性への対処
- 深層学習は多くの分野で成果を上げているが，ノイズやデータ品質のばらつきが課題となる。
- ノイズの多いデータや異質性のあるデータでの学習は，汎化性能の低下を招きやすい。
- サンプルごとの難易度を動的に評価し，学習に反映することで，ロバスト性を高める。
- LiLAWは，3つの学習可能なパラメータを用いてサンプルごとの損失重みを調整し，学習を効率化する。
- 様々なデータセットやノイズ条件下で，LiLAWは精度とAUROCを向上させ，特にノイズが多い環境で効果を発揮する。
- LiLAWは軽量かつ効率的であり，リソース制約のある環境でも容易に導入可能である。
ILPにおけるGNNの特徴拡張：局所的な一意性で十分 [cs.CL, cs.CL, cs.LG, math.OC]目的：整数線形計画問題(ILP)に対するGNNの性能向上
- 現実世界の最適化問題にILPが不可欠であり，効率的な解法が求められている。
- 標準的なGNNはILPに対する表現力が限られており，性能向上が課題である。
- ILPにおけるGNNの汎化性能を損なわずに表現力を向上させることを目指す。
- 局所的な一意性に基づく特徴拡張スキーム(Local-UID)が，グローバルな一意性(Global-UID)と同等の表現力を持ちながら，より優れた汎化性能を示すことを証明した。
- 提案手法ColorGNNおよびColorUIDは，様々なILPベンチマークにおいて，顕著かつ安定した性能向上を実現した。
- ノードのd-hop近傍内でのみ一意となる色情報を埋め込むことで，不必要な相関を回避し，汎化性能を高めている。