arXiv雑要約
AI - 2026/03/12 公開
コミュニケーション効率的なマルチモーダル連合学習：共同モダリティおよびクライアント選択 [cs.LG, cs.DC]目的：マルチモーダル連合学習におけるコミュニケーションオーバーヘッドの削減と精度維持
- データ収集環境の多様化に対応し，モデルの汎化性能を高めるための連合学習の重要性
- クライアントごとのモダリティ構成の非均一性と，通信制約によるモダリティエンコーダのアップロード制限
- モダリティエンコーダと融合モジュールの分離，および選択的なアップロードによる効率的な学習
- 提案手法MFedMCは，既存手法と同等の精度を維持しつつ，通信オーバーヘッドを20倍以上削減した。
- モダリティ選択においては，Shapley value分析，エンコーダサイズ，更新頻度を考慮することで，汎化性能を向上させている。
- クライアント選択は，各クライアントのモダリティエンコーダのローカル損失に基づいて行われ，効率的な学習を実現している。
AIによるヒントの説明をユーザー特性に合わせてパーソナライズ化：実証的評価 [eess.SY, cs.SY, cs.AI, cs.CY, cs.HC]目的：ユーザー特性に基づいたAI駆動ヒントの説明のパーソナライズ化
- 教育効果の向上には，学習者への適切なサポートが不可欠である。
- 認知欲求や誠実性の低い学習者は，説明を求めない傾向がある。
- パーソナライズされた説明により，学習者の理解と学習意欲を高める。
- パーソナライズ化されたヒントの説明は，対象ユーザーの説明への関与度を高めることが示された。
- ヒントの説明の理解度と，それによる学習効果も向上した。
- 本研究は，教育におけるパーソナライズされた説明可能なAI（PXAI）の価値に関する初期的な証拠を提供する。
大規模言語モデルによる言語のモデル化 [cs.CL, cs.AI]目的：大規模言語モデルの科学的モデルとしての価値
- 言語研究は，認知プロセスだけでなく，社会的な実体としての言語理解も重要である。
- 言語モデルが言語に関する洞察を提供しないという主張が存在する。
- 大規模言語モデルを言語のモデルとして捉えるためのモデル構築を試みる。
- 大規模言語モデルは，公的な言語の科学的モデルとして有用な役割を果たすことが示される。
- 言語モデルを単なる認知プロセス研究の道具ではなく，社会的な実体としての言語研究に活用できる。
- Weisbergのモデル解釈の概念に基づき，言語モデルの内部動作理解が言語モデルのモデル解釈に貢献する。
Mamba ニューラル演算子：勝者は？偏微分方程式におけるTransformer 対 状態空間モデル [cs.DM, math.CO, math.PR, cs.LG, cs.NA, math.NA]目的：偏微分方程式の解法における，Mamba ニューラル演算子の有効性
- 偏微分方程式は複雑な物理システムを記述する上で不可欠であり，その効率的な解法は科学技術の発展に寄与する。
- Transformer は高性能だが，連続的なダイナミクスや長距離相互作用の表現に課題がある。
- 状態空間モデルの構造化設計を活用し，Transformer の課題を克服し，より高精度な解法を実現すること。
- Mamba ニューラル演算子（MNO）は，状態空間モデルとニューラル演算子の間の理論的な繋がりを確立した。
- MNO は，従来の Transformer よりも長距離依存性と連続的なダイナミクスを効果的に捉えることが示された。
- MNO はニューラル演算子の表現力と精度を向上させ，偏微分方程式に関連するタスクにおいて Transformer を上回る性能を発揮する。
大規模言語モデルによる誘導探索を通じた解釈可能な制御方策の合成 [cs.AI, cs.SY, eess.SY]目的：解釈可能な制御方策の合成
- 複雑なシステムの制御は重要であり，自動化の鍵となるため。
- 従来の制御手法は，ブラックボックスなニューラルネットワークに依存し，解釈性が低い。
- 大規模言語モデルを活用し，解釈性と検証可能性を確保した制御方策を設計する。
- 制御方策をPythonなどの標準言語でプログラムとして表現することにより，透明性と解釈性を向上させている。
- 事前学習済みのLLMを用いて制御方策を探索・進化させることで，複雑な振る舞いを可能にする制御方策を生成する。
- 提案手法を，振り子制御やカップ内のボール制御といったタスクに適用し，有効性を示した。
EoRA：固有空間低ランク近似による圧縮LLMのファインチューニング不要な補償 [cs.CL, cs.AI]目的：圧縮LLMの精度向上と計算コストのバランス
- LLMは高性能だが，モデルサイズが大きく，計算コストが高い。効率的な利用が課題。
- モデル圧縮はサイズ削減に有効だが，精度低下や対応形式の制約がある。
- 圧縮LLMの精度を，ファインチューニングなしで効果的に回復すること。
- EoRAは，圧縮LLMに低ランク行列を追加することで精度を向上させる手法である。
- LLaMA3-8Bを3ビットに圧縮した場合，ARC-Challengeで10.84％，MathQAで6.74％，GSM8Kで11.45％の精度改善を達成した。
- 最適化されたCUDAカーネルにより，推論速度が最大1.4倍向上し，メモリオーバーヘッドを削減した。
タスク固有バッチ正規化と分布外検出を用いたクラス増分学習 [cs.CL, cs.LG, cs.CV]目的：画像分類における増分学習の課題解決
- 画像認識技術は医療，自動運転など多岐にわたる分野で重要性が増しており，継続的な学習が求められる。
- 従来の機械学習は，新しいタスクを学習する際に過去の知識を忘却しやすい（破滅的忘却）という課題がある。
- タスクIDなし環境下での増分学習を可能にし，破滅的忘却を抑制する新たなフレームワークを提案する。
- タスク固有のバッチ正規化と分類ヘッドを用いることで，特徴マップ分布をタスクごとに調整し，可塑性を高める。
- 分布外検出によりタスクIDを予測することで，タスクIDを利用する増分学習手法をタスクIDなし環境にも適用する。
- 医療画像データセットと自然画像データセットにおいて，最先端の性能を達成した。
トークンクリーニング：LLM教師ありファインチューニングのためのきめ細かいデータ選択 [cs.CL, cs.AI]目的：LLM教師ありファインチューニングにおけるデータ選択手法
- LLMの性能向上にはデータが不可欠だが，量より質が重要視されている。
- 既存手法はサンプル全体を対象とするため，サンプル内のトークンごとの品質に着目した研究が不足している。
- タスクに関連性の低いトークンを除去し，効率的な学習を可能にすること。
- 提案手法は，モデルの更新によるトークンへの影響を評価することでトークン品質を判定する。
- 固定の参照モデルまたは自己進化型参照モデルを用いてトークン影響度を測定し，閾値に基づきトークンを分離する。
- 実験結果から，提案手法が下流タスクの性能を安定的に向上させることが示された。
拡散に基づくニューラル組合せソルバーにおける推論時適応による問題汎化性能の向上 [cs.LG, cs.AI]目的：拡散ニューラル組合せ最適化における問題汎化
- 組合せ最適化問題は現実世界の様々な課題に応用され，効率的な解法が求められている。
- 既存手法は問題規模や種類によって性能が左右され，汎化性能が課題となっていた。
- 追加学習なしに問題や規模の異なる問題への適用を可能とする手法を提案する。
- 提案手法DIFU-Adaは，訓練済みのTSPソルバーを，追加学習なしでPCTSPやOPといった他の問題にも適用可能とした。
- 推論時の適応により，異なる問題規模に対しても競争力のある性能を維持した。
- 理論的な分析により，問題間の知識転移のメカニズムに関する理解を深めた。
CLIPは理想的か？いいえ。修正可能か？はい！ [cs.LG, cs.CV]目的：CLIPモデルの潜在空間の幾何学的性質の分析と，その限界を克服する新しいスコアリング手法の提案
- 画像とテキストの多Modalな学習は，AI研究において重要な課題であり，様々な応用が期待されている。
- CLIPモデルは広く利用されているが，複雑な視覚的・テキスト的相互作用の処理に限界があることが知られている。
- CLIPモデルの潜在空間の幾何学的な限界を明らかにし，それを克服する新しい手法を開発することを目指す。
- CLIPモデルの潜在空間は，基本的な記述，属性結合，空間的関係，否定といった複数の要素を同時に正しく表現できない幾何学的な限界を持つことが証明された。
- 本研究では，画像パッチとテキストトークンの意味的トポロジーを保持するDense Cosine Similarity Maps (DCSMs)を提案し，CLIPモデルの限界を克服する。
- 提案手法DCSMsは，様々なベンチマークにおいて既存のCLIPモデルよりも優れた性能を示すことが確認された。
深層音声ノイズ除去モデルは敵対的ノイズに対して頑健であるか？ [cs.SD, cs.LG, eess.AS]目的：深層音声ノイズ除去モデルの敵対的ノイズに対する脆弱性
- 音声技術は，様々な分野で重要性を増しており，その信頼性が求められている。
- 既存の音声ノイズ除去モデルは，敵対的ノイズに対して脆弱である可能性が指摘されている。
- 本研究は，深層学習を用いた音声ノイズ除去モデルの潜在的な脆弱性を評価する。
- 近年の深層音声ノイズ除去モデル4種類に対し，知覚的に隠された敵対的ノイズを加えることで，出力が不明瞭になることを示した。
- 3つのモデルにおいては，音声・マルチメディア専門家による聞き取り評価で，攻撃された音声が理解不能であることが確認された。
- 敵対的ノイズは一般的に知覚されにくいことがABXテストにより示されたが，被験者やサンプルによってばらつきが見られた。
非ユークリッド空間における共分散調整サポートベクター分類のためのアルゴリズム [cs.CL, cs.RO, cs.DC, cs.LG, stat.ML]目的：非ユークリッド空間における共分散調整サポートベクター分類手法
- 機械学習において，分類精度向上は重要な課題であり，特に複雑なデータ構造への対応が求められている。
- 従来のSVMはユークリッド空間を前提としており，非ユークリッド空間では最適性が損なわれる場合がある。
- データ共分散を考慮することで，非ユークリッド空間におけるSVM分類の精度向上を目指す。
- 本研究では，クラスの共分散構造をCholesky分解により組み込むことで，非ユークリッド空間におけるSVM分類手法を提案した。
- 提案手法は，線形SVMや他のカーネルSVMと比較して，精度，適合率，F1スコア，ROC性能において顕著な改善を示した。
- KKT条件のモデリングが非ユークリッド空間では最適ではないことが示され，クラス内データ共分散に基づく分類器が有効であることが確認された。
少ショット画像融合の再考：グラニュラーボール事前分布が汎用的な深層融合を可能にする [cs.GR, cs.CV, cs.LG, eess.IV, stat.ML]目的：画像融合における，少ない教師データでの効果的な融合規則学習
- 画像融合は，異なるセンサからの情報を統合し，より詳細な情報を得る上で重要である。
- 教師データとして理想的な融合画像が不足しているため，深層学習による画像融合は困難である。
- グラニュラーボール事前分布を用いて，少ないデータでも融合規則を学習することを可能にする。
- 提案手法は，わずか10組の画像ペアから抽出したパッチのみで学習し，効果的な融合規則を習得できる。
- 複数の融合タスクとデータセットにおいて，提案手法は視覚的品質とモデルのコンパクトさの両方で優れた性能を達成した。
- 本研究で導入する「不完全事前分布」は，アルゴリズムレベルで事前分布を記述し，その信頼性を推定する新しい概念である。
適応的タスク切り替え戦略を用いたスパイクニューラルネットワークによるスケーラブルなマルチタスク学習 [cs.NE, cs.AI, cs.LG, cs.RO]目的：知能を持つ自律エージェントのための，スケーラブルなマルチタスク学習手法
- 多様な実世界環境への適応には，複数のタスクを同時に学習できる自律エージェントが必要不可欠である。
- 従来のマルチタスク学習では，タスク間の干渉が性能低下の主な原因となっていた。
- 本研究は，適応的なタスク切り替え戦略により，タスク干渉を軽減し，スケーラブルなマルチタスク学習を実現する。
- 提案手法SwitchMTは，Atariゲーム（Pong, Breakout, Enduro）において，最先端の手法と競争力のあるスコアを達成した。
- SwitchMTは，タスク切り替え間隔を固定する従来の手法と比較して，より長いゲームプレイを可能にした。
- 本研究は，ネットワークの複雑さを増加させることなく，タスク干渉に対処できる有効な手法であることを示した。
大規模言語モデル心理測定：評価，妥当化，および強化に関する体系的レビュー [cs.CL, cs.AI, cs.HC]目的：大規模言語モデルの評価，理解，および能力向上
- AIの高度化に伴い，人間の知的能力や心理的特性を測る重要性が高まっている。
- 従来の評価手法では，LLMの人間らしい能力を正確に評価することが困難である。
- 心理測定学の知見を用いて，LLMの評価方法を確立し，その能力を向上させる。
- 本レビューは，LLMのベンチマーク原則の策定，評価範囲の拡大，方法論の改良に貢献する。
- 心理測定学の理論と手法をLLMに適用することで，より包括的な理解を促進する。
- 人間レベルのAI開発と，社会に貢献する人間中心AIシステムの実現に向けた洞察を提供する。
REI-Bench：埋め込み型エージェントは，タスクプランニングにおいて曖昧な人間の指示を理解できるか [cs.RO, cs.AI, cs.CL]目的：曖昧な指示表現を含む人間の指示が，LLMベースのロボットタスクプランニングに与える影響とその改善策
- ロボットは，高齢者や子供を含む様々なユーザーを支援する必要があり，そのためには自然な人間の指示の理解が不可欠である。
- 従来のタスクプランナーは，指示が明確であることを前提としており，現実世界の曖昧な指示への対応が課題であった。
- 指示表現の曖昧さがタスクプランニングの性能に与える悪影響を定量的に評価し，改善策を提案すること。
- 提案されたREI-Benchを用いて，曖昧な指示表現がロボットのタスクプランニングの成功率を最大36.9%低下させることを示した。
- 失敗例の多くは，プランナーがオブジェクトを特定できないことに起因することを明らかにした。
- タスク指向の文脈認識アプローチを導入することで，最新技術を上回る性能を達成し，ロボットのアクセシビリティ向上に貢献する。
カオス的ダイナミクスの事前学習済み予測モデルPanda [cs.LG, cs.NE, nlin.CD, stat.ML]目的：カオス的ダイナミクスの予測
- 現実世界の複雑な現象の予測は重要であり，流体力学や神経活動などへの応用が期待される。
- 従来のモデルは，特定の時系列データに特化するか，構造化されていない大量のデータに依存する傾向がある。
- Pandaは，進化アルゴリズムを用いて生成されたカオス的システムデータセットで学習し，汎用的な予測能力を獲得する。
- Pandaは，学習データに含まれていないカオス的システムに対しても，高い精度で予測が可能である。
- Pandaは，注意機構において非線形共鳴パターンを示し，その内部動作の理解に貢献する。
- Pandaは，常微分方程式のみで学習しているにも関わらず，追加の学習なしに偏微分方程式の予測にも成功している。
命令追従のための疑似コードによる学習 [cs.CL, cs.CL, cs.AI]目的：命令追従能力の向上
- 大規模言語モデルの性能向上は目覚ましいが，複雑な指示の理解は課題である。
- 自然言語による指示では，構成要素の複雑さにより追従が困難になる場合がある。
- 疑似コードを活用し，自然言語指示の理解を助ける学習方法を開発する。
- 疑似コードで学習させたモデルは，指示の追従において高い信頼性を示した。
- 指示追従ベンチマークにおいて，8-21%の相対的な性能向上が確認された。
- 数学的推論や常識的推論の性能を維持，または向上させることに成功した。
大規模言語モデルの限界に関する進化する研究のデータ駆動型サーベイ [cs.CL, cs.AI, cs.LG]目的：大規模言語モデルの限界に関する研究動向の定量的な把握
- 大規模言語モデルは急速に発展しているが，その限界への関心も高まっている。
- 限界に関する研究は増加しているものの，体系的な整理と分析が不足している。
- 大規模言語モデルの限界研究の現状と将来の方向性を明確にすること。
- 2022年から2025年初頭までの研究論文を分析した結果，LLM関連論文はACLで5倍以上，arXivで8倍近く増加していることが明らかになった。
- LLMの限界に関する研究は，特に推論，汎化，幻覚，バイアス，セキュリティの分野で活発に進められている。
- ACLデータセットでは研究トピックの分布は安定している一方，arXivではセキュリティリスク，幻覚，多変量への関心が高まっている。
複数の事前学習モデルにおける知覚誤差に基づく，一貫性に基づく仮説的推論 [cs.AI, cs.CV, cs.LG, cs.LO]目的：事前学習済み知覚モデルの予測不一致を，一貫性に基づく仮説的推論として管理すること
- 事前学習モデルは様々なタスクで高い性能を示すが，未知の環境下では性能が低下しやすい。
- メタ認知による誤り検出は精度向上に繋がる一方，再現率の低下が課題となることが多い。
- 複数のモデルを活用することで，再現率の低下を抑制し，よりロバストな推論を目指す。
- 提案手法は，シミュレーションデータセットにおいて，単一モデルや標準的なアンサンブル手法を上回る性能を示した。
- 特に，F1スコアは約13.6%，精度は約16.6%の平均相対改善を，15種類のテストデータセットで実現した。
- 一貫性に基づく仮説的推論が，複数の不完全なモデルからの知識を統合する効果的な手法であることを確認した。
CARTGen-IR: 不均衡回帰のための合成表形式データ生成 [cs.LG]目的：不均衡回帰問題に対する合成表形式データの生成
- 回帰分析において，ターゲット値の分布の偏りは，モデル性能を著しく低下させる重要な課題である。
- 既存手法は分類問題向けに開発されたものが多く，連続値のターゲットに閾値を設けることで問題設定が歪められる可能性がある。
- 本研究は，ターゲット値の疎な領域に対処し，現実的な表形式データを生成することで，不均衡回帰の改善を目指す。
- 提案手法は，既存の再サンプリング法や生成モデルと同等の性能を示すことがわかった。
- 特に，実行速度が速く，解釈可能性が高いという利点がある。
- 本手法は，不均衡なドメインにおける回帰モデルの改善に向けた，スケーラブルで解釈可能なデータレベル戦略として期待される。
小売売上予測のための最新機械学習モデルの比較分析 [cs.LG, cs.AI]目的：小売売上予測モデルの性能評価
- 小売業において，在庫最適化とコスト削減には正確な需要予測が不可欠である。
- 小売売上データは，欠損や商品の入れ替わりが頻繁に発生し，予測が難しい。
- 不規則な小売売上データに対する最適な予測モデルの特定を試みる。
- 局所的な木構造ベースのモデルが優れた性能を示し，XGBoostが最も低いRMSE（4.833）を達成した。
- SAITSベースの欠損値補完は，集計設定においてニューラルネットワークの性能を向上させたが，アンサンブル手法には劣った。
- 研究結果から，問題の特性とモデルの整合性を優先することが，アーキテクチャの複雑さよりも重要であることが示唆される。
視覚的ロボット計画のための自己改善ループ [cs.RO, cs.AI]目的：視覚的ロボット計画における自己改善ループの設計
- ロボットの自律性を高めるには，多様な環境への適応能力が不可欠である。
- 既存のロボット計画手法は，未知のタスクへの汎化性能に課題がある。
- 自己収集したデータを用いて，オンラインで継続的に性能を向上させること。
- SILVRは，自己生成した軌跡データを用いてビデオモデルを反復的に更新する。
- MetaWorldの多様なタスクと実ロボットアームによる操作タスクで性能向上が確認された。
- SILVRは，報酬関数や専門家のデモンストレーションなしでもロバストであり，サンプル効率も高い。
強化学習では学習できないこと：難問に対する交互オンラインファインチューニング [cs.AI, cs.LG]目的：大規模言語モデルの推論能力向上
- 大規模言語モデルの推論能力は，高度な計画や自己反省を可能にする重要な研究分野である。
- 従来の強化学習は，モデル既存の知識に基づき最適化されるため，新たな知識獲得が難しいという課題がある。
- 本研究は，強化学習では困難な問題に対して，高品質な教師データを用いたファインチューニングを組み込むことで，推論能力の限界を克服する。
- ReLIFTは，強化学習を主体としつつ，難問に遭遇した際にファインチューニングを交互に行うことで，モデルの推論能力を向上させる。
- ReLIFTは，5つの競技レベルベンチマークと1つの分布外ベンチマークにおいて，従来のゼロRLモデルと比較して平均+5.2ポイントの改善を達成した。
- 詳細な教師データの13%のみを使用しながら，強化学習とファインチューニングの両方を上回る性能を示し，スケーラビリティの高さが示された。
プレフィックス走査可能モデルにおける逐次-並列の二重性 [cs.LG]目的：近定数時間並列評価と線形時間定数空間逐次推論を可能とするニューラル系列モデルのクラスの特性評価
- 近年の深層学習では，並列化可能な学習と高速な逐次推論を両立する系列モデルが求められている。
- 既存モデルでは，推論速度と表現力のバランスが課題であり，効率的な系列モデリング手法が求められている。
- 逐次-並列の二重性を実現するモデルのクラスを定義し，その性能と可能性を探ることを目的とする。
- プレフィックス走査可能モデル（PSM）は，既存のアーキテクチャ（Mamba，GLAなど）を統合し，新たなモデル設計の可能性を示す。
- PSMは，トークンあたりの計算コストを定数時間，メモリ使用量を対数時間で抑え，Transformerと同等の表現力を維持する。
- 実験結果から，PSMはTransformerベースのモデルと同等の性能を持ちつつ，状態空間モデルの推論効率に匹敵することが示された。
機械学習における差分プライバシー：記号AIからLLMまで [cs.CR, cs.AI, cs.LG, cs.NE]目的：機械学習における差分プライバシーの包括的概観
- 個人情報保護はAI技術の社会実装において不可欠であり，プライバシー保護とデータ活用を両立させる必要がある。
- 機械学習モデルは，学習データに含まれる個人の情報を漏洩するリスクがあり，プライバシー侵害が懸念されている。
- 差分プライバシーの理論的枠組みと応用を整理し，プライバシー保護された機械学習システムの開発を促進する。
- 差分プライバシーは，個人のデータを含めるか除外するかによってアルゴリズムの出力が大きく変化しないことを保証することで，プライバシーリスクを軽減する。
- 本調査では，差分プライバシーの基礎的な定義から，主要な理論的・応用的な貢献までの変遷を辿る。
- また，機械学習モデルへの差分プライバシーの統合方法を詳細に検討し，実用的な評価手法についても解説する。
シルエット駆動インスタンス重み付き$k$-means [cs.LG]目的：クラスタリングにおける最適分割の獲得
- 多様な分野で利用される基礎的な教師なし学習手法である。
- 外れ値や曖昧な境界点の影響を受けやすく，最適な分割が得られない場合がある。
- シルエット係数に基づき，確信度の高いインスタンスを重視することで分割精度を向上させる。
- 提案手法K-Silは，シルエット係数の代理指標を用いてインスタンスに重みを付与し，$k$-meansの性能を改善する。
- 重み付き平均を用いた重心更新により，局所的な収束が理論的に保証される。
- 実際のデータセット実験において，$k$-meansや他の手法と比較して，内部・外部評価指標ともに一貫した改善が確認された。
効率的な自己回帰型画像生成のための局所性を考慮した並列デコーディング [cs.CY, cs.HC, cs.CV, cs.AI]目的：自己回帰型画像生成の高速化
- 画像生成は，AI技術の発展により，その重要性が増している。
- 従来の自己回帰型画像生成は逐次処理であり，処理速度が課題となっていた。
- 並列化による高速化と生成品質の両立を目指す。
- 提案手法により，生成ステップ数を大幅に削減することに成功した。
- ImageNetクラス条件付き生成において，生成品質を維持しつつ，既存手法よりも大幅に低遅延を実現した。
- 局所性を考慮した生成順序により，グループ内依存性を最小限に抑え，生成品質を向上させた。
AIチャットボットと精神疾患間の相互作用：技術的二重狂 [cs.HC, cs.CY, cs.HC, cs.AI, q-bio.NC]目的：AIチャットボットと精神疾患を持つ人々の間の相互作用によるリスク
- 現代社会では，孤立感の増大と精神医療サービスの不足が課題となっている。
- AIチャットボットとの過度な依存や，現実認識の歪みといった新たなリスクが懸念されている。
- 精神疾患を持つ人々がAIチャットボットから悪影響を受ける可能性を明らかにすること。
- AIチャットボットは，社会的な孤立や精神医療サービスの不足を補う形で利用が拡大している。
- 精神疾患を持つ人々は，AIチャットボットとの相互作用により，信念の不安定化や依存症のリスクが高まる可能性がある。
- 現状のAI安全対策では，このような相互作用に基づくリスクへの対応が不十分である。
コード生成を倫理的に調達するためには何が必要か [cs.CL, cs.SE, cs.AI]目的：倫理的で持続可能なコード生成モデル開発プロセス
- ソフトウェア開発におけるAI活用が進む中で，倫理的な問題への関心が高まっている。
- コード生成モデルのデータ収集から運用まで，倫理的配慮が不十分なケースが存在する。
- コード生成における倫理的な調達方法の体系化と実践を促進すること。
- 本研究では，データ収集から運用までの全プロセスを対象とした「倫理的コード生成(ES-CodeGen)」の概念を提唱した。
- 文献調査と32名の実務家へのアンケート調査から，ES-CodeGenの11の次元を特定し，コード品質の重要性も明らかにした。
- アンケート結果から，実務家は社会的な側面への配慮が不足している傾向にあり，本研究が理解促進に貢献することが示唆された。
キャッシュ内の影：LLM推論におけるKVキャッシュのプライバシーリスクの解明と軽減 [cs.CR, cs.AI, cs.CL]目的：LLM推論におけるKVキャッシュのプライバシーリスク
- LLMの普及に伴い，推論速度向上は重要な課題である。KVキャッシュはその鍵となる技術。
- KVキャッシュは効率化に貢献するが，その内部に機密情報が残留する可能性が懸念される。
- KVキャッシュに保存された情報から，ユーザーの入力情報を復元される問題を解決する。
- KVキャッシュからユーザー入力が直接再構成可能であることを示した。３種類の攻撃手法（Inversion, Collision, Injection）を提案。
- 提案手法KV-Cloakは，可逆行列を用いた難読化と演算融合により，KVキャッシュを保護する。
- KV-Cloakは全ての攻撃を効果的に防御し，モデル精度と性能への影響を最小限に抑える。
妖怪学習環境：時空間における信念の追跡 [cs.AI, cs.LG, cs.MA]目的：未知の協力者との協調
- 協調型AIにおいて，未知の相手との協力は重要な課題である。
- 既存の評価環境では，性能が飽和し，アルゴリズムの進捗を測りにくい。
- 共通認識の構築と信念更新を必要とする新たな評価環境を開発し，協調AIの課題を克服する。
- 新しい評価環境「妖怪学習環境」を開発し，既存手法がその中で課題を示すことを示した。
- 既存環境で高い性能を示す手法が，必ずしも新しい環境で優位性を示さないことが分かった。
- 「妖怪学習環境」は，協調AIの新たなベンチマークとして有効であることが示唆された。
トンプソンサンプリングによるシャープレシオ最適化における最適な後悔限界 [cs.LG, cs.IT, math.IT]目的：シャープレシオ最大化のための逐次的意思決定
- 金融工学やポートフォリオ最適化において，リスク調整後の収益であるシャープレシオは重要な指標である。
- 従来のバンディット問題は累積報酬の最大化に焦点を当てていたが，シャープレシオ最適化はリスク管理とのトレードオフを伴う。
- シャープレシオ最適化におけるトンプソンサンプリングアルゴリズムの性能限界を理論的に解明すること。
- 提案手法SRTSは，時間に対して対数的な後悔を示すことが証明された。
- シャープレシオの分布に依存する因子が，アームの識別難易度を捉えている。
- シミュレーションにより，提案アルゴリズムが既存の手法よりも大幅に優れていることが示された。
次トークン予測から(STRIPS)ワールドモデルへ [cs.SI, physics.data-an, cs.CL, cs.AI]目的：プランニングを支援するワールドモデルの実現
- AIにおける計画立案は，自律的なシステムの重要な要素である。
- 既存の手法では，複雑な環境下での汎化性能が課題となる場合が多い。
- 行動軌跡のみからSTRIPSモデルを学習し，正確な計画を可能とする。
- 次トークン予測に基づく2つのアーキテクチャが提案され，古典的なプランニングドメインで評価された。
- 両アーキテクチャとも，未知の初期状態と目標に対してプランニングを支援するモデルを生成可能である。
- シンボリックな誘導バイアスを持つSTRIPS Transformerは最適化が難しい一方，標準Transformerは高い汎化性能を示した。
単一モードに沿ったファイバーワイズ観測からのテンソルトレイン補完 [math.NA, cs.LG, cs.NA, eess.SP, math.OC, stat.CO, stat.ML]目的：ファイバーワイズ観測されたテンソルのテンソルトレイン分解
- 多次元データ解析において，テンソル分解はデータの低次元表現を捉え，効率的な処理を可能にする重要な技術である。
- 従来のテンソル補完は，ランダムな観測パターンを仮定しており，特定の構造を持つ観測パターンに対する効率的なアルゴリズムは不足している。
- 特定のファイバーワイズ観測パターンに着目し，決定的な保証を持つ高速なテンソル補完手法を開発することで，この問題を解決する。
- 提案手法は，標準的な線形代数演算のみを用いてテンソルトレイン分解を計算できる。
- 観測パターンに関する合理的な決定論的条件の下で，補完が保証される。
- 時間軸などの特定のモードに沿ったデータ収集に適しており，数値実験により有効性が示された。
シグモイドコントラスト損失のグローバル最小化解 [cs.LG, cs.AI]目的：表現の獲得と整列
- 表現学習は，画像認識や自然言語処理など，様々な分野で重要性が増している。
- CLIPやALIGNに見られるように，コントラスト事前学習における温度パラメータの調整が課題である。
- シグモイド損失における温度とバイアスの同期が，表現の質に与える影響を理論的に解明する。
- 本研究では，$(\mathsf{m}, \mathsf{b}_{\mathsf{rel}})$-Constellationsと呼ばれる新たな組合せ構造を導入し，損失関数がゼロに近づく条件を明らかにした。
- この理論的考察により，SigLIPの検索性能の高さや，SigLIPとCLIPのモダリティギャップの原因が説明可能となった。
- また，高質な表現を生成するために必要な次元数を特定し，相対バイアスを明示的に導入する損失関数の再パラメータ化を提案した。
GDR学習者：潜在的結果のための生成モデルの直交学習 [cs.LG, stat.ML]目的：潜在的結果分布推定における生成モデルの直交学習
- 因果推論において，観測データから潜在的結果を正確に推定することは重要である。
- 既存の深層生成モデルは，一般ネーマン直交性という重要な理論的性質を欠いている。
- ネーマン直交性を持つ生成モデルを開発し，効率性とロバスト性を向上させる。
- 提案手法であるGDR学習者は，準オラクル効率とレート二重ロバスト性を有する。
- GDR-CNF，GDR-CGAN，GDR-CVAE，GDR-CDMなど，多様な生成モデルに適用可能である。
- 半合成実験の結果，既存手法と比較して優れた性能が確認された。
マルチモーダルデータスペクトル：マルチモーダルデータセットは多次元である [cs.CV, cs.CL, cs.LG]目的：マルチモーダル学習における，モダリティ内依存性とモダリティ間依存性の相互作用の定量化
- マルチモーダル学習の発展には，各モダリティの貢献度と，それらの関係性を理解することが不可欠である。
- 既存のベンチマーク評価では，これらの依存性の性質と相互作用が十分に解明されていない。
- マルチモーダルデータセットの特性を定量的に把握し，ベンチマーク設計と評価を改善すること。
- 視覚的質問応答ベンチマーク23個における大規模な実験により，各モダリティへの依存度が大幅に異なることが明らかになった。
- テキストのみのバイアスを軽減する意図を持つベンチマークが，意図せず画像のみへの依存性を高めている事例が発見された。
- モデルサイズや種類に関わらず，モダリティ間の相互作用よりも，各モダリティを独立して利用する傾向が見られた。
ワンプロンプト，再び：プロンプトベース継続学習のためのスパース混合エキスパート [cs.LG]目的：プロンプトベース継続学習における効率性と性能のバランス改善
- 継続学習は，モデルの知識を累積的に獲得する上で重要であり，AIの進化に不可欠である。
- 従来のプロンプトベース手法は，タスク数増加に伴う計算コストやメモリ使用量の増加が課題となっていた。
- スパース混合エキスパートを活用し，効率性と性能の両立を目指し，知識の干渉を軽減する。
- 提案手法SMoPEは，タスク固有のプロンプト方式と比較して，パラメータ数と計算コストを大幅に削減できる。
- SMoPEは，複数の継続学習ベンチマークにおいて，タスク固有のプロンプト方式を上回り，最先端手法と同等の性能を達成した。
- プロンプトアテンションスコア集約メカニズムと適応型ノイズメカニズムにより，エキスパートの動的かつスパースな活性化を実現している。
条件付き平均処置効果推定のためのオーバーラップ適応正則化 [eess.SY, cs.SY, cs.LG, stat.ML]目的：条件付き平均処置効果の推定における性能向上
- 個別化医療において，最適な治療法選択に不可欠な手法である。
- 低オーバーラップ領域においては，既存の推定手法の性能が低下する。
- 低オーバーラップ領域における推定精度を向上させることを目指す。
- 提案手法であるオーバーラップ適応正則化(OAR)は，既存のメタ学習器に適用可能である。
- OARはオーバーラップ重みに基づいて正則化の強さを調整し，低オーバーラップ領域での推定性能を改善する。
- 実験結果から，OARは定数正則化と比較して，低オーバーラップ設定において有意な改善を示すことが示された。
推論能力と難易度を考慮したルーティング：推論LLMのためのRADAR [cs.AI, cs.LG]目的：推論LLMのクエリに対するモデル構成のルーティング
- LLMは数学，科学，コーディング等の分野で顕著な成果を上げている。
- 実用的なLLMの導入においては，性能とコストのトレードオフが課題である。
- クエリの難易度とモデルの能力に基づいて最適なルーティングを実現する。
- RADARは，クエリの難易度とモデル-予算能力に基づいてルーティングを行う。
- 8つのベンチマークにおいて，最先端のルーティング手法と比較して優れた性能を示した。
- RADARは分布外クエリに対しても高い性能を維持し，汎化能力を持つ。
大規模言語モデルにおけるツール選択バイアスの発見と軽減 [cs.AI]目的：大規模言語モデルによるツール選択におけるバイアスの評価と軽減策
- 大規模言語モデルの利用拡大に伴い，外部ツールとの連携が不可欠になっている。
- ツール選択にバイアスが存在すると，公平性が損なわれ，競争が歪められる可能性がある。
- ツール選択バイアスを明らかにし，公平なツール利用を促進するための手法を提案する。
- 7つの大規模言語モデルを評価した結果，多くのモデルでツール選択における顕著なバイアスが確認された。
- バイアスの主な要因は，ユーザーの質問とツールメタデータの意味的な整合性，ツールの説明文へのわずかな変更，および事前学習時の露出度であることが判明した。
- 関連ツールをフィルタリングし，均等にサンプリングする軽量な軽減策は，バイアスを大幅に低減しつつ，高いタスク実行能力を維持できる。
ハイブリッドニューラルアーキテクチャ設計のための探索フレームワークComposer [cs.LG]目的：ハイブリッドニューラルアーキテクチャの探索
- Transformerに匹敵する性能を持つモデル構築が求められている。
- ハイブリッドモデルの設計空間が広大であり，探索が困難である。
- 効率的なハイブリッドモデルの探索手法を確立すること。
- Composerを用いて，Llama 3.2を上回る新しいハイブリッドLLMアーキテクチャを発見した。
- 発見されたアーキテクチャは，350M-3Bパラメータ規模で検証損失を低減し，下流タスクの評価精度を1.1-3.1%向上させた。
- また，学習と推論の両方の効率も改善された。
MonitorVLM：鉱山作業における安全違反検出のためのビジョン言語フレームワーク [cs.CE, cs.CV, cs.AI]目的：鉱山作業における安全違反の自動検出
- 鉱山は危険な環境であり，労働者の安全確保が重要である。
- 従来の安全点検は手間がかかり，大規模環境での監視には限界がある。
- 本研究は，映像から安全違反を自動的に検出し，労働安全衛生の向上を目指す。
- MonitorVLMは，40の鉱山規制に関する9,000件のVQAデータセットを構築した。
- 句フィルタリングモジュールにより，推論速度を13.56%向上させつつ，精度を維持した。
- 行動拡大モジュールにより，精度が3.45%，再現率が8.62%向上した。
LLMエージェントにおけるコミュニケーションが協調を可能にする：カリキュラム学習との比較 [cs.CY, cs.LG]目的：LLMエージェントにおける協調の実現機構の解明
- AIの安全性確保において，多エージェントシステム間の協調は不可欠である。
- カリキュラム学習は設計に依存性が高く，必ずしも協調行動を促進しない場合がある。
- 単純なコミュニケーションプロトコルが，経験的学習よりも信頼性の高い協調手段となる可能性を示す。
- 4人数の狩猟ゲームにおいて，一言の「安価な発話」チャネルが協調率を0%から96.7%に向上させ，コミュニケーションの有効性を示した。
- 一方，カリキュラム学習はゲームの複雑化に伴い，エージェントの報酬を27.4%減少させ，短期的な合理性が協調を阻害する可能性が示唆された。
- 脱落均衡を重視したカリキュラムは，エージェントに「学習された悲観主義」を引き起こすことが判明した。
ウェアラブル脳波を用いたラベル効率的な睡眠段階推定のための自己教師あり学習の体系的評価 [cs.HC, cs.AI, cs.LG]目的：ウェアラブル脳波を用いた睡眠段階推定における自己教師あり学習の有効性
- 睡眠の質の評価は健康管理において重要であり，簡便かつ継続的なモニタリングが求められている。
- 睡眠段階の正確な推定には専門家によるアノテーションが必要であり，コストや時間，専門家の負担が大きい。
- ラベル付きデータの不足を自己教師あり学習で補い，睡眠段階推定の精度向上とアノテーションコスト削減を目指す。
- 自己教師あり学習は，ラベル付きデータ量が少ない状況下において，教師あり学習のベースラインよりも最大10%高い分類性能を示すことが示された。
- ラベル付きデータの5%から10%のみを使用することで，自己教師あり学習は80%を超える臨床レベルの精度を達成し，教師あり学習の2倍のラベルが必要となる。
- 提案するドメイン特化型自己教師あり学習パイプラインは，汎用的な脳波基盤モデルを上回り，すべてのシナリオで優れた性能を発揮する。
Reveal-to-Revise：マルチモーダル注意を用いた説明可能な偏り認識型生成モデリング [cs.LG, cs.AI]目的：説明可能で偏りを認識した生成モデルの構築
- AIの応用範囲拡大に伴い，モデルの透明性と公平性の確保が重要課題となっている。
- 既存の生成モデルは，偏ったデータ学習により，不公平な結果を生み出す可能性がある。
- マルチモーダル注意と説明可能性技術を用いて，公平性を高めた生成モデルを開発する。
- 提案モデルは，マルチモーダルベンチマークにおいて，既存モデルを凌駕する精度（93.2%），F1スコア（91.6%），IoU-XAI（78.1%）を達成した。
- 敵対的学習により，Fashion MNISTにおける頑健性を73%から77%まで向上させた。
- 融合，Grad-CAM++，偏りフィードバックがそれぞれ最終的な性能に独立して貢献し，構造的整合性と公平性が改善された。
クラスタのコンパクト性，分離度，クラスタ数の決定のための絶対指標 [cs.LG, stat.ML]目的：クラスタのコンパクト性と分離度，および最適なクラスタ数を決定すること
- データ分析において，データの構造を理解し，意味のあるグループを識別する上で重要である。
- 既存のクラスタ評価指標は相対的であり，異なるアルゴリズムの比較に限定され，最適なクラスタ数を特定できない場合がある。
- 絶対的な指標を用いて，データの構造に依存せず，クラスタの質と数を客観的に評価することを目指す。
- 本研究では，クラスタのコンパクト性と分離度を独立に評価する新しい絶対指標を提案した。
- 提案手法は，合成データおよび実データを用いて評価され，既存の指標と比較して良好な性能を示した。
- 本指標により，クラスタリング結果の妥当性を客観的に判断し，適切なクラスタ数を特定することが可能となる。
幾何学的潜在レンダリングと補完によるマルチビューカスタマイズ拡散 [cs.CV, cs.AI]目的：マルチビューカメラポーズ制御とカスタマイズの同時実現
- 生成モデルの制御可能性向上のためには，カメラ制御とプロンプトによるカスタマイズが不可欠である。
- 既存モデルは幾何学的整合性を保ったカスタマイズが難しく，または明示的な視点制御が欠けている。
- マルチビューの一貫性とカスタマイズの忠実度を両立する新たなフレームワークを提案し，その課題を解決する。
- MVCustomは，被写体の形状と特徴を学習し，時間的な一貫性を活用してマルチビューの一貫性を高める。
- 深度を考慮した特徴量レンダリングと一貫性に基づいた潜在的補完により，幾何学的整合性と視点の正確な整合を強化する。
- 実験により，MVCustomがマルチビューの一貫性とカスタマイズの忠実度において，最もバランスの取れた性能を示すことが示された。
生データ統計のみからのカーネル回帰学習曲線予測 [cs.LG, cs.AI]目的：カーネル回帰学習曲線の予測
- 機械学習の性能評価において，学習曲線は重要な指標である。
- 学習曲線の理論的な予測は難しく，データセット構造とモデル性能の関連が不明確である。
- データセット構造からモデル性能を予測する理論的枠組みの構築を目指す。
- 提案手法であるHermite eigenstructure ansatz（HEA）は，ガウス分布データに対して証明された。
- 実際の画像データにおいてもHEAが有効であり，学習曲線を予測できることが示された。
- 特徴学習領域のMLPもHEAが予測する順序でHermite多項式を学習することが確認された。