arXiv雑要約
AI - 2026/06/18 公開
電力消費量予測のためのRNN(p) [cs.LG, eess.SP, q-fin.ST]目的:電力消費量予測におけるRNN(p)モデルの性能評価
- エネルギー分野において,正確な電力消費量予測は,運用と財務の両方の意思決定に不可欠である。
- 従来の予測モデルでは,多段階の時間スケールにおける季節変動を捉えることが困難である。
- RNN(p)モデルを用いて,電力消費量予測の精度向上と解釈可能性の確保を目指す。
- RNN(p)モデルは,優れた予測精度を達成し,高い解釈性を維持していることが示された。
- このモデルは,エネルギー市場やフィンテック分野における信頼性の高い予測を可能にする。
- 学習アルゴリズムの計算複雑性と学習性能に関する厳密な分析が行われた。
単純なドメイン汎化手法は,オープンドメイン汎化のための強力なベースラインとなる [cs.CV, cs.AI, cs.LG]目的:オープンドメイン汎化における既存のドメイン汎化手法の評価
- 現実世界の機械学習応用において,未知のクラスへの対応が求められる場面が増加している。
- ドメインシフトと未知クラスの存在に対応するオープンドメイン汎化は,複雑な学習プロセスを伴う。
- 既存の単純なドメイン汎化手法でも,オープンドメイン汎化において有効な性能を発揮できるか検証する。
- 既存のCORALとMMDといった単純なドメイン汎化手法が,場合によってはDAMLと同等の性能を示すことが明らかになった。
- DAMLで用いられるアンサンブル学習やDirichlet mixupといった手法をCORALとMMDに導入することで,性能が向上した。
- 拡張されたCORALとMMDは,DAMLと比較して計算コストが低く,同等の性能を発揮することが示唆された。
出発地-目的地シーケンスの動的推定のための深層学習フレームワーク [cs.LG, cs.AI]目的:出発地-目的地シーケンスの動的推定
- 交通計画や交通管理において,交通需要を把握することは極めて重要である。
- 交通センサーの情報から出発地-目的地(OD)行列を推定する際,パラメータ過多と制約不足の問題がある。
- 深層学習を用いてODシーケンスの構造を推定し,数値最適化を導くことで推定精度向上を目指す。
- 深層学習モデルがODシーケンスの構造を効果的に推論できることが示された。
- 推論された構造的制約は,空間構造だけでなく時間構造も捉え,遅延問題の緩和に貢献する。
- 構造的制約に基づく数値最適化により,従来の推定手法よりも良好な結果が得られることが確認された。
深層学習を用いた大規模ODマトリックス推定 [cs.AI]目的:大規模ODマトリックス推定手法
- 交通システムにおいては,効率的な交通管理や計画のためにODマトリックスの正確な把握が不可欠である。
- ODマトリックス推定は制約が不足し,数学的に未決定問題となるため,精度向上が課題である。
- 本研究は,深層学習によってリアルタイムな構造的制約を学習し,ODマトリックス推定の精度向上を目指す。
- 深層学習モデルがプローブ交通データから構造的制約を推論することで,既存の事前情報への依存をなくした。
- 数値最適化アルゴリズムと深層学習を組み合わせることで,両者の利点を活かし,推定精度と計算効率の向上を実現した。
- 大規模合成データセットおよび実交通データを用いた実験により,提案手法の汎化性能と安定性が確認された。
ゲームにおける再帰的共同シミュレーション [cs.AI, cs.GT]目的:AIエージェント間における戦略的状況下での協調的成果の達成
- AIエージェントのゲーム理論的ダイナミクスは,人間同士の対話と異なる点が多々存在する。
- AIエージェントはシミュレーションが可能であるため,自己の存在が現実かシミュレーションか判断できない。
- この不確実性を活用し,戦略的状況下での協調性を高める方法を模索する。
- 提案手法は,元のゲームの無限反復ゲームと戦略的に同等であることが示された。
- この同等性は,いくつかの仮定を緩和した場合でも,また,ゲーム内部から見た場合でも成立する。
- 既存の結果(folk theoremsなど)を直接適用できる可能性を示唆している。
自己注意に基づく非線形基底変換による動的光ファイバ伝送行列のコンパクトな潜在空間モデリング [cs.LG]目的:動的光ファイバ伝送行列のコンパクトな潜在空間モデル
- 多モード光ファイバは次世代医療用内視鏡に不可欠であり,細胞レベルの画像解像度を実現する。
- ファイバ内の光のスクランブルを補正する際,動的な変化や非線形性が問題となる。
- 自己注意層を用いて,ファイバ行列を低次元に変換し,効率的な画像再構成を目指す。
- 提案手法は,変換された基底におけるファイバ基底の疎性を大幅に向上させ,参加比pは0.01~0.11であった。
- 変換された表現により,元の行列を10%未満の再構成誤差で再構成でき,可逆性が示された。
- 本手法は,従来の畳み込み層に依存するアプローチが苦手とする長距離相関を捉えることができる。
物理現象を考慮した時系列モデルのベンチマーク:実運用的なグローバル観測所天気予報への応用 [cs.LG, cs.CV, physics.ao-ph, stat.ML]目的:グローバル観測所天気予報における時系列予測モデルの性能評価
- 地球規模での気象予測は,防災や経済活動に不可欠であり,その精度向上は重要な課題である。
- 既存の天気予報データセットは規模が小さく,時間的・空間的に偏りがあり,高精度なモデル開発のボトルネックとなっている。
- 現実世界の気象状況をより良く反映した大規模データセットと,物理法則を組み込んだモデルにより,予測精度向上を目指す。
- 大規模観測データセットWEATHER-5Kを構築し,現実的な条件下でのモデル学習と評価を可能にした。
- 物理法則制約を取り入れたPhysicsFormerモデルを提案し,複雑な気象変動や極端現象の予測能力を向上させた。
- PhysicsFormerと既存モデルの性能を比較し,学術的な時系列モデルと実運用システムとのギャップを定量的に示した。
VGGHeads:大規模合成データセットによる3Dマルチヘッドアライメント [eess.SY, cs.SY, cs.CV, cs.LG]目的:人間の頭部検出,キーポイント推定,3D頭部モデル適合
- 頭部検出技術は,顔認識や監視システム等,幅広い応用分野で重要である。
- 実世界のデータセットは,偏り,プライバシー問題,倫理的な懸念を抱える場合が多い。
- 実環境での汎化性能を向上させるための,大規模かつ高品質な学習データセットの構築。
- 拡散モデルを用いて生成された大規模合成データセットが,頭部検出と3Dメッシュ推定に有効であることが示された。
- 本データセットで学習したモデルは,実画像においても高い性能を発揮することが実験的に確認された。
- 本データセットは,多様なタスクへの適用が可能であり,人間の頭部の包括的な表現を提供する。
AI生成・支援ニュースに対する質的認識と関与意向 [cs.CY, cs.AI]目的:AI生成・支援ニュースに対する質的認識と関与意向
- AIがニュース制作に利用される機会が増加しており,その影響を理解することが重要である。
- AI生成ニュースに対する読者の認識や反応が不明であり,信頼性への懸念が存在する。
- AI生成・支援ニュースに対する読者の質的認識と関与意向を明らかにすること。
- 記事の質的認識においては,人間執筆,AI支援,完全AI生成の間に有意な差は見られなかった。
- AI支援・生成記事であることを開示された後,追加記事の閲覧意欲は対照群よりも高かった。
- しかし,AI生成ニュースの継続的な閲覧意向には条件間で差は認められなかった。
部分空間獲得関数によるスケーラブルなバッチベイズ最適化 [cs.LG, cs.AI, cs.NE]目的:大規模バッチ評価におけるベイズ最適化のスケーラビリティ向上
- 並列計算技術の活用が重要となる中で,ベイズ最適化をバッチ処理へ拡張する必要がある。
- 既存のバッチアプローチは,バッチサイズが増加すると最適化効率が低下するという課題がある。
- 本研究は,バッチサイズのスケーラビリティ問題を解決することを目指す。
- 提案手法は,既存のベイズ最適化アルゴリズムと比較して,収束速度を大幅に向上させる。
- 提案手法は,他の10個のバッチベイズ最適化アルゴリズムと遜色なく性能を発揮する。
- 実装はhttps://github.com/zhandawei/SubSpace_Acquisition_Functions で公開されている。
超知能への道:超アラインメントに関する包括的調査 [cs.LG]目的:超知能のアラインメント問題
- AI技術の進展により,人間を超える知能を持つ超知能の実現が議論されている。
- 超知能の能力が向上するにつれて,人間の監督が困難になる問題が存在する。
- 超知能を安全に制御し,継続的に改善するための方法を模索する。
- 本研究では,サンドイッチング,自己改善,弱から強への一般化といったスケーラブルな監視パラダイムをレビューした。
- 現在のパラダイムの限界を可能性と不可能性の観点から分析し,主要な課題を明らかにした。
- 今後のAIシステムの安全な改善に向けた経路を提案した。
VidCRAFT3:画像から動画生成のためのカメラ,物体,照明制御 [cs.HC, cs.RO, cs.HC, cs.CL, q-bio.NC, cs.DM, cs.CV, cs.AI, cs.LG, cs.MM]目的:画像から動画生成におけるカメラ,物体,照明の制御
- 動画生成技術は,映像制作やコンテンツ作成において重要性が増している分野である。
- 既存手法では,カメラ,物体,照明を独立して扱うため,視点,形状,光の相互作用が考慮されない。
- 本研究は,これらの要素間の相互作用を明示的にモデル化することで,一貫性のある動画生成を目指す。
- VidCRAFT3は,カメラ,物体,照明の独立および同時制御を可能にする,統一された柔軟なフレームワークである。
- Image2Cloudによる3D形状の事前知識と,ObjMotionNetによる物体軌跡のエンコードにより,正確な制御を実現している。
- 新たに構築したVLDデータセットと段階的訓練戦略により,高品質な動画生成が可能となった。
リソース制約のあるデバイスにおける言語モデルの効率的なゼロ次連邦ファインチューニング [cs.LG, cs.AI]目的:リソース制約のあるデバイス上での言語モデルの効率的なファインチューニング手法
- データプライバシー保護と分散データ活用が重要視される中で,連邦学習が注目されている。
- 大規模言語モデルのファインチューニングは計算資源を多く必要とし,エッジデバイスでの実行が困難である。
- 計算コストを削減しつつ,収束性を維持したゼロ次最適化による効率的なファインチューニングを実現する。
- 提案手法は,モデルをブロックに分割し,2番目のブロックに多くの摂動を割り当てることで,中間活性化の再利用を促進する。
- RoBERTa-large,OPT1.3B,LLaMa-3-3.2Bモデルの評価により,他のゼロ次最適化手法と比較して最大3倍の計算量削減が確認された。
- メモリや通信のメリットは,従来のファーストオーダー連邦学習手法と同等に維持されている。
FinP:連合学習におけるプライバシーリスクの不均衡に対処したプライバシーと公平性の両立 [cs.LG, cs.CR]目的:連合学習におけるプライバシーと公平性の両立
- 個人情報保護の重要性が増す中,データ集中を避ける連合学習が注目されている。
- 連合学習でも,プライバシー保護の度合いにばらつきがあり,リスクが高い個人が存在する。
- プライバシーリスクの不均衡を解消し,公平性を担保した連合学習を実現することを目指す。
- FinPは,クライアントのプライバシーリスクに基づき重み付けを行う適応的な集約メカニズムと,過学習を抑制する正則化手法を組み合わせる。
- FEMNIST,HAR,CIFAR-10のデータセットを用いた実験により,FinPがプライバシーの公平性とモデルの性能を両立することが示された。
- FinPは,プライバシー暴露の不均衡を最大57.14%削減し,モデルの性能を標準的な連合学習と同程度に維持した。
グラフタスクにおけるTransformerの深さと幅のトレードオフ [cs.LG, cs.AI, cs.CL]目的:グラフベースのタスクに対するTransformerの最小サイズ
- 機械学習分野においてTransformerは重要な役割を果たしており,複雑な問題解決に貢献している。
- グラフベースのタスクにおけるTransformerのサイズ最適化は未解決であり,効率的なモデル構築が課題である。
- 深さと幅のトレードオフを分析し,より効率的なTransformerモデルの設計を目指す。
- 線形に幅を増やし,深さを固定した場合,多くのグラフベースのタスクを解決できることが示された。
- 適度な幅の増加により,より浅いモデルで済む場合があり,推論と学習時間の短縮に繋がる。
- 一部の問題では,より大きな幅が必要となることが示され,Transformerの実装における複雑な関係性が明らかになった。
一般化されたカルバック・ライブラー発散損失 [cs.CL, cs.LG, cs.AI, cs.CV]目的:カルバック・ライブラー発散損失の数学的等価性とその改良
- 機械学習モデルの性能向上は,損失関数の設計が鍵となる。
- 従来のKL発散損失には,知識蒸留における非対称な最適化や,サンプルごとの偏りが問題となる。
- KL発散損失の構造を解釈し,改良することで,最適化の安定性と汎化性能の向上を目指す。
- KL発散損失とDecoupled KL発散損失が数学的に等価であることを証明した。
- 非対称な最適化特性の緩和とクラスごとのグローバル情報を導入したGKL発散損失を提案した。
- CIFAR-10/100,ImageNet,vision-languageデータセットで,敵対的学習や知識蒸留において最先端の性能を達成した。
UST-GNN:都市分析のための統合空間・トポロジーグラフニューラルネットワークフレームワーク―都市健康予測の事例研究を通じて [cs.LG, cs.CY]目的:都市における社会,人口統計,環境,空間要因が都市の結果にどのように影響するかを包括的に理解すること
- 持続可能な都市開発と証拠に基づいた政策立案には,都市を多角的に理解することが不可欠である。
- 従来の統計手法では複雑な非線形関係の捉えが難しく,機械学習の手法では空間相関とネットワーク構造の複合的な役割が考慮されない場合がある。
- 空間効果,グラフ構造,評価,解釈可能性を統合的に扱うことで,都市分析の精度向上を目指す。
- UST-GNNは,ロンドンの近隣地域データを用いた評価で,既存の統計モデルや機械学習モデルを上回り,予測精度を8.4~13.2%向上させた。
- 学習されたノード埋め込みを地理的に解釈するための軽量な主成分分析モジュールを導入し,政策関連の変数との関連性を示した。
- 分析結果は既存のパターンを再現し,議論のある関連性に対する新たな視点を提供し,さらなる因果調査に値する新たな予測因子を明らかにした。
学習されていないモデルにおける残存知識の評価:RUB [cs.LG, cs.CV]目的:機械的アンラーニングアルゴリズムの頑健性の評価
- プライバシー保護とコンテンツ規制において,機械的アンラーニングは重要なメカニズムである。
- 既存技術では,機密情報の完全な削除が保証されない場合が多い。
- アンラーニング後のモデルの頑健性を評価するベンチマークの提供。
- 提案されたRUBベンチマークにより,様々なタスクにおけるアンラーニングアルゴリズムの脆弱性が明らかになった。
- 既存のアンラーニング手法は,標準的な検証指標をクリアしても,残存情報を検出される脆弱性が残る。
- 頑健性を中心的な基準とし,敵対的評価のためのベンチマークを提供することで,より信頼性の高いアンラーニングの実践を促進する。
オートエンコーダの脆弱性を勾配信号の回復を通して明らかに [cs.LG, cs.AI, cs.CV]目的:オートエンコーダの潜在表現における脆弱性の解明
- 深層学習モデルの安全性確保は重要であり,特に圧縮された潜在表現を持つオートエンコーダの堅牢性評価が不可欠である。
- 既存の攻撃手法は最適化に失敗しやすく,オートエンコーダの堅牢性を過大評価する可能性がある。
- 不安定な層における勾配消失問題を解決し,より信頼性の高い脆弱性評価を実現する。
- 提案手法GRILLは,不安定な層における勾配の低下を抑制し,攻撃の有効性を向上させる。
- GRILLを用いることで,既存の攻撃手法では見過ごされていた脆弱性を明らかにできる。
- 多種多様なオートエンコーダアーキテクチャや攻撃設定において,その効果が実験的に確認された。
知識グラフにおける推移的関係を用いた完全幾何学的多段推論 [cs.AI, cs.LG, cs.LO]目的:知識グラフにおける多段論理的推論の実現
- 知識グラフは,現実世界の情報を構造化して表現し,高度な推論を可能にする重要な技術である。
- 既存手法は,論理演算を幾何学的変換として表現できておらず,解釈可能性に課題がある。
- 論理演算を純粋な幾何学的変換として表現し,推論能力と解釈可能性の両立を目指す。
- 提案手法GeometrEは,論理演算を潜在空間における幾何学的操作として表現する。
- 推移的損失関数を導入し,論理規則の保存性を保証する。
- 実験の結果,既存の幾何学的手法を上回り,ニューラルベースの手法と同等の性能を示す。
AI生成メディアのProvenance(起源情報): 視覚者と視覚障碍者における指標の認識に関する実践と課題 [cs.HC, cs.AI, cs.MM]目的:AI生成コンテンツにおけるProvenance(起源情報)指標の認識に関する視覚者と視覚障碍者の実践と課題の解明
- AI技術の発展により,誰もが容易にコンテンツを生成可能になったため,情報の信頼性確保が重要になっている。
- AI生成コンテンツのProvenance(起源情報)指標は,視覚的な情報に依存しやすく,視覚障碍者には不十分である。
- 視覚者と視覚障碍者双方にとって,より効果的でアクセス可能なProvenance(起源情報)指標の設計を目指す。
- 視覚者は視覚・聴覚情報からAI生成コンテンツを認識する一方,視覚障碍者は音声と支援技術に依存していることが明らかになった。
- プラットフォーム提供のメニュー型指標は見過ごされがちで,タイトルやコメントなどのコンテンツ型指標が重視される傾向がある。
- 指標の一貫性の欠如,曖昧なメタデータ,認知負荷などが認識の妨げになっており,視覚障碍者にとって特に深刻である。
アクティブスピーカー検出の再検討:汎化性能とロバスト性のための実環境ベンチマーク [cs.DC, cs.CL, cs.SI, physics.soc-ph, cs.CV, cs.AI]目的:アクティブスピーカー検出における汎化性能とロバスト性の評価基準
- 音声処理技術は,様々なアプリケーションで重要であり,特にリアルタイムでの音響イベント認識に不可欠である。
- 既存のベンチマークは古い映画に偏っており,現実世界の多様な環境を反映していないという課題がある。
- 現実世界の複雑な状況下におけるアクティブスピーカー検出の性能向上を目指す。
- 新しいデータセットUniTalkは,多様なビデオタイプと現実世界のノイズを含む環境を網羅している。
- UniTalk上で高い性能を示すモデルは,他の実環境データセットにおいても優れた汎化性能を発揮する。
- UniTalkは,アクティブスピーカー検出モデルの汎用性と堅牢性を評価するための新たなベンチマークとなる。
ASyMOB:代数的記号数学演算ベンチマーク [cs.CL, cs.AI, cs.SC]目的:記号数学問題のベンチマークデータセット
- 科学的発見を加速するため,信頼できるAIの構築が重要である。
- 既存の評価では,パターン記憶と真の推論が混同されている。
- モデルの汎化性能を詳細に評価し,AIの信頼性を向上させる。
- わずかな摂動に対しても多くのモデルの性能が低下する。
- 統合されたコードツールは,特に弱いモデルの性能を安定させる。
- LLMとCASのハイブリッドアプローチが有効であることが示された。
深層ニューラルネットワークにおけるヤコビ行列の安定性について [cs.CE, q-fin.MF, stat.CO, cs.LG]目的:深層ニューラルネットワークのヤコビ行列の安定性
- 深層学習の発展に伴い,より深いネットワークの安定性の確保が重要になっている。
- ネットワークの深さが増すと,勾配消失・爆発が起こりやすく,学習が困難になるという課題がある。
- スパース性や学習による重みの相関を考慮した,より一般的な安定性理論の確立を目指す。
- 本研究では,乱数行列理論に基づき,スパース性や相関のある重みを持つ深層ニューラルネットワークにおけるヤコビ行列のスペクトル安定性に関する厳密な保証を得た。
- この結果は,従来の完全結合ネットワークに限定されていた安定性解析の範囲を大幅に拡張するものである。
- 構造化されたランダム性を持つ現代のニューラルネットワークにおける初期化スキームの理論的基盤を強化する。
テキスト逆伝播による自己進化型マルチエージェントシステム [cs.LG, cs.AI, cs.MA]目的:マルチエージェントシステムの自己進化
- 複雑な課題解決において,LLMの活用が有効である。しかし,その構成は静的になりがちである。
- 従来のマルチエージェントシステムは,手動による設定に依存し,柔軟性に欠けるという課題がある。
- エージェントの役割,プロンプト,連携を自動的に進化させ,適応性を高めることを目指す。
- 提案手法「Agentic Neural Network」は,マルチエージェント協調を階層型ニューラルネットワークとして捉える。
- タスクを動的に分解し,適切なエージェントチームを構築する「順伝播フェーズ」と,連携を改善する「逆伝播フェーズ」の二段階最適化を行う。
- 7つのベンチマークデータセットで,既存のマルチエージェントシステムを上回り,高い精度と適応性を示す。
KEPLA:知識を強化した深層学習フレームワークによる正確なタンパク質-リガンド結合親和性予測 [cs.LG]目的:タンパク質-リガンド結合親和性の予測精度向上
- 創薬において,タンパク質とリガンドの結合親和性の正確な予測は極めて重要である。
- 既存の深層学習手法は構造情報に依存しがちで,結合親和性に関連する生化学的知識の活用が不十分である。
- 遺伝子オントロジーやリガンド特性といった事前知識を統合し,予測性能を向上させることを目指す。
- KEPLAは,既存の最先端手法と比較して,ベンチマークデータセットにおいて安定的に高い性能を示した。
- 知識グラフの関係性とクロスアテンションマップに基づいた解釈可能性分析により,予測メカニズムに関する洞察が得られた。
- KEPLAは,ドメイン内およびドメイン横断のシナリオの両方において有効であることが示された。
暗記からパラメータ干渉へ:過剰訓練された専門モデルがモデルマージに与える悪影響 [cs.LG, cs.AI]目的:専門モデルの過剰訓練がモデルマージの性能に及ぼす影響の解明
- 近年,汎用モデルを特定のデータセットで微調整する手法が普及し,専門モデルの活用が重要になっている。
- 複数の専門モデルを組み合わせるモデルマージは有効だが,必ずしも微調整の改善がマージ性能向上に繋がるとは限らない。
- 専門モデルの過剰訓練がマージ性能を低下させる原因を特定し,改善策を提案することを目的とする。
- 専門モデルの過剰訓練は,画像および言語の両モダリティにおいて,モデルマージの性能を低下させることを示した。
- この低下は,微調整の終盤で難しい事例の暗記が原因であり,パラメータ干渉を引き起こすことが明らかになった。
- タスク依存型の積極的な早期停止戦略を用いることで,モデルマージ性能を大幅に改善できることを示した。
文脈内想起のための予測メカニズムの分解 [cs.LG]目的:文脈内学習における予測メカニズムの構造
- 大規模言語モデルの文脈内学習能力は,汎用的な問題解決に不可欠である。
- 文脈内学習のメカニズムは未だ解明されておらず,効率的な学習方法が課題である。
- 文脈内学習を構成する要素の分離と,学習の過程解明を目指す。
- 提案された玩具問題を通じて,離散的な想起と連続的な予測という,異なる2つのメカニズムが確認された。
- 想起メカニズムは記号ラベルを利用し,予測メカニズムは過去のトークンと文脈に依存する。
- OLMoモデルを用いた翻訳タスクでも同様の現象が確認され,このメカニズム分離が玩具問題に限定されたものではないことが示唆された。
LLMにおける機械的アンラーニングの特徴としてのモデル崩壊 [cs.LG, cs.AI]目的:大規模言語モデルにおける機械的アンラーニング手法
- プライバシー保護の重要性が高まる中,個人情報等の機密データの取り扱いが課題となっている。
- 既存のアンラーニング手法は,削除対象データを再学習に含めるため,情報漏洩のリスクがある。
- モデル崩壊を利用することで,削除対象データへの依存を減らし,プライバシーを保護する。
- 提案手法Partial Model Collapse(PMC)は,削除対象データを用いた再学習を必要とせず,モデル崩壊を意図的に引き起こす。
- 理論的解析により,PMCが削除対象データのアンラーニングに収束することが示された。
- 実験結果から,PMCは既存手法の課題を克服し,より効果的に機密情報を削除しつつ,汎用的なモデル性能を維持できることが示された。
異種マルチソースデータ統合とクロスドメインモダリティ補完による疲労検出の強化 [cs.RO, cs.AI]目的:実世界におけるオペレーターの疲労検出
- 航空,鉱業,長距離輸送など,安全が重要な分野における人的エラー防止に貢献する。
- 高精度センサーは,実環境のノイズや視界の制約により,性能が低下しやすい。
- 実験環境で得られる知見を,実環境での疲労検出に活用することを目指す。
- 異種ソースドメインからの知識を活用し,ターゲットドメインで利用可能なモダリティを最大限に活用するフレームワークを設計した。
- クロスドメインモダリティ補完により,ソースドメインの多様な構成をターゲットドメインに適用し,疲労検出の精度向上を実現した。
- 本研究は,実環境での疲労検出という実用的な課題に対し,新たな解決策を提供する。
加速化された空力形状最適化のための強化学習 [cs.LG]目的:空力形状最適化における次元削減
- 航空力学設計において,より効率的な形状最適化手法が求められている。
- 従来の最適化手法は計算コストが高く,時間と資源を要する。
- 強化学習を活用し,計算コストを削減し,最適化を加速する。
- 本研究では,代替モデルとアクター・クリティック法を組み合わせた強化学習アルゴリズムを提案した。
- シミュレーション結果に基づいて報酬を推定し,パラメータを段階的に適応させることで,最適化を高速化した。
- 簡単な流体力学問題において,特徴量の重要度を評価する解釈可能性も示した。
準ランダムモデルにおける植え込まれた部分グラフのロバストな検出 [cs.MA, cs.IT, cs.CR, cs.DS, cs.LG, math.IT, math.ST, stat.TH]目的:準ランダムモデルにおける植え込まれた部分グラフ検出問題に対する統計的限界とロバストなアルゴリズム
- グラフ構造の分析は,ソーシャルネットワークや生物学的ネットワークなど,様々な分野で不可欠である。
- 従来のランダムモデルは現実世界の摂動に弱く,実際の問題への適用が困難である。
- 本研究は,敵対者がエッジを削除できる準ランダムモデル下での検出限界を明らかにする。
- 部分グラフの最大密度が対数関数より小さい場合,敵対者の存在下では検出は不可能となる。
- 部分グラフの密度が対数関数より大きい場合,統計的限界はほとんど変化せず,最良の検定はロバストである。
- 効率的かつロバストな検出アルゴリズムを設計し,その性能に関する厳密な統計的保証を提供する。
車にはステレオタイプがある:テキストから画像モデルにおけるオブジェクトの人口統計学的バイアス監査 [cs.CV, cs.AI]目的:テキストから画像モデルによって生成されるオブジェクトにおける人口統計学的バイアスの測定
- 画像生成AIの発展は,社会に大きな影響を与える。その公平性と倫理的配慮が重要視されている。
- 既存研究は主に人間の描写に焦点を当て,オブジェクト生成におけるバイアスは十分に調査されていない。
- モデルのデフォルト設定に内在するバイアスを可視化し,より公平なAI開発を促進すること。
- 中立的なプロンプトは,中間層で白人の属性を持つ画像に最も類似しており,これらのグループがモデルのデフォルトとして過剰に表現されていることが示唆された。
- 人口統計学的要素を含むプロンプトは,ステレオタイプ化された出力をもたらす傾向があり,特定の組み合わせでは20枚の画像すべてが同じ属性値を示した。
- プロンプトレベルでのバイアス軽減は,グループ間の不均衡を減らす一方で,グループ内の多様性を低下させ,別のステレオタイプに置き換えるという結果になった。
価値からトークンへ:記号離散化による文脈を意識した時系列予測のためのLLM駆動型フレームワーク [cs.LG, cs.AI]目的:文脈を意識した時系列予測のためのフレームワーク
- エネルギー,医療,金融など多くの分野で意思決定を支援する上で,時系列予測は重要な役割を果たす。
- 時系列予測の精度は,非構造化テキストデータを含む文脈的特徴と数値データの統合の難しさから制限されている。
- 数値系列と文脈的特徴を統合し,より正確な時系列予測を実現することを目指す。
- 提案手法TokenCastは,数値系列をトークンに変換することで,言語ベースの入力との構造的整合性を実現した。
- 事前学習済みのLLMを用いてトークンを共通の表現空間に埋め込み,文脈的特徴と数値データの間の意味的ギャップを埋める。
- 実世界のデータセットを用いた実験により,TokenCastの有効性が示され,文脈を意識した時系列予測の生成的フレームワークとしての可能性が示唆された。
量子化とスパイクの融合:極性多重スパイクマッピングによる初回タイムステップでのほぼ無損失変換 [cs.NE]目的:人工ニューラルネットワークからスパイクニューラルネットワークへの変換における,ほぼ無損失な精度での低遅延化
- スパイクニューラルネットワークは,イベント駆動型計算により計算効率が高い。省電力なAI実現に不可欠。
- 既存の変換手法では,低遅延化と精度維持を両立することが困難であり,超低遅延化は特に課題である。
- 量子化層の情報損失を分析し,新たなマッピング手法により,初回タイムステップでの無損失変換を目指す。
- 提案手法「極性多重スパイクマッピング」は,初回タイムステップにおいてほぼ無損失の精度を達成した。
- 複雑なタスクにおいても,スパイクニューラルネットワークの時間的ダイナミクスを活用することで安定した性能を維持する。
- 複数のベンチマークにおいて,提案手法は最先端の直接学習法を凌駕する結果を示した。
FORGE:グラフ埋め込みからの基盤的な最適化表現 [cs.LG]目的:組合せ最適化問題の表現学習
- 科学技術分野で不可欠であり,効率的な解法開発が求められている。
- 既存手法は問題分布ごとにモデルを学習するため,汎用性に課題がある。
- 多様な問題インスタンスで事前学習し,汎化性能の高い表現を獲得する。
- FORGEは,最適化ソルバーや最適解に依存せず,教師なしでグラフオートエンコーダーを事前学習する。
- 得られた埋め込み表現は,未知の問題インスタンスを効果的にクラスタリングする。
- 事前学習済みモデルのファインチューニングにより,複数の問題分布で性能向上が確認された。
PosterForest:科学ポスター生成のための階層型マルチエージェント協調 [cs.AI]目的:科学ポスター生成における階層的文書理解と一貫性のあるコンテンツ・レイアウト計画
- 科学研究の成果を効果的に伝えるためには,視覚的に訴求力のあるポスターが不可欠である。
- 既存手法は,要約の質や論理的な流れ,視覚的なバランスにおいて課題がある。
- 文書構造と視覚的要素を考慮した,より高品質なポスターの自動生成を目指す。
- PosterForestは,追加の学習やドメイン知識なしに,既存手法よりも優れたポスター生成性能を示す。
- 提案手法は「ポスターツリー」と呼ばれる構造化中間表現を導入し,文書階層と視覚・テキストセマンティクスを捉える。
- コンテンツとレイアウトのエージェントが,階層的な推論と再帰的な洗練を行い,ポスター全体を最適化する。
モデルマージ最適化のための代替ベンチマーク [cs.LG, cs.AI, cs.NE]目的:モデルマージのハイパーパラメータ最適化
- 大規模言語モデルの能力統合は重要であり,モデルマージはその有望な手法の一つである。
- モデルマージにおけるハイパーパラメータ調整は計算コストが高く,効率的な最適化手法が課題である。
- ハイパーパラメータ最適化アルゴリズム開発を低コストで実現するための代替ベンチマークを提供する。
- 代替ベンチマークは,マージされたモデルの性能を予測し,最適化アルゴリズムの挙動をシミュレーションできる。
- 二つの探索空間を定義し,ハイパーパラメータからの性能予測モデルを構築した。
- 本研究で開発したベンチマークは,マージされたモデルの性能を正確に予測できることが示された。
良い仮説をどれだけ早く見つけられるか [cs.DS, cs.LG]目的:仮説選択問題における近似アルゴリズムの性能向上
- 機械学習において,未知の分布に最も近い仮説を効率的に見つけることは重要である。
- 既存のアルゴリズムは,計算時間が現実的な範囲に収まらない場合がある。
- 混合分布を出力するアルゴリズムの性能限界を明らかにし,高速なアルゴリズムを提案する。
- 混合分布を出力するアルゴリズムにおいて,サンプル数に関する下限を確立した。
- 多項式時間で動作し,確立された下限と同等の近似保証を持つアルゴリズムを開発した。
- 適切なアルゴリズムにおける計算時間を改善し,信頼性と誤差パラメータへの依存度を低減した。
確率的勾配降下法における降下なし適応的勾配降下法 [cs.CL, cs.LG, math.OC, stat.ML]目的:凸最適化における確率的勾配降下法のステップサイズ戦略
- 機械学習において,最適化問題はモデルの学習において不可欠である。
- 確率的勾配降下法では,適切なステップサイズの設定が難しい。
- ハイパーパラメータ調整なしで,ステップサイズを自動的に調整する手法を開発する。
- 提案手法は,第一階の確率的オラクルのみを用いて,目的関数の局所的な形状を利用する。
- 理論的な検証により,様々な条件下でステップサイズが収束することが証明された。
- 実験結果は,調整されたベースライン手法と同等以上の性能を示す。
タスク適応型パラメータ効率的ファインチューニング:気象基礎モデルへの応用 [cs.CL, cs.LG]目的:気象基礎モデルにおけるタスク適応型パラメータ効率的ファインチューニング手法の開発
- 近年の機械学習の進展により,多様な気象タスクに対応可能となったが,モデルの規模拡大に伴い計算コストが増大している。
- 既存のパラメータ効率的ファインチューニング法は,気象タスク特有の多様性や解像度,時空間カバレッジの変化に対応できていない。
- 気象基礎モデルへの適用において,既存手法の性能ギャップを埋め,効率的なファインチューニングを実現することを目指す。
- 提案手法WeatherPEFTは,既存のPEFT手法が示すFull-Tuningとの性能差を解消し,少ない学習パラメータで同等の性能を達成した。
- Task-Adaptive Dynamic Prompting (TADP)により,タスクに応じた特徴量の再調整を可能にし,文脈を考慮した学習を実現した。
- Stochastic Fisher-Guided Adaptive Selection (SFAS)は,重要なパラメータを選択的に更新し,事前学習済みの知識を保持しつつ安定化を図った。
大規模音声言語モデルにおける忠実性の調査 [cs.LG, eess.AS]目的:大規模音声言語モデルにおけるChain-of-Thoughtの忠実性の評価
- 音声とテキストを統合し複雑な推論を行うモデルの重要性が高まっている。
- モデルの推論過程が音声に基づいていない,または誤った情報を生成する可能性がある。
- 大規模音声言語モデルの推論過程と音声入力の整合性を検証する。
- 大規模音声言語モデルの推論過程は,最終的な予測と一致する場合があるが,必ずしも音声に強く基づいているとは限らない。
- 幻覚や敵対的な摂動に対して脆弱性があることが示唆された。
- 忠実性を評価するための3つの基準(幻覚のなさ,全体性の把握,注意深いリスニング)を定義した。
LLMにおける比喩処理の意味的整合性,語彙的不変性,構文の影響の探求 [eess.SY, cs.SY, cs.CL, cs.AI]目的:LLMにおける比喩処理のメカニズム解明
- 自然言語処理の発展に伴い,比喩表現の理解は重要な課題となっている。
- LLMの比喩処理能力は高いが,その内部メカニズムは未解明な点が多い。
- LLMの比喩処理における意味的整合性,語彙,構文の影響を明らかにすること。
- LLMが生成する比喩解釈は,参照となる意味属性から乖離する傾向が認められた。
- 比喩表現と直訳表現間の語彙的関連性は安定しており,定型的な比喩を支持する一方,文脈統合を必要とする新規比喩に影響を与える可能性がある。
- 比喩検出の性能は,構文の不規則性に敏感であることが示された。これはLLMの性能が多様な信号に依存している可能性を示唆する。
大規模言語モデルエージェントにおける行動知能のための構造化認知ループ(拡張改訂:行動アーキテクチャから認識的説明責任へ) [cs.AI]目的:大規模言語モデルエージェントにおける説明責任ある行動のアーキテクチャ
- AIエージェントは性能だけでなく,説明責任が重要視されている。透明性の低い行動は検証を困難にする。
- 既存のエージェントは,行動の根拠や責任の所在が不明確になりがちである。
- エージェントの行動を構造化し,根拠と責任を明確にすることを目指す。
- 構造化認知ループ(SCL)は,認知,記憶,制御,行動を分離するアーキテクチャである。
- SCLは,旅行計画,メール作成,画像生成などのタスクで,既存手法よりも高いタスク成功率を示した(86.3% vs 70.5-76.8%)。
- SCLは,目標の忠実度向上,冗長なツール呼び出しの削減,中間状態の再利用促進,根拠のない主張の抑制にも貢献する。
パーソナライゼーションの罠:LLMにおけるユーザー記憶が感情推論に及ぼす影響 [cs.AI, cs.CL]目的:LLMにおけるユーザー記憶が感情推論に与える影響の解明
- AIのパーソナライズ化が進み,ユーザーの状況を記憶することが重要になっている。
- パーソナライズ機能が,AIの感情推論に潜在的な偏りを生じさせる可能性がある。
- ユーザー記憶が感情推論に与える影響を明らかにし,公平性を高めることを目指す。
- ユーザープロファイルを変えることで,同じ状況に対する感情解釈に系統的な違いが生じることが確認された。
- 有利なプロファイルに対して,より正確な感情解釈がなされる傾向が,高性能なLLMで複数見られた。
- 感情理解と支援提案において,人口統計学的要素による感情推論の格差が明らかになった。
統計的視点からのクロスリンガルギャップの再考 [cs.CL, cs.AI, cs.LG]目的:クロスリンガルギャップの性質の解明
- ウェブ上の知識は限られた言語で表現され,LLMが言語間の橋渡しをする。
- ターゲット言語での精度低下が問題であり,原因の特定が課題である。
- ターゲット言語の応答の分散に着目し,ギャップを解消する。
- クロスリンガルギャップを,バイアス付きとバイアスなしのエラーという観点から定式化した。
- 推論時の介入により応答の分散を制御し,ギャップを縮小することに成功した。
- テスト時アンサンブル手法により,LLM間のスコアを最大12ポイント改善した。
R2BC:単一エージェントの模倣データからのマルチエージェント模倣学習 [cs.RO, cs.AI, cs.MA]目的:マルチエージェントシステムにおける模倣学習手法
- ロボットに学習させる自然な方法であり,高品質な模倣データが得やすい場合に有効。
- マルチエージェントシステムへの拡張が少なく,単一人間が複数ロボットを指示する際の課題。
- 単一人間の模倣データから,複数ロボットの協調行動を効率的に学習すること。
- R2BCは,単一人間が各ロボットを順に操作することで,複数ロボットシステムを学習させる手法。
- R2BCは,完全な協調行動データと比較して同等か,それ以上の性能を示すことがシミュレーションで確認された。
- 実機ロボットを用いた実験でも,R2BCが人間の模倣データで有効に学習できることを示した。
ビンパッキング問題に対するLLMの貢献に関する詳細な研究 [cs.AI]目的:ビンパッキング問題に対するLLMの貢献の評価と,より効率的なアルゴリズムの提案
- 組合せ最適化問題は,現実世界の様々な問題に応用可能であり,その効率的な解法は重要である。
- 既存のビンパッキング問題に対する解法は,問題の規模や特性によって性能が左右される場合がある。
- LLMが生成したヒューリスティックの解釈可能性と効率性を向上させ,より汎用的なアルゴリズムを開発すること。
- LLMが生成したヒューリスティックは,人間が理解できるものの,専門家にとっても解釈が困難であることが示された。
- LLMによって生成されたヒューリスティックに基づき,よりシンプルで効率的,かつ解釈可能な新しいアルゴリズムを提案した。
- LLMの貢献に関する主張は,問題の単純さと,既存研究との関連性の誤認に基づいている可能性が示唆された。
GrowthHacker:コード修正型LLMエージェントによるオフポリシー評価の自動最適化 [cs.SE, cs.CL, cs.LG]目的:オフポリシー評価の実装最適化
- データ駆動型開発が普及し,オンラインA/Bテストの重要性が増している。
- オンラインA/Bテストには,資源や時間,倫理的なリスクが伴う。
- 過去のログデータを用いたオフポリシー評価により,これらの課題を解決する。
- GrowthHackerベンチマークにより,LLMエージェントが大規模データセットでオフポリシー評価を自動最適化できることが示された。
- 二つのエージェントフレームワークが,高い信頼性(98.1%-100%成功率)と肯定的な結果率(78%)を示し,平均4.4%の改善を達成した。
- CrewAIは平均37.9%の改善を達成し,異常値による失敗がなかった。AutoGenとDefaultは65%の肯定的な結果率であった。
ActiTect:標準化アクチグラフィーによるREM睡眠行動障害スクリーニングのための汎用機械学習パイプライン [cs.RO, cs.LG, q-bio.NC]目的:REM睡眠行動障害のスクリーニング
- REM睡眠行動障害は,パーキンソン病等のαシヌクレオパチーの前駆症状として重要である。
- 大規模スクリーニングにはアクチグラフィーが有用だが,信頼性の高い解析パイプラインが存在しなかった。
- 異種デバイス間での汎用性を持つ,自動化されたRBD検出パイプラインを開発する。
- 開発したActiTectは,交差検証で高い識別能(AUROC = 0.95)を示した。
- 独立した検証セットでも高い性能が確認された(AUROC範囲 = 0.84-0.94)。
- 本ツールはオープンソースであり,広範な利用とさらなる改善に貢献する。
