arXiv雑要約
AI - 2026/05/06 公開
準線形ニューラルネットワークを用いた凸集合のパラメータ化 [math.OC, cs.AI, cs.LG, cs.NA, math.NA]目的:凸集合のニューラルネットワークによるパラメータ化
- 幾何学,最適化,機械学習等の分野で,凸集合は基本的な構成要素である。
- 既存手法では,複雑な凸集合の表現や学習が困難であった。
- 準線形関数を用いた表現により,複雑な凸集合を効率的に学習すること。
- 本研究では,準線形ニューラルネットワークを用いて凸集合をパラメータ化する手法を提案した。
- 提案手法は,凸体の支持関数とゲージ関数を暗黙的に表現できることが示された。
- 形状最適化や逆設計タスクにおいて,目標形状の正確な再構成が確認された。
純粋状態アンサンブル生成のための確率的シュレーディンガー拡散モデル [stat.ML, cs.LG]目的:純粋状態アンサンブルの生成
- 量子機械学習において,古典データを量子状態として処理する際の表現レベルでの生成モデリングの重要性が高まっている。
- 複素射影空間の非ユークリッド幾何学と遷移密度の計算困難性により,拡散モデルを純粋状態アンサンブルに拡張することが課題となっている。
- 複素射影空間上の確率的シュレーディンガー拡散モデルを提案し,純粋状態アンサンブルの統計的性質の生成を目指す。
- 確率的シュレーディンガー拡散モデル(SSDMs)は,複素射影空間上のスコアベース生成フレームワークとして,観測可能なモーメント,オーバーラップカーネルMMD,エンタングルメント指標を忠実に捉える。
- SSDMsによって生成された量子表現は,表現レベルのデータ拡張を通じて,下流の量子機械学習の汎化性能を向上させる。
- SSDMsは,リーマン幾何学的なスコアを用いた逆時間ダイナミクスを導出し,解析的な教師スコアを多様体上にマッピングすることで,解析的な遷移密度なしでの学習を可能にする。
高エントロピー生成モデルによる機能性タンパク質配列空間の拡張 [q-bio.QM, cond-mat.stat-mech, cs.LG]目的:機能性タンパク質配列空間の拡張
- タンパク質の機能と配列の関係解明は,生命現象の理解やバイオテクノロジー応用に不可欠である。
- 既存のタンパク質設計手法では,配列空間の探索範囲が限られ,新規機能獲得が困難である。
- 高エントロピーモデルが,より広範な配列空間を探索し,新規タンパク質設計に貢献することを目指す。
- ボルツマンマシンを用いた直接結合解析において,疎なモデルと密なモデルを比較した結果,どのモデルも高い成功率で機能性酵素を生成した。
- エントロピー最大化モデルが,他のモデルと比較して,15桁以上大きい配列空間をサンプリングすることが示された。
- 高エントロピーモデルは,過学習を抑制し,天然タンパク質周辺の局所的な中立空間をより良く捉えることが明らかになった。
代数的スペクトル曲線を用いた自由圧縮 [stat.ML, cs.LG, cs.NA, math.NA]目的:大規模モデルのスペクトル特性の推測
- 深層学習理論において,スペクトル情報は汎化性能やロバスト性理解に不可欠である。
- 大規模行列計算の制約から,現実的なモデルを扱うことが困難である。
- 代数的スペクトル曲線理論により,より広範なモデルへの適用を可能にする。
- 提案手法は,代数的関係を満たすスティルチェス変換を持つスペクトル密度に適用可能である。
- 複数のバルク,異なるスケール,原子を含む複雑なスペクトル密度も扱える。
- ニューラルネットワークや拡散モデルといった現実的な機械学習モデルへの有効性が示された。
ベイズ的不確実性定量化における共同事後予測分布のアモルタイズド変分推論 [math.CO, cs.DM, math.NT, stat.ML, cs.AI, cs.LG, stat.CO, stat.ME]目的:ベイズ予測推論における事後分布と予測分布の共同近似
- ベイズ推論は,モデルの不確実性を定量化し,リスク評価や意思決定に役立つ
- 高精度モデルでは,事後分布の近似と予測の計算コストが課題となる
- 予測分布を直接近似し,計算効率の良いオンライン推論を実現すること
- 提案手法は,従来の二段階変分推論よりも精度の高い予測分布を達成した
- オンライン予測推論のコストを大幅に削減することに成功した
- 解析的ベンチマークから有限要素固体力学問題まで,幅広い数値実験で有効性が確認された
テンパードガイド付き拡散 [stat.ML, cs.LG]目的:訓練不要な条件付き拡散サンプリングにおける事後分布の近似
- 拡散モデルは,多様なタスクに応用可能な強力な生成モデルとして注目されている。
- 既存のサンプラーは計算資源を効率的に活用できておらず,品質にばらつきがある。
- 有望な軌跡に計算資源を集中させ,効率的な事後分布近似を目指す。
- 提案手法であるTGDは,アニーリングされた逐次モンテカルロフレームワークを採用している。
- TGDは,ノイズ拡散状態を補助変数として利用し,事後分布を近似する。
- 実験の結果,TGDは既存手法と比較して,事後分布近似の精度と計算コストのバランスが改善された。
欠損値予測は良い考えか? [math.OC, cs.SY, eess.SY, stat.ML, cs.LG, stat.ME]目的:欠損値に対するバイアス軽減手法の検討
- 機械学習において,欠損値処理はモデルの性能に大きな影響を与える重要な課題である。
- 平均二乗誤差最小化は一般的だが,その結果としてデータの分散が減少するバイアスを生じさせる。
- 欠損値にノイズを加えることで,バイアスを解消し,より正確な統計的推論を可能にすることを目指す。
- 平均二乗誤差を最小化する予測的代入法は,系統的なバイアスを引き起こすことが示された。
- 一方,ランダムノイズを加える確率的代入法は,データの自然な変動を維持し,バイアスを回避する。
- missForest,softImpute,miceといった既存の代入ツールにおいても同様のバイアスが確認された。
適応ADMMによる低ランクテンソル補完 [stat.ML, cs.LG, eess.SP]目的:部分的に観測された低ランクテンソルの補完
- 近年,ビッグデータ解析において,テンソル解析の重要性が増している。
- テンソルデータの欠損値補完は,計算コストが高く,効率的な手法が求められている。
- ADMMと適応的パラメータ更新により,高速かつ高精度な補完手法を確立する。
- 提案手法は,既存の最先端技術と比較して,正規化平均二乗誤差(NMSE)において優れた性能を示した。
- ADMMの過緩和と適応的ペナルティパラメータ更新により,収束速度が向上した。
- 既存の最先端技術の解を初期値として用いることで,収束をさらに加速できることが示された。
逐次多目的送電網トポロジー計画のための厳密アルゴリズムと進化アルゴリズム [math.OC, cs.NE, cs.SY, eess.SY]目的:日次送電網トポロジー計画と混雑管理に関する多目的最適化
- 電力系統の安定運用には,送電網の最適なトポロジー構成が不可欠である。
- 送電網のトポロジー最適化問題は,組み合わせ最適化問題であり,計算量が膨大になる。
- 実用的な時間内で最適なトポロジーを探索する効率的な手法の開発が求められている。
- 厳密アルゴリズムであるブロックアルゴリズムは,実際の高圧送電網において,高度に混雑した日のパレート最適解を3分未満で算出できる。
- 進化的アルゴリズムはパレート最適解に収束するが,厳密アルゴリズムで得られた完全なパレート最適解を再現するには至らない。
- ブロックアルゴリズムは,意思決定支援ツールおよび今後のヒューリスティックや学習ベース手法のベンチマークとして機能する。
学習不要の共形季節プールによる確率的時系列予測 [math.OC, cs.CC, stat.ML, cs.LG]目的:確率的時系列予測手法の提案
- 時系列予測は,経済,環境,医療など,幅広い分野で不可欠な技術である。
- 深層学習モデルは高性能だが,計算コストが高く,過学習のリスクがある。
- 学習不要で,信頼性の高い予測区間を提供する手法の開発が求められている。
- 提案手法である共形季節プール(CSP)は,DeepNPTSを全ての評価指標において大幅に上回る性能を示した。
- 特に,予測区間のカバレッジ率は0.89と高く,DeepNPTSの0.66を大きく上回った。
- CSPは学習不要であり,CPU上でも高速に動作するため,実用性に優れている。
拡散モデル気候エミュレータからの極端現象発生確率の正確化に向けて [physics.ao-ph, cs.LG]目的:極端現象の発生確率の算出
- 気候変動の影響評価において,極端現象の正確な予測が不可欠である。
- 既存の気候モデルでは,計算コストが高く,迅速なシナリオ分析が困難である。
- 拡散モデルを用いたエミュレータにより,計算コストを抑えつつ極端現象の確率を評価する。
- 拡散モデル気候エミュレータから得られた大気状態の確率密度推定が極端現象の発生確率算出に役立つ。
- 熱帯低気圧(TC)を誘導した場合とそうでない場合との確率密度の比較により,TC発生の尤度を定量化できる。
- この尤度比を用いることで,TC分布からの重要サンプリングが可能となり,確率推定の標準誤差を低減できる。
マノヒン確率行列:分類器確率品質の診断フレームワーク [stat.ML, cs.LG]目的:分類器の確率予測の品質を診断するためのフレームワーク
- 機械学習モデルの性能評価において,確率予測の質は重要な指標である。
- 既存の評価指標(Brier score)は,信頼性と識別力を混同している。
- 信頼性と識別力を分離し,分類器の特性を明確化すること。
- マノヒン確率行列は,分類器を「鷲」「雄牛」「ナマケモノ」「モグラ」の4つのタイプに分類する。
- 「雄牛」型分類器に対し,Venn-Abersキャリブレーションを適用することで,log-lossが大幅に減少した。
- 識別力の向上は困難であり,確率予測のキャリブレーションを優先すべきであるという理論的根拠が示された。
ウィルソンループ表現におけるグラフニューラルネットワークとアベリアン格子ゲージ理論 [cond-mat.str-el, cs.LG, hep-lat, quant-ph]目的:アベリアン格子ゲージモデルに対するゲージ不変なグラフニューラルネットワークのアーキテクチャ
- 強相関状態やエンジニアリングされたダイナミクスを記述する上で,局所ゲージ構造は重要な役割を果たす。
- ゲージ自由度の冗長性を取り除きながら,表現力を維持することが課題である。
- ゲージ不変なメッセージパッシングによる効率的な学習とシミュレーションの枠組みを確立すること。
- 本研究で提案するアーキテクチャは,$\mathbb{Z}_2$ および $\mathrm{U}(1)$ 格子ゲージモデルにおいて,大域的観測量や空間分解された量の高精度な予測を可能にする。
- 学習されたモデルは,$\mathrm{U}(1)$ 量子リンクモデルにおける半古典的ダイナミクスの効率的な代替手段となり,安定したスケーラブルな時間発展を実現する。
- このモデルは,局所ダイナミクスと統計的相関を忠実に再現し,アベリアン格子ゲージシステムの学習とシミュレーションのための物理的に根拠のあるフレームワークを確立する。
テンソル積細分反復のExact ReLU実現 [math.CO, cs.DM, math.CA, cs.LG]目的:テンソル積細分演算子の反復によるExact ReLU実現
- 画像処理や信号処理において,多次元データに対する効率的な演算は重要である。
- 高次元空間における細分反復演算の効率的な実装が課題となっていた。
- テンソル積細分反復に対するExact ReLU実現の理論的根拠を示す。
- コンパクトなサポートを持つ連続区分線形関数gに対し,反復演算V^n gは固定幅・深さのExact ReLU表現を持つことが証明された。
- この結果は,一次元におけるExactループコントローラフレームワークを二次元に拡張したものである。
- テンソル積ダイアディックケースが,細分反復に対するループコントローラ法の自然な多変数例であることが示された。
マジック情報を活用した量子アーキテクチャ探索 [quant-ph, cs.AI]目的:量子アーキテクチャの探索手法
- 量子計算の優位性実現には,従来の計算資源にない「マジック」という資源が不可欠である。
- 既存の量子回路設計では,マジック資源を制御することが困難であった。
- マジック資源を制御可能な量子回路探索手法を開発し,量子計算の性能向上を目指す。
- 提案手法は,グラフニューラルネットワークを用いて候補回路のマジック量を推定し,探索を誘導する。
- 実験の結果,提案手法は探索ツリー全体および最終回路のマジック量を効果的に制御できることが示された。
- 問題に依存しないマジックバイアスを導入しても,テストされたすべての問題で解の質が改善された。
条件付き拡散サンプリング [math.CO, cs.DM, stat.ML, cs.LG]目的:非正規化多峰性分布からのサンプリング手法
- 機械学習や自然科学において,密度評価回数制限下でのサンプリングは重要な課題である。
- 既存手法は参照分布との橋渡しに依存するが,計算コストとのトレードオフが存在する。
- PTと拡散モデルの利点を組み合わせ,効率的なサンプリングを目指す。
- 条件付き拡散サンプリング(CDS)は,PTによる初期分布サンプリングと,閉形式SDEによる輸送を組み合わせる。
- CDSは,短い拡散時間において初期分布サンプリングのコストが減少することを示す。
- 実験結果から,CDSは最先端サンプラーと比較して,サンプル品質と密度評価コストのバランスが優れている可能性がある。
ブロックチェーンは信頼性高く機械学習モデルを訓練できるか [cs.CR, cs.CE, cs.DC, cs.LG]目的:機械学習モデル訓練へのブロックチェーン資源の活用可能性
- PoWネットワークのエネルギー消費は大きい。持続可能な計算資源利用が課題。
- PoW資源を機械学習に転用する際の技術的課題が存在する。
- PoWのインセンティブを維持しつつ,機械学習の信頼性・安全性を確保する。
- PoTプロトコルにより,マイニングパワーを検証可能な機械学習訓練に誘導できる。
- 理論的分析と分散型訓練ネットワークの実装により,高いタスク処理量とロバスト性を示した。
- PoTはネットワークセキュリティの向上にも貢献する可能性が示唆された。
スパイクニューラルネットワークを用いた継続学習における神経経路の適応的再編成 [cs.DB, cs.NE, cs.AI]目的:スパイクニューラルネットワークにおける神経経路の適応的な再編成による継続学習手法
- 人間の脳は多くのタスクを学習できる。そのメカニズムを人工知能に組み込むことが重要。
- 既存の継続学習アルゴリズムは,ネットワーク資源の自動調整が不十分で,性能低下や消費電力増加が課題。
- 限られたスパイクニューラルネットワークを効率的に再編成し,タスクの増加に対応することを目指す。
- 提案手法は,多様な継続学習タスクにおいて,性能,エネルギー消費,メモリ容量で優れた結果を示した。
- 特に,複雑なタスクや多数のタスクの学習に優れ,過去の知識と現在の情報を統合し,転移学習能力を発揮する。
- また,不可逆的な損傷からの自己修復能力や,プルーニングされたネットワークにおける記憶回復能力も示す。
光 плетизモグラフィデータに対する深層学習法のレビュー [cs.AI, cs.LG, eess.SP]目的:光 плетизмоグラフィデータへの深層学習法の応用研究の現状把握
- 心血管疾患の早期発見や健康管理において,非侵襲的な生体情報計測技術の重要性が高まっている。
- 従来の機械学習は特徴量設計に依存するが,複雑なPPG信号から最適な特徴量を抽出することが困難である。
- 深層学習を用いることで,PPG信号からより高度な生理学的情報を抽出することを目指す。
- 460件の研究を対象としたレビューにより,深層学習がPPG信号解析の多様な応用分野を牽引していることが明らかになった。
- 深層学習は,心血管評価に加え,睡眠分析や生体認証など,新たな領域への応用を可能にしている。
- 大規模な高品質データセットの不足や実環境での検証不足,モデル解釈性の課題など,今後の克服すべき点も示唆された。
表形式データの生成モデリングのための統一的フレームワーク:損失関数,ベンチマーク,および改良された多目的ベイズ最適化手法 [cs.LG]目的:表形式データの生成モデリングに関する統一的フレームワーク
- 深層学習は大量のデータが必要だが,データ不足を補う生成モデルが重要である。
- 既存手法では,特徴量の相関や分布の保持が難しく,多指標ハイパーパラメータ最適化も課題である。
- 相関と分布を考慮した損失関数と,効率的なハイパーパラメータ最適化手法を提案する。
- 提案手法は,相関を考慮した損失関数により,生成データの忠実度と機械学習性能を向上させる。
- 多目的ベイズ最適化手法IORBOは,標準的なベイズ最適化SBOを上回る性能を示す。
- 本フレームワークは,表形式データの生成モデリングを前進させる。
psifx -- 心理・社会相互作用特徴抽出パッケージ [cs.CL, cs.LG]目的:心理・社会科学研究のための最先端機械学習技術利用の促進
- 人間の行動理解は,心理学や社会科学において不可欠であり,その発展に寄与する。
- データアノテーションには,高コスト,時間,および一貫性の問題が存在する。
- 非専門家でも容易に利用可能な,オープンソースの研究ソフトウェアを提供する。
- psifxは,話者分離,自動字幕起こし,翻訳,姿勢推定,視線追跡等のツールを提供する。
- モジュール構造により,容易な機能追加や更新が可能である。
- 心理学および社会科学研究における,リアルタイム行動現象の詳細な分析を可能にする。
固定翼機横姿勢追従制御のための対称的データ拡張を用いた深層決定方策勾配 [cs.LG, cs.AI]目的:固定翼機の横姿勢追従制御における,効率的な制御方策の最適化
- 力学系の対称性は,状態遷移予測や制御性能向上に重要であり,航空力学分野での応用が期待される。
- オフライン強化学習では,限られたデータセットから効率的に学習することが課題である。
- データセットの対称性を利用し,データ拡張により学習効率を向上させることを目指す。
- 力学系の対称性を活用し,サンプル効率の高いオフライン強化学習手法を開発した。
- DDPGに拡張サンプルを統合することで,状態行動空間のカバー率を向上させ,収束を加速させた。
- 拡張サンプルで訓練された二重批判構造により,サンプル利用効率が改善された。
AIリスクリポジトリ:人工知能由来のリスクに関するメタレビュー,データベース,および分類体系 [cs.AI, cs.CR, cs.ET, cs.LG, cs.SY, eess.SY]目的:人工知能由来のリスクの網羅的なカタログ
- AI技術は社会を急速に変革しているため,リスク評価と管理が不可欠である。
- AIリスクに関する用語の多様性が研究の比較を困難にし,包括的なリスク評価を妨げている。
- AIリスクに関する共通の参照点を確立し,より効果的なリスク管理の基盤を構築すること。
- 既存の74のAIリスクフレームワーク(1,725のリスクを含む)を体系的に分析し,統一された分類システムを構築した。
- AIシステム自体に起因するリスクと,人間の意思決定に起因するリスクはほぼ同程度であることが判明した。
- 本リポジトリは,AI安全性の研究者,政策立案者,監査者など,AIリスクに取り組む人々に役立つツールを提供する。
異種エッジデバイスにおける深層学習物体検出モデルの包括的評価 [cs.CV, cs.AR, cs.DC, cs.LG, cs.SE]目的:深層学習物体検出モデルの性能評価
- 自動運転やスマートシティなど,エッジデバイスでの物体検出の需要が急速に高まっている。
- 異種エッジデバイス間でのモデルの挙動や,シーンの複雑さによる性能変化が十分に理解されていない。
- 様々なデバイスとシーンにおけるモデルの性能トレードオフを明らかにすること。
- YOLOv8 Mediumが最も高い精度を達成したが,計算コストも高い。
- SSD MobileNet V1は,最も低いレイテンシと消費電力を示した一方で,精度は低い。
- TPU搭載のRaspberry Piは,SSDとEfficientDet Liteの効率を向上させたが,YOLOv8の精度は低下した。
Power-Softmax: 暗号化データ上の安全なLLM推論に向けて [cs.LG, cs.CR]目的:暗号化データ上での安全なLLM推論の実現
- プライバシー保護は重要であり,特に大規模言語モデルの利用においてデータ保護の必要性が高まっている。
- 既存の暗号化手法は,LLMを多項式形式で表現する必要があり,Transformerの非多項式要素が課題となっていた。
- 本研究は,安全な推論のための多項式近似が容易な自己注意機構を開発し,大規模なLLMを実現することを目指す。
- 本研究で開発された自己注意機構は,トレーニングが安定しており,10億以上のパラメータを持つ多項式LLMを可能にした。
- その結果,得られたモデルは,同サイズの標準Transformerと同等の推論能力と,文脈学習能力を示すことができた。
- 暗号化データ上での各計算の遅延時間を詳細に分析し,さらなる最適化の道筋を示した。
ハ이브マインドは単一の強化学習エージェントである [cs.MA, cs.AI, cs.GT]目的:集団意思決定と単一エージェントの試行錯誤の等価性
- 自然界における効率的な戦略獲得のメカニズム解明は,知能研究の根幹である。
- 個々の単純行動から集団としての知性がどのように生まれるか不明確である。
- 模倣による集団意思決定が,強化学習エージェントと等価であることを示す。
- ミツバチの巣探し行動に着目し,単純な模倣ルールが単一の強化学習エージェントとして機能することを示した。
- 特に,ワグルダンスにおける「重み付き投票者モデル」は,「Maynard-Cross Learning」と呼ばれる多腕バンディットアルゴリズムに対応する。
- 本研究は,集団レベルの知性が自然選択における単純行動の選択を説明しうる可能性を示唆する。
不確実性下における作業者柔軟性を考慮したフレキシブルジョブショップスケジューリング問題のベンチマークスイート [eess.SY, cs.SY, cs.NE]目的:フレキシブルジョブショップスケジューリング問題のベンチマーク環境
- 生産計画の効率化は,企業の競争力強化に不可欠である。多様な要素を考慮した高度なスケジューリング技術が求められている。
- 既存のベンチマーク問題は限定的であり,アルゴリズム間の客観的な比較が困難であるという課題がある。
- 作業者柔軟性を考慮した問題設定に対応したベンチマーク環境を構築し,アルゴリズム開発を支援すること。
- 402件の標準化されたフレキシブルジョブショップスケジューリング問題インスタンスに基づく,包括的なベンチマーク環境が構築された。
- 作業者柔軟性を取り入れた問題インスタンスは,従来の研究にはない新たなデータセットを提供する。
- 処理時間やリソースの不確実性をシミュレーションに組み込むことで,ロバストな最適化戦略の開発・評価を可能にする。
LLMベースのデータ拡張におけるバイアス継承の理解と軽減 [cs.LG, cs.AI, cs.CL]目的:LLMベースのデータ拡張によるバイアス継承の理解,分析,軽減
- LLMの性能向上にはデータが不可欠であり,データ拡張はその有効な手法である。
- LLMは学習データに内在するバイアスを反映し,そのバイアスが下流タスクに伝播する。
- データ拡張によるバイアス継承を特定し,その軽減策を提案すること。
- LLMで生成されたデータで学習すると,バイアスが直接関連するタスクの性能が低下する。
- バイアス継承の原因として,値,グループデータ,データ分布の不整合が特定された。
- トークンベース,マスクベース,損失ベースの3つの軽減策が提案された。
オープンエンドAIの展開における安全性確保の優先 [cs.AI]目的:オープンエンドAIシステムの安全性課題の特定と,安全な開発に向けた提言
- AI技術は急速に進歩しており,その応用範囲は拡大の一途を辿っている。
- 既存のAI安全対策は,特定のタスクや静的なモデルを対象としており,自律的に進化するAIには不十分である。
- 予測不能性,目的のずれ,制御困難性といった,オープンエンドAI特有の安全課題に対処する必要がある。
- オープンエンドAIシステムは,予測可能性の低下,予期せぬ目的のずれ,制御の難しさといった新たな安全性上の課題をもたらす。
- これらの課題は,既存の安全フレームワークだけでは解決が難しく,大規模展開前に積極的に検討する必要がある。
- 安全かつ責任あるオープンエンドAI開発のため,協調的な取り組みと研究機会の創出が重要である。
マルチエージェント協調のための閉ループ視覚言語計画 [cs.CC, cs.AI, cs.MA]目的:マルチエージェント協調のための計画手法
- 複数エージェントが協調してタスクを達成する技術は,ロボティクスや自動運転など幅広い分野で重要である。
- 従来の強化学習は,サンプル効率が悪く,解釈可能性や汎化性能に課題がある。
- 視覚情報と言語情報を統合することで,部分観測下でのロバストな協調を実現する。
- 提案手法COMPASSは,視覚言語モデルを活用し,分散的な閉ループ意思決定を可能にした。
- COMPASSは,専門家のデモンストレーションから学習し,解釈可能なコードベースの戦略をスキルライブラリに格納する。
- SMACv2ベンチマークにおいて,最先端のMARLベースラインを大幅に上回り,特にProtoss 5v5タスクでは57%の勝率を達成した。
GLEAN:多様なLLMからのフィードバックによる汎用的なカテゴリ発見 [cs.CL, cs.LG]目的:汎用的なカテゴリ発見のための統一的フレームワーク
- 未知のカテゴリを認識する能力は,現実世界のデータ分析において不可欠である。
- 教師データが少ない状況下では,誤りの修正や意味的解釈が困難である。
- LLMからのフィードバックを活用し,高精度なカテゴリ発見を実現する。
- GLEANは,インスタンスレベルの対照的な特徴,カテゴリ記述,および不確実なインスタンスのアライメントを改善するために,3種類のLLMフィードバックを活用する。
- 実験の結果,多様なデータセット,指標,および監督設定において,GLEANは最先端モデルを上回る性能を示した。
- 本研究で開発したコードは,https://github.com/amazon-science/Glean で公開されている。
生成事前分布を用いた効率的な最適化:粗い学習可能性によるアプローチ [cs.HC, cs.LG, cs.DS, stat.ML]目的:生成事前分布に基づいた最適化におけるサンプル効率の向上
- 複雑なモデルや分布を扱う最適化問題において,効率的な探索が重要となる。
- 従来のモデルベース最適化は,複雑な事前分布に対する有限サンプル保証が不足している。
- 粗い学習可能性の概念を用いて,限られたサンプル数で目的分布を近似する。
- 提案手法は,粗い学習可能性という統計的仮定に基づき,多項式個数のサンプルで目的分布を近似する反復モデルベース最適化アルゴリズムを設計した。
- 二次被包を持つ非凸目的関数の最適化において,提案手法は$\widetilde{O}(\log 1/\varepsilon)$のサンプル複雑度を達成し,楽観的な空間分割法と同等の性能を示す。
- 粗い学習可能性は,単純な設定において,最尤推定や過剰平滑化カーネル密度推定が自然に満たすことが理論的に示された。
AhaRobot:低コストなオープンソース二足歩行型二腕マニピュレータ [cs.RO, cs.AI, cs.LG]目的:具現化されたAIのための低コストなオープンソース二腕移動マニピュレータ
- 具現化されたAI研究の発展には,多様な操作データの大量収集が不可欠である。
- 既存の移動マニピュレータは高価であり,大規模な展開が困難であるという課題がある。
- 本研究は,低コストで手軽に利用可能なマニピュレータを提供し,データ収集のボトルネックを解消することを目指す。
- AhaRobotは,SCARA機構のような二腕ハードウェア設計により,低コストで大きな作業空間を実現した。
- 制御スタックの最適化により,バックラッシュ軽減や静摩擦補償を行い,精度を向上させた。
- 26面マーカーハンドルを備えたRoboPilotにより,追跡誤差を80%削減し,データ収集効率を30%向上させた。
正規化マッチングTransformer [cs.CV, cs.LG]目的:画像ペア間の疎な意味的キーポイントマッチング
- 画像間の対応関係は,ロボット工学や画像認識など様々な分野で重要である。
- 既存手法では,計算コストが高く,正確性に課題がある場合がある。
- 効率的かつ高精度なキーポイントマッチング手法を開発し,性能向上を目指す。
- 提案手法NMTは,PascalVOCとSPair-71kにおいて最先端の性能を達成した。
- 既存手法(BBGM, ASAR, COMMON, GMTR)と比較して,それぞれ5.1%と2.2%の性能向上を示した。
- また,学習エポック数も他の手法より少なくとも1.7倍短縮された。
ノイズ除去とデータ拡張を用いた適応的長期埋め込みによるレコメンデーション [cs.IR, cs.AI, cs.NE]目的:レコメンデーションのための適応的長期埋め込み手法
- インターネットの急速な発展に伴い,パーソナライズされたレコメンデーションシステムの重要性が増している。
- 既存のグラフベースのレコメンデーションシステムは,ノイズや静的な表現による課題を抱えている。
- 本研究では,ノイズ除去とデータ拡張により,より正確でロバストなレコメンデーションを実現することを目指す。
- 提案手法ALDA4Recは,4つの実データセットにおいて,最先端のベースラインを凌駕する性能を示した。
- アイテム間のグラフ構造を構築し,コミュニティ検出によるノイズ除去と相互作用の強化を行うことで,精度とロバスト性を向上させた。
- 長期的なユーザー嗜好を動的に最適化する適応的重み付け戦略が,高い効果を発揮した。
K2MUSE:リハビリテーションロボットのためのタスクと取得変動を含む下肢マルチモーダル歩行データセット [cs.RO, cs.AI, cs.HC]目的:リハビリテーションロボット開発・生体力学解析・ウェアラブルセンシング研究のための包括的なリソース
- 下肢リハビリテーションロボットの性能は,人間の様々な歩行活動からの生体力学的情報に大きく依存する。
- 既存の下肢データセットは,効果的なデータ駆動型アプローチ開発に必要なマルチモーダルデータと大規模な歩行サンプルが不足している。
- 実際の取得環境における干渉の影響を考慮した,包括的なマルチモーダルデータを収集し,データセットの不足を解消する。
- K2MUSEデータセットは,運動学的,運動力学的,振幅変調超音波(AUS),表面筋電図(sEMG)の測定を含む包括的なマルチモーダルデータを提供する。
- 健常成人30名と高齢者12名を対象に,傾斜,速度,非理想的な取得条件(筋肉疲労,電極シフト,日差)下でのデータを収集した。
- データセットは,リハビリテーションロボット開発,生体力学分析,ウェアラブルセンシング研究のためのリソースとして利用可能である。
四元数ウェーブレット条件付き拡散モデルによる画像超解像 [cs.CV, cs.LG]目的:画像超解像のための新しいフレームワーク
- 画像認識技術の向上は,医療画像から衛星分析まで幅広い分野で重要である。
- 高解像度の再構成において,微細なディテールやリアルなテクスチャの再現が課題である。
- 知覚的品質と構造的忠実度を両立する超解像技術の開発。
- 提案手法ResQuは,四元数ウェーブレット前処理と潜在拡散モデルを統合した新しいフレームワークである。
- 四元数ウェーブレット埋め込みを動的に統合することで,ノイズ除去プロセスの条件付けを強化する。
- ドメイン固有のデータセットを用いた実験により,既存手法と比較して優れた超解像結果が得られた。
正規化フローと幾何学的認識型クレーマーサロゲートによるパラメータ効率的な分布強化学習 [cs.AI, cs.LG, math.OC]目的:分布強化学習におけるパラメータ効率の向上
- 強化学習は,複雑な意思決定問題の解決に不可欠であり,その性能向上は重要な課題である。
- 従来の分布強化学習は,パラメータ数が多くなりがちで,計算コストが高いという問題がある。
- 正規化フローを用いて,パラメータ効率を向上させつつ,分布の複雑さを捉えることを目指す。
- 提案手法NFDRLは,固定されたサポートに依存する既存手法と比較して,パラメータ数を大幅に削減できる。
- NFDRLは,toy MDPsにおいて豊富な多峰性のある報酬分布を再現し,Atari-5ベンチマークでも良好な性能を発揮する。
- 提案された幾何学的認識型距離は確率距離であり,収束性や勾配の不偏性を保証する。
ハードマージン条件下におけるニューラルネットワーク分類器の超高速収束率 [cs.LG, math.ST, stat.TH]目的:ニューラルネットワーク分類器の収束率に関する理論的解析
- 深層学習は,画像認識や自然言語処理など,幅広い分野で優れた性能を発揮している。
- 深層学習モデルの理論的な理解はまだ十分ではなく,過学習や汎化性能の限界などが課題である。
- ハードマージン条件下におけるニューラルネットワークの収束率を厳密に評価し,理論的限界を明らかにする。
- 低ノイズ条件下では,様々な活性化関数において,収束率がデータ数 $n$ の冪乗に比例することが示された。
- ハードマージン条件下では,収束率がより高速になり,任意の大きな $\alpha$ を実現できることが示された。
- 活性化関数が $\tanh$ またはシグモイドの場合,従来の滑らかさの仮定下でも同様の収束率が成り立つことが示された。
エージェント型出版:大規模言語モデル時代における科学出版の再設計 [cs.AI, cs.HC]目的:科学出版における知識システム
- 科学研究の進展は知識の爆発的な増加をもたらし,その共有と活用が課題となっている。
- 従来の科学出版は,情報の検索性と知識の統合性に限界がある。
- 本研究は,LLMを活用し,知識の動的な更新と統合を可能にする新たな出版形態を提案する。
- 本研究は,論文をインタラクティブな知識システムへと変換する「エージェント型出版」の概念を提示した。
- 提案アーキテクチャは,構造化データと非構造化コンテンツを統合し,多言語対応,APIアクセス,継続的な知識フローを実現した。
- 多エージェント検証と伝統的な出版経路の統合により,効率的で透明性の高い研究エコシステムを構築できることを示した。
グラフ条件付き拡散モデルによる関係データベースの共同生成 [cs.LG]目的:関係データベースの共同生成
- プライバシー保護やデータ拡張など,様々な応用において関係データベースの生成モデルが重要である。
- 既存研究は単一テーブル生成に偏り,複数テーブルへの適用も自己回帰的で並列化が難しい。
- テーブル順序に依存せず,関係データベース全体を共同でモデル化する手法を提案する。
- 提案手法は,グラフニューラルネットワークを用いて行属性を共同でノイズ除去し,複雑なテーブル間依存関係を捉える。
- 実世界のデータベース6つを用いた実験により,複数ホップのテーブル間相関モデリングにおいて,自己回帰的ベースラインを大幅に上回ることが示された。
- 単一テーブルの忠実度指標においても,最先端の性能を達成した。
極座標表現:最適な行列符号法とそのMuonアルゴリズムへの応用 [cs.LG, cs.AI, cs.CL, cs.NA, math.NA, math.OC]目的:深層ニューラルネットワークの学習におけるMuonオプティマイザのための極分解および行列符号関数の計算手法
- 深層学習の発展に伴い,高速かつ効率的な行列計算の重要性が増している。
- 従来の極分解法は,GPU環境での高いスループットを重視する深層学習の要求を満たせていない。
- GPUに最適化された行列計算のみを用いることで,深層学習における収束性と精度を向上させる。
- Polar Expressは,行列と行列の積のみを用いる新しい極分解法であり,GPU上での効率的な計算を実現している。
- 本手法は,誤差を最小化するミニマックス最適化問題を解くことで,初期段階と漸近的に高速な収束を可能にする。
- Muonに統合することで,FineWebデータセットで学習したGPT-2モデルにおいて,検証損失の一貫した改善が確認された。
選択的ヤコビデコーディングによる離散自己回帰正規化フローの推論高速化 [cs.LG, cs.AI]目的:離散正規化フローの推論速度向上
- 生成モデルの高性能化が求められており,尤度計算と学習の容易さが重要視されている。
- 自己回帰モデルは表現力に優れるが,逐次的な処理により推論速度が遅いという課題がある。
- 選択的ヤコビデコーディングにより,並列性を高め推論速度を改善することを目指す。
- 提案手法は,厳密な逐次依存性を緩和し,部分変数の近似を可能にすることで,推論を高速化する。
- 理論的解析により,超線形収束率が示され,必要な反復回数は従来の逐次アプローチ以下であることが保証された。
- 実験結果は,様々なデータセットで提案手法の有効性を検証し,最速で4.7倍の推論速度向上を達成した。
エージェントは,認識論的に必要である場合にのみ外部ツールを起動すべき [cs.AI]目的:外部ツール利用の正当化に関する認識論的必要性の検討
- 大規模言語モデルがツールを活用するエージェントへと進化する中で,その活用方法が重要視されている。
- 既存のフレームワークでは,ツール利用の必要性と不要性を区別する明確な基準が存在しない。
- エージェントがツールを利用すべき状況を,認識論的必要性の観点から明確化することを試みる。
- 本研究では,エージェントの不確実性の判断と外部委託の判断を区別する「エージェントの理論(ToA)」を提案する。
- 過剰な思考や行動といったエージェントの失敗は,不確実性の判断ミスが原因であると示唆される。
- ツール利用の規範的基準を提示し,効率性と内部推論能力の開発の両立を目指す。
GPのループから脱却 [cs.HC, cs.LG, cs.AI, stat.ML]目的:ベイズ最適化における計算コストの削減
- ベイズ最適化は高価な関数評価に適しており,限られたデータで効率的な探索が可能。
- 近年の計算機能力向上により,データ量の増加に対応したベイズ最適化手法が求められている。
- ガウス過程の計算コストを回避し,大規模データにおけるベイズ最適化の効率化を目指す。
- 提案手法Epistemic Nearest Neighbors (ENN)は,ガウス過程の代替として機能し,計算量を大幅に削減する。
- TuRBO-ENNは,既存手法TuRBOと比較して,提案時間(フィッティング時間+獲得時間)を1~2桁短縮する。
- ノイズのない問題においては,フィッティングを省略することでさらなる高速化が可能となる。
敵対的バンディットフィードバック下におけるファクトチェックのためのオンライン共形棄権 [cs.LG]目的:対話型生成システムのファクトチェックにおける信頼性確保
- 対話型生成システムの普及に伴い,誤った情報を生成するリスクへの対策が重要である。
- 現実環境では,ユーザーからのフィードバックが部分的であり,環境が変化しやすく,学習が困難である。
- 部分的かつ敵対的なフィードバック下でも,ファクトチェックの信頼性を維持する手法を確立する。
- 提案手法ExAULは,バンディットアルゴリズムのレグレットをFDR(偽発見率)の上限に変換する新しい補題を導入した。
- ExAULは,共形棄権の構造を利用し,部分的フィードバックから追加の学習シグナルを抽出する「フィードバックアンロック」戦略を用いる。
- 実験結果から,ExAULはFDRを効果的に制御しながら,高い回答カバレッジを維持できることが示された。
衛星画像超解像のためのメタデータ,ウェーブレット,時間依存拡散モデル [cs.CC, math.LO, cs.CV, cs.LG]目的:衛星画像超解像のための新規フレームワーク
- 環境モニタリング等の分野で,高精細な衛星画像が不可欠である。
- 衛星センサーの制約やコストにより,高解像度画像の取得が困難である。
- 衛星画像の解像度を向上させ,詳細なリモートセンシング分析を可能とする。
- 本研究で提案するMWT-Diffは,ウェーブレット変換と潜在拡散モデルを組み合わせることで,従来の技術と比較して優れた性能を示す。
- メタデータ,マルチスケール周波数情報,時間的関係性を捉えるMWT-Encoderが,高解像度画像の再構成を促進する。
- テクスチャパターンや境界の不連続性など,リモートセンシング分析に重要な空間特性を維持する。
RoboEval:ロボット操作と構造化されたスケーラブルな評価の融合 [cs.RO, cs.AI, cs.CV]目的:ロボット操作の評価のための構造化されたベンチマーク
- ロボット操作は,自動化や人間の生活支援において不可欠な技術である。
- 既存の評価方法は,成功/失敗の二元論に偏り,操作の質や失敗原因の分析が困難である。
- 操作の質と失敗構造を詳細に分析できる評価指標を提供し,ロボットの性能向上を目指す。
- RoboEvalは,効率性,協調性,安全性といった多角的な指標を用いてロボット操作を評価する。
- 実験により,提案された指標は,わずかな性能差を識別し,タスクの成功との相関性を示すことが示された。
- 3000件以上の専門家によるデモンストレーションデータとモジュール化されたシミュレーション環境が提供される。
InvisibleInk:差分プライバシーを用いた高有用かつ低コストなテキスト生成 [cs.CL, cs.LG, cs.CL, cs.CR]目的:差分プライバシーを保証した長文テキスト生成フレームワーク
- LLMの発展により長文生成が可能になったが,プライバシー保護が課題である。
- 機密情報を安全に組み込む方法が確立されていない。
- 機密テキストに対する厳格な差分プライバシーを効率的に実現すること。
- InvisibleInkは,既存手法と比較して計算コストを8倍以上削減できる。
- 同じ質量のプライベートテキストを生成可能である。
- 非プライベートな生成と比較して4~8倍程度のコストで高品質なテキスト生成を可能にする。
将来の問題の先制的解決:人間と機械におけるマルチタスク・プレプレイ [cs.CL, cs.LG, q-bio.NC]目的:マルチタスク・プレプレイによる,複数のタスク間の知識の事前学習
- 人間は多様なタスクをこなせるが,同時進行は限られる。効率的なタスク学習法の確立が重要。
- 未実施のタスクへの対応が遅れる場合がある。予期せぬ状況への適応能力向上が課題。
- 未実施タスクのシミュレーションによる事前学習を通して,知識の転移と汎化能力を向上させる。
- マルチタスク・プレプレイは,人間が未実施のタスクにどのように汎化するかをより良く予測できることが示された。
- この予測能力は,部分的に観測可能な2D Minecraft環境であるCraftaxにも一般化されることが確認された。
- マルチタスク・プレプレイは,人工エージェントのタスク間の知識転移を促進し,複雑な環境でのパフォーマンスを向上させる。
