arXiv雑要約
AI - 2026/02/04 公開
FlexRank：適応的モデル展開のためのネストされた低ランク知識分解 [cs.LG]目的：事前学習済みモデルからの重要度順のネストされた構成要素の抽出
- 深層学習モデルの規模拡大に伴い，効率的な利用が重要になっている。
- 既存モデルは固定コストで動作し，柔軟な展開が困難である。
- 異なる計算予算に応じた適応的なモデル展開を可能にすること。
- FlexRankは，低ランク重み分解とネストされた重要度に基づく集約を活用する。
- これにより，増加する能力を持つサブモデルの抽出が可能となる。
- 「一度学習して，どこでも展開」というパラダイムを確立し，コストと性能のバランスを提供する。
分散型拡散モデルにおける生成品質は専門家とデータの整合性によって支配される [cs.HC, cs.LG]目的：分散型拡散モデルにおける生成品質を支配する要因の解明
- 近年，分散型機械学習への関心が高まっており，大規模モデルの学習におけるスケーラビリティとプライバシー保護の観点から重要である。
- 分散型拡散モデルでは，専門家間の予測の不一致が生成品質に影響を与える可能性があり，そのメカニズムは未解明である。
- 本研究は，専門家とデータの整合性が分散型拡散モデルの生成品質を向上させる鍵となることを示す。
- 生成品質は，サンプリング中の摂動の増幅を最小限に抑える安定性によってのみ決定されるという従来の仮説に反し，安定性と品質の乖離が確認された。
- 生成品質は，入力データを訓練分布が現在のノイズ除去状態を網羅する専門家にルーティングすることで向上することが示された。
- ルーティングにおいて，数値的安定性よりも専門家とデータの整合性を優先すべきであることが，分散型拡散モデルのデプロイメントにおいて重要である。
ロバストな言語モデルのためのアーキテクチャ的バイアスとしての単調性 [cs.CL, cs.AI, cs.CR, cs.LG]目的：言語モデルのロバスト性向上
- 大規模言語モデルは自然言語処理の核心であり，その性能向上が様々な応用を可能とする。
- 敵対的プロンプトや脱獄攻撃に対して脆弱であり，安全性や信頼性が課題となっている。
- 単調性をアーキテクチャに組み込むことで，ロバスト性を高め，安全性と表現力の両立を目指す。
- 単調性制約をTransformerのフィードフォワード層に選択的に適用することで，既存モデルと同等の性能を維持した。
- 敵対的攻撃の成功率を約69%から19%に大幅に減少させ，ロバスト性を向上させた。
- 標準的な要約性能への影響はわずかで，実用性も高いことが示された。
Eidolon：グラフニューラルネットワーク時代におけるk-彩色に基づく実用的なポスト量子署名方式 [cs.CR, cs.AI, cs.LG]目的：ポスト量子署名方式の構築
- 量子コンピュータの実用化が進む中，既存の暗号方式の安全性確保が喫緊の課題となっている。
- NP困難な問題に基づく暗号方式は存在するが，現代的な解法による攻撃に脆弱な場合がある。
- k-彩色問題の困難性を活用し，機械学習を含む現代的な攻撃に耐性のある署名方式を開発する。
- 本研究では，k-彩色問題に基づいた実用的なポスト量子署名方式「Eidolon」を提案した。
- 提案方式は，古典的なソルバーやグラフニューラルネットワークを用いた攻撃に対して，秘密の彩色を回復できないことを実験的に示した。
- この結果は，組み合わせ的困難性をポスト量子署名の基盤として再評価する根拠となる。
NSC-SL：通信効率的な分散学習のための帯域幅を考慮したニューラル部分空間圧縮 [cs.NI, cs.LG]目的：通信効率的な分散学習のための帯域幅を考慮した適応圧縮アルゴリズム
- ニューラルネットワークの規模拡大により，分散機械学習における通信資源の制約が重要になっている。
- 分散学習では，中間活性化や勾配の頻繁な伝送による通信オーバーヘッドが課題となっている。
- 帯域幅制約下で高い圧縮率を維持しつつ，収束に必要な情報を保存することを目指す。
- NSC-SLは，特異値分布に基づき，リアルタイムの帯域幅制約に適応する最適なランクを動的に決定する。
- 残差フィードバックを用いた交互直交反復により，誤差補償されたテンソル分解を行い，切捨て損失を最小化する。
- 実験結果から，NSC-SLが優れた性能を発揮することが示された。
疎な教師あり拡散モデル [cs.LG, cs.AI]目的：拡散モデルにおける空間的な一貫性の欠如の軽減
- 拡散モデルは多様な生成タスクで成功を収めているが，生成の一貫性に課題がある。
- 拡散モデルの局所的なノイズ除去メカニズムが，空間的な一貫性の欠如を引き起こす可能性がある。
- 本研究は，疎な教師あり学習により，拡散モデルの生成品質と安定性を向上させることを目指す。
- 提案手法は，最大98%のピクセルをマスクしても安全に学習可能であることを示した。
- 実験結果から，本手法は競合するFIDスコアを達成し，小規模データセットにおける学習の不安定性を回避できることが示された。
- マスク戦略は，モデルの記憶効果を軽減し，生成時に重要な文脈情報の利用を促進する。
量子化されたTransformerにおける精度と表現力のトレードオフに関する理論的研究 [cs.CL, cs.LG, cs.AI]目的：Transformerの量子化における精度と表現力のトレードオフ
- Transformerは自然言語処理で広く用いられ，その効率化は重要課題である。
- 量子化は計算速度を向上させるが，表現力の低下が懸念されている。
- 本研究は，量子化による表現力低下のメカニズムを解明する。
- 本研究により，Transformerの精度が1ビット低下すると表現力が失われる理論的限界が明らかになった。
- 特に，厳密な比較を必要とするタスクは量子化の影響を受けやすいことが示された。
- タスクに応じて必要な比較の長さに応じた最適な量子化精度を選択するための指針となる。
二値PPO：二値分類のための効率的な方策最適化 [cs.LG, cs.AI, cs.CL]目的：二値分類タスクにおける堅牢な意思決定方策の学習
- 現実世界では，ラベルノイズや不均衡データが頻繁に存在し，正確な二値分類が課題となる。
- 教師ありファインチューニングは，ノイズや不均衡データに対して脆弱であり，性能が低下することがある。
- 静的データセットから，オンライン対話なしで，より堅牢な二値分類モデルを開発すること。
- BinaryPPOは，8つのドメイン固有のベンチマークにおいて，教師あり学習のベースラインを大幅に上回る性能を示した。
- BinaryPPOは，精度を40〜60パーセントポイント向上させ，最高で99％に達した。
- 報酬関数の設計，利点スケーリング，方策の安定性が，性能向上に重要な役割を果たすことが示された。
ATLAS：タスク分散型マルチLLM支援による適応的自己進化研究エージェント [cs.AI]目的：マルチLLMエージェントシステムの適応的自己進化
- 複雑な問題解決において，LLMエージェントの活用が注目されている。
- 従来のシステムは，長期タスクにおいて安定性や性能の維持が課題である。
- タスク分散と自己進化により，長期タスクでの性能向上を目指す。
- ATLASは，研究エージェントと支援エージェントの役割分担により，探索，ハイパーパラメータ調整，参照ポリシー管理を効率化する。
- EvoDPOアルゴリズムにより，参照ポリシーを適応的に更新し，長期的な安定性を確保する。
- 非定常線形文脈バンディットおよびSciMLの実験により，ATLASが既存の単一エージェントよりも優れていることが示された。
最尤法による強化学習 [cs.LG]目的：サンプルに基づく二値フィードバック環境におけるモデル訓練のための最尤法近似手法
- 強化学習は，ナビゲーションやコード生成など，多様な問題に応用可能な強力な学習パラダイムである。
- 従来の強化学習は，正確なロールアウトの尤度を最大化せず，近似的な最適化に留まるという課題があった。
- 本研究は，強化学習を用いて尤度をより正確に最大化するフレームワークを提案し，性能向上を目指す。
- 提案手法MaxRLは，既存手法と比較して，様々なモデルとタスクにおいてパレート最適性を示すことが示された。
- 特に，GRPOで訓練されたモデルと比較して，最大20倍のテスト時スケーリング効率の向上を達成した。
- また，MaxRLは追加のデータや計算資源の増加に対して，より良いスケーラビリティを示すことが確認された。
効率的なLLM多段階インタラクションのための動的混合精度ルーティング [cs.AI]目的：LLM多段階インタラクションにおける効率的な推論コスト削減
- 複雑な意思決定タスクにおいて，LLMの活用が重要視されている。
- 高性能LLMの推論コストが高く，実用上の制約となっている。
- 各段階の精度要求に応じてLLMの精度を動的に切り替えることで，コストと性能のバランスを取る。
- 提案手法は，精度とコストのトレードオフを大幅に改善した。
- 精度感受性の高いステップを特定し，適切な精度を選択するルーティング機構を開発した。
- ALFWorld実験により，既存手法と比較して高いタスク成功率を達成した。
操舵強度の理解に向けて [cs.LG, cs.CL]目的：大規模言語モデルの操舵強度に関する理論的分析
- 大規模言語モデルの制御は，多様なタスクへの適応において不可欠である。
- 操舵方向の選択は研究されているが，その強度の決定は未解明な点が多い。
- 操舵強度の理論的枠組みを構築し，最適な強度範囲を明らかにすること。
- 操舵強度は，次のトークン確率，概念の存在度，クロスエントロピーに影響を与える。
- 操舵強度の効果は単調ではないという意外な振る舞いを発見した。
- 小規模GPTから最新モデルまで，11の言語モデルで理論的予測を検証した。
非線形光ファイバチャネルのためのニューラル確率的振幅整形 [cs.LG, eess.SP]目的：コヒーレント光ファイバシステムにおける結合分布学習
- 光ファイバ通信は，大容量・高速通信を実現する基盤技術である。
- 非線形効果が伝送距離とデータレートの制限要因となっている。
- 非線形チャネルにおける伝送性能の向上を目指す。
- 提案手法は，既存のシーケンス選択と比較して，0.5dBの信号対雑音比の改善を達成した。
- 単一区間205kmリンクのデュアル偏波64-QAM伝送で有効性が確認された。
階層型エンティティ中心強化学習と因数分解されたサブゴール拡散 [cs.LG, cs.CV, cs.RO]目的：長視野タスクにおけるエンティティの組み合わせ複雑性を軽減するための，サブゴール分解と因数分解構造を組み合わせた階層型エンティティ中心フレームワーク
- 強化学習は，複雑な環境で長期的な目標達成を可能にする重要な技術である。
- 複数のエンティティが存在する場合，状態空間の組み合わせ爆発により，強化学習の学習が困難になる。
- 疎な報酬下での高次元な観測と組み合わせ状態空間における課題を克服し，長期的な目標達成を可能にする。
- 提案手法は，画像ベースの長期タスクにおいて，ベースとなる強化学習エージェントの性能を大幅に向上させる。
- 最も難しいタスクにおいて，成功率が150%以上向上し，より長い視野やエンティティ数の増加にも対応可能である。
- サブゴール生成を価値関数に基づいて選択的に行うことで，モジュール性と既存のGCRLアルゴリズムとの互換性を実現している。
大規模言語モデルを用いた最適化テスト問題の自動設計 [cs.NE]目的：最適化テスト問題生成のためのフレームワーク
- 最適化アルゴリズムの性能評価には，多様で現実的なベンチマークが不可欠である。
- 既存のベンチマークは手動で作成された関数が多く，最適化アルゴリズムの評価に偏りがある。
- 特定のランドスケープ特性を持つテスト問題の自動生成を通して，評価の偏りを解消すること。
- Evolution of Test Functions (EoTF)フレームワークは，指定されたランドスケープ特性に合致する最適化テスト関数を自動生成する。
- 実験の結果，EoTFは生成された関数のランドスケープ特性を目標プロファイルに忠実に再現できることが示された。
- 高次元問題において，ニューラルネットワークベースの生成器よりもEoTFの方が優れた性能を発揮し，スケーラビリティが高いことが確認された。
非侵襲的頸部音響センシングによる嚥下障害の自動スクリーニング [cs.LG, cs.SD, eess.AS, eess.SP]目的：嚥下障害の検出
- 呼吸，嚥下，発声など生命維持に重要な咽頭の健康維持が不可欠である。
- 既存の診断法は，放射線や侵襲的検査に依存するため，負担が大きい。
- 非侵襲的な音響センシングで嚥下障害を早期に検出し，負担を軽減すること。
- 提案手法は，5回の独立した学習・テスト分割で0.904のAUC-ROCスコアを達成した。
- 頸部からの微小な音響信号を捉え，異常な生理的状態に関連するパターンを識別する。
- 本研究は，咽頭の健康モニタリングにおける非侵襲的音響センシングの有用性を示す。
ベクトル量子化された潜在的概念：クラスタリングに基づく概念発見のスケーラブルな代替案 [cs.LG, cs.CL]目的：深層学習モデルにおける潜在的な概念の発見
- 深層学習モデルの解釈可能性向上は，その信頼性と応用範囲拡大に不可欠である。
- 大規模データセットに対するクラスタリングは計算コストが高く，質の高い概念抽出が困難である。
- VQLCは，スケーラビリティを向上させつつ，解釈可能な説明を維持することを目的とする。
- 本研究では，ベクトル量子化された潜在概念（VQLC）という新たな手法を提案した。
- VQLCは，VQ-VAEアーキテクチャに基づき，連続表現を概念ベクトルにマッピングする離散コードブックを学習する。
- 実験の結果，VQLCは大規模データセットにおいて優れたスケーラビリティを示し，既存手法と同等の説明品質を維持することが示された。
制約付き生成のための検索拡張型マスク拡散モデル [cs.LG, cs.AI]目的：制約付き生成における性能向上
- 構造化データや記号データの生成において，自己回帰的デコーディングの代替手法として注目されている。
- 従来の学習目標はデータ分布への適合に重点を置いており，厳密な制約の適用や非微分可能な特性の最適化が困難である。
- ユーザー指定の制約を満たしつつ，効率的に実行可能な解を生成することを目的とする。
- 本研究で提案するSearchDiffは，ノイロシンボリック推論フレームワークを導入し，リバースデノイジングプロセスに情報に基づいた探索を組み込んでいる。
- 実験の結果，SearchDiffは制約充足性と特性適合性を大幅に向上させ，離散拡散モデルや自己回帰的ベースラインモデルを上回る性能を示した。
- 生物学的設計や記号推論といったタスクにおいて，その有効性が確認された。
Transformerベースの時間系列予測におけるAttention，Recurrence，Alignmentの統合：CAPS [cs.LG, cs.AI]目的：時間系列予測のための構造化Attentionメカニズム
- 時間系列データは，金融，気象，需要予測など，多くの分野で重要である。
- 従来のAttentionメカニズムは，時間的構造を十分に分離できていない。
- 時間的構造を分離し，予測精度と効率性を向上させる。
- 提案手法CAPSは，グローバルなトレンド，局所的なショック，季節的パターンを分離する。
- CAPSは，SO(2)回転と3つの加法ゲートを組み合わせた単一のAttention層で構成される。
- 実験の結果，既存手法を上回り，線形時間計算量で競争力のある性能を示した。
アメリカ退役軍人における初回ホームレス予測：縦断的EHRデータと社会的リスク要因 [cs.CL, cs.AI]目的：アメリカ退役軍人における初回ホームレスの予測
- 退役軍人のホームレス問題は深刻な公衆衛生上の課題であり，予防的な介入が重要である。
- ホームレスリスクの早期予測モデルは十分に進んでおらず，精度の向上が求められている。
- 社会的リスク要因を組み込んだ縦断的EHRモデルによるリスク層別化を目指す。
- 社会的・行動的要因を組み込んだ縦断的モデルは，PR-AUCを15-30%改善した。
- 上位1%のリスク層では，3ヶ月後で3.93-4.72%，12ヶ月後で11.65-13.80%の陽性予測値が得られた。
- LLMは識別能力ではエンコーダーベースのモデルに劣るが，人種間の性能差は小さかった。
ゼロショットParametric Engineering Design生成のためのTabPFN [cs.LG]目的：Parametric Engineering Designのゼロショット生成手法
- エンジニアリング設計の自動化は，設計効率向上や新たな設計可能性の発見に不可欠である。
- 既存の深層生成モデルは，計算コストやデータ量の制約，再学習の必要性から実用化が難しい。
- 限られたデータで，タスク固有の学習や調整なしに設計生成を実現すること。
- 提案手法は，船体設計，BlendedNet航空機，UIUC翼型などの設計データセットにおいて，多様性と堅牢性を実証した。
- 従来の拡散モデルと比較して，計算コストとデータ要件を大幅に削減しつつ，信頼性の高い生成性能を維持する。
- 本研究は，エンジニアリング設計におけるゼロショット生成の有用性を示し，実用的なツールとしての可能性を提示する。
ノイズが損失を下げる：音楽大規模言語モデルにおける尤度ベース評価の再考 [cs.CL, cs.SD, cs.AI]目的：音楽大規模言語モデルの出力品質評価手法の改善
- 音楽生成AIの発展に伴い，生成された音楽の質を客観的に評価する手法が不可欠となっている。
- 従来のクロスエントロピー損失は，質の低い音楽に対しても低下することがあり，信頼性の指標とならない場合がある。
- 損失曲線の形状が，生成された音楽の品質に関する重要な情報を含んでいることを示す。
- ノイズ注入実験の結果，音楽大規模言語モデルは，グローバルな意味的破損よりも，ローカルなテクスチャレベルの乱れに強く反応することが確認された。
- 損失がノイズに対して示す反応（特に短時間の注入に対する急増）は，モデルが音楽の整合性を識別する能力の指標となりうる。
- 損失曲線の形状に着目した評価は，ラベルを用いないモデル内的な音楽品質評価フレームワークとして期待される。
トポロジーに基づくロバストなデータプルーニング手法：TopoPrune [cs.LG, cs.AI]目的：データプルーニングのための安定性とロバスト性の向上
- 事前学習済みモデルの活用は重要だが，幾何学的データプルーニングは不安定になりやすい。
- 外在的幾何学に依存するため，潜在空間の摂動に弱く，アーキテクチャ間の転移やノイズに弱い。
- トポロジーを用いてデータの安定した内部構造を捉え，ロバストなプルーニングを実現する。
- TopoPruneは，データセットのグローバルな低次元埋め込みを確立するトポロジーを意識した多様体近似を用いる。
- 微分可能な持続ホモロジーにより，多様体埋め込み上で局所的なトポロジカル最適化を行い，構造的複雑さでサンプルをランク付けする。
- 大幅なデータセットプルーニング率（例：90%）においても，高い精度と適合率を達成し，潜在的特徴埋め込みのノイズや異なるネットワークアーキテクチャへの転移に対して優れたロバスト性を示す。
エントロピー誘導型動的トークンによる分子理解のためのグラフLLMのアライメント [cs.HC, cs.CY, cs.RO, cs.LG, cs.AI]目的：分子理解のためのグラフLLMのアライメント手法
- 科学的発見の推進に不可欠であり，創薬などへの応用が期待される分野である。
- 既存のグラフLLM連携は固定長トークンに依存し，分子の立体化学や部分構造の文脈を捉えきれていない。
- LLMバックボーンのファインチューニングを回避し，計算効率と汎化性能を高める。
- 提案手法EDT-Formerは，情報豊かな分子パッチにアライメントした動的トークンを生成し，分子グラフの局所的・大域的特徴を保存する。
- LLMバックボーン（埋め込み層を除く）のファインチューニングなしで，グラフエンコーダーとLLMのアライメントを可能にする。
- MoleculeQA，Mol-Instructions，TDC，MoleculeNetなどのベンチマークで最先端の結果を達成し，有効性を実証した。
戦略オークションによる小規模エージェントのスケール [cs.HC, cs.HC, cs.RO, cs.DM, cs.MA, cs.AI, cs.CL]目的：小規模言語モデルを用いたエージェントAIにおける戦略オークションの有効性
- エージェントAIにおいて，コスト効率の良い小規模言語モデルへの注目が高まっている。
- タスクの複雑性が増すにつれて，小規模エージェントの性能限界が課題となっている。
- タスクの複雑さに応じたエージェントの効率的な割り当てと自己改善を目指す。
- 提案手法SALEは，大規模エージェントへの依存度を53%削減し，全体コストを35%削減することに成功した。
- SALEは，最終的な実行トレースにわずかなオーバーヘッドで，最も大規模なエージェントのpass@1を安定して上回った。
- タスク記述に依存する既存のルーターは，大規模エージェントよりも性能が劣るか，コスト削減に失敗した。
LLMエージェントにおけるタスク解決から実世界への堅牢な適応へ [cs.SI, cs.CL, cs.LG]目的：LLMエージェントの実世界での適応能力の評価
- LLMエージェントは，計画，ツール利用，行動選択を通じて様々なタスクをこなすことが期待されている。
- 従来の評価では，環境やツールの信頼性が高く，目標が明確であることが前提となり，現実世界との乖離が生じている。
- 不確実な環境下で，エージェントが信頼性判断，目標推論，検証，状況に応じた行動選択を行う能力を高める。
- 実世界を模した環境下での評価により，既存のエージェントはタスク遂行能力と適応能力に大きな差があることが示された。
- 特に，環境の規模や実行期間が長くなるにつれて性能が低下し，戦略と不確実性の関係性が重要であることが明らかになった。
- 明示的な指示がなくても，エージェントは目標達成，効率性，ペナルティ回避のバランスを取る傾向があり，暗黙的な目標推論能力が示唆された。
半教師あり模倣学習における逆ダイナミクスモデルのサンプル効率について [cs.LG]目的：半教師あり模倣学習のための逆ダイナミクスモデルのサンプル効率に関する研究
- ロボットの学習において，大量のデータ収集はコストがかかるため，少ないデータで効率的に学習する方法が重要である。
- 教師なしデータは容易に取得できるものの，行動ラベルがないため，効果的に活用する方法が課題である。
- 逆ダイナミクスモデルのサンプル効率を向上させ，少ないデータで高性能な模倣学習を実現することを目指す。
- 逆ダイナミクスモデルを用いた手法と行動クローニングは，特定の条件下では同じ方策を学習することが示された。
- 逆ダイナミクスモデルのサンプル効率の高さは，専門家の方策よりも低次元の仮説空間に存在すること，および決定的な性質に起因すると主張された。
- これらの洞察に基づき，潜在行動方策学習のためのLAPOアルゴリズムの改良版が提案された。
時系列分類器の説明における脆弱性の露呈：二重標的攻撃による検証 [cs.LG]目的：時系列分類器の説明の脆弱性
- 時系列データ分析の重要性が増しており，深層学習モデルの解釈可能性が求められている。
- 説明の一貫性が必ずしもロバスト性を示唆せず，敵対的攻撃に対する脆弱性が存在する。
- 説明の一貫性を保ちつつ，標的となる誤分類を実現する攻撃手法を開発し，その脆弱性を評価する。
- 提案手法TSEFは，分類器と説明器の両方を操作することで，説明の一貫性を維持しつつ予測を変化させる。
- 実験結果から，説明の安定性は意思決定のロバスト性の誤った指標となり得る。
- 時系列タスクにおける信頼性を高めるために，結合を考慮したロバスト性評価が重要である。
プライベートファインチューニングされたLLMは表形式データの時間的ダイナミクスを保持する [cs.LG, cs.CL, cs.CR]目的：表形式データの時間的ダイナミクスの保持
- 個人情報保護が重要視される中，表形式データの合成技術の需要が高まっている。
- 既存手法はデータの独立性と同一分布性を仮定し，時系列データの複雑な依存関係に対応できない。
- 本研究は，LLMを活用し，表全体の時間的整合性を保持する合成手法を開発する。
- 提案手法PATHは，従来の周辺分布ベースの手法と比較して，実データの軌道との分布距離を60%以上削減した。
- PATHは，状態遷移エラーを約50%削減し，データの時間的依存関係を効果的に捉えた。
- プライベートファインチューニングされたLLMを用いることで，より忠実な合成データ生成が可能となった。
継続学習におけるデータリプレイの確証的効果：特徴学習の視点から [cs.LG, cs.AI]目的：継続学習におけるデータリプレイの効果に関する理論的分析
- 機械学習の応用範囲拡大に伴い，モデルの継続学習能力が重要となっている。
- 過去の知識を忘却する「破滅的忘却」が継続学習における大きな課題である。
- データリプレイが効果を発揮する条件と，忘却を防ぐためのタスク順序を解明する。
- 多視点データモデルを用い，信号対雑音比(SNR)が忘却に大きく影響することを特定した。
- 累積ノイズが初期の信号を上回ると，完全なデータリプレイでも忘却が発生することが示された。
- 十分な信号の蓄積により，初期学習が悪くても過去タスクを回復できる可能性が示唆された。
BiTimeCrossNet：小児睡眠のための時間認識型自己教師あり学習 [cs.LG]目的：小児睡眠データの自己教師あり学習フレームワーク
- 睡眠は健康維持に不可欠であり，睡眠障害は様々な疾患リスクを高める。
- 既存手法は短いデータ区間を独立に扱うため，時間的な文脈が失われやすい。
- 時間情報を考慮し，生理信号間の相互作用を学習することで，睡眠分析の精度向上を目指す。
- BiTimeCrossNetは，時間情報を考慮することで，既存の自己教師あり学習モデルを上回る性能を示した。
- 特に呼吸関連タスクにおいて顕著な性能向上が見られ，独立データセットでも同様の結果が得られた。
- この手法は，睡眠段階推定，覚醒検出，呼吸イベント検出など，様々な下流タスクで有効である。
VerIde ECGバイオメトリクス：検証と識別 [cs.RO, cs.CL, cs.LG]目的：心電図バイオメトリクスの検証および識別性能評価
- 医療データの利用拡大に伴い，個人識別情報の保護が重要視されている。
- 心電図データの匿名化手法は存在するが，そのプライバシー保護効果は十分ではない。
- 心電図データの個人識別可能性を定量的に評価し，匿名化の限界を明らかにする。
- 心電図の特徴量のみでも，識別性能が確認され，特徴量のみの匿名化ではプライバシー保護が困難である。
- 波形データを用いた深層学習モデルにより，識別性能が大幅に向上する。
- 検証性能はTAR=0.908@FAR=1e-3，識別性能はRank@1=0.812と高い結果が得られた。
構造に基づいたLLM推論のためのスケーリング対応アダプター [cs.AI, cs.LG]目的：構造に基づいたLLM推論における性能向上
- 生命分子構造の理解は，創薬やタンパク質工学など，様々な分野で重要である。
- 既存の手法はモダリティ固有であり，構造情報の圧縮が不十分で，誤った推論を引き起こす可能性がある。
- 構造の複雑さに応じてトークン数を調整し，幾何学的情報を活用することで，より正確な推論を実現する。
- Cuttlefishは，構造グラフにおける可変サイズのパッチを生成し，構造の複雑さに応じてクエリのトークン予算をスケーリングする。
- Geometry Grounding Adapterは，適応的に生成されたトークンをモダリティ埋め込みとのクロスアテンションで洗練し，幾何学的情報をLLMに注入する。
- 多様な全原子ベンチマークにおいて，Cuttlefishは優れた性能を示し，構造に基づいた異種推論において優位性を示す。
CAN IDSにおける誤検知と攻撃漏れの評価 [cs.CR, cs.AI, cs.LG]目的：CAN IDSの誤検知と攻撃漏れに関する評価
- 自動車の電子化が進み，CANを通じた車内通信のセキュリティ確保が重要になっている。
- 機械学習を用いたIDSは導入が進むが，敵対的攻撃に対する堅牢性は十分に検証されていない。
- 敵対的摂動を用いた評価により，CAN IDSの脆弱性を明らかにし，改善策を検討する。
- 全てのモデルは通常時の性能は高いが，敵対的摂動により脆弱性が露呈した。
- DNNは正常な通信において最も優れた性能を示したが，攻撃漏れは顕著に増加した。
- Extra Treesは勾配ベース攻撃に対する耐性が高く，攻撃漏れの誘導に対して他のモデルより優れていた。
自己教師あり学習における多Modal生理信号のための時系列間注意融合 (CTAF) [cs.LG, cs.AI]目的：多Modal生理信号における感情モデリング
- 脳波と末梢生理信号は，感情状態の理解に不可欠であり，精神生理学研究の基礎となる。
- 既存手法は，これらの信号の時間的不同期性を無視，または高コストな処理で対応している。
- 時間的不同期性下での，効率的かつ汎化性能の高い脳波と末梢生理信号の融合を目指す。
- 提案手法CTAFは，モダリティ間のソフトな双方向アライメントを学習し，ロバストなclip埋め込みを構築する。
- K-EmoConデータセットを用いた評価で，CTAFは適合ペアに対するコサインマージンを向上させ，クロスModalトークン検索性能を改善した。
- 少量ラベル条件下で，既存手法と同等以上の精度とマクロF1スコアを達成し，アライメント品質も向上した。
LEMON：モダリティを意識した最適化による局所的な説明 [cs.HC, cs.LG]目的：マルチモーダル予測に対する局所的な説明手法の開発
- 近年のAI研究において，画像やテキストなど複数の情報を扱うマルチモーダルモデルが広く利用されている。
- 既存の説明手法は，単一のモダリティに限定されるか，特定のモデル構造に依存する，あるいは計算コストが高いという課題がある。
- LEMONは，計算効率が高く，モダリティ間の貢献度を明確にする局所的な説明を可能にすることを目指す。
- LEMONは，モダリティを意識した代理モデルを用いて，マルチモーダル予測の局所的な説明を生成する。
- この手法は，既存のマルチモーダルベースラインと比較して，35～67倍高速に，かつ2～8倍の計算時間削減を達成した。
- LEMONは，画像，テキスト，表形式データを含む臨床予測タスクにおいても有効性を実証した。
構造を保持する学習がニューラル偏微分方程式の幾何学的汎化性能を向上させる [cs.NI, cs.LG, cs.AI, physics.comp-ph]目的：ニューラル偏微分方程式における幾何学的汎化性能の向上
- 科学技術計算において，偏微分方程式の高速かつ高精度な解法は不可欠である。
- 未知の幾何形状への適応において，既存のニューラル偏微分方程式の汎化性能が十分ではない。
- 幾何学的形状を考慮した学習により，未知領域への汎化性能を向上させる。
- 提案手法Geo-NeWは，データ駆動型の有限要素法であり，微分演算子と縮退有限要素空間を同時に学習する。
- 物理保存則を厳密に満たすため，有限要素外微分幾何学を用いることで，解の信頼性を確保している。
- 複数の定常偏微分方程式ベンチマークにおいて，最先端の性能を示し，未知の幾何形状に対する性能が大幅に向上した。
人間の視覚聴覚探索行動のシミュレーション [cs.HC, cs.AI, cs.RO]目的：視覚聴覚探索における人間の行動様式
- 混雑した状況下での目標探索は，実生活において不可欠な認知機能である。
- 既存モデルでは，知覚と行動が独立して扱われ，適応的な探索戦略が欠けている。
- 不確実性下での効率的な探索戦略をモデル化し，人間らしい探索行動を再現すること。
- 本研究では，行動と知覚を統合した計算モデル「Sensonaut」を提案した。
- Sensonautは，時間と労力を最適化する資源合理的な意思決定に基づいている。
- 実験結果は，モデルが探索時間，努力，およびエラーパターンにおいて人間の行動を再現することを示した。
因果性--Δ：フローマッチングモデルにおけるヤコビアンに基づく依存性解析 [cs.LG, cs.AI]目的：フローマッチングモデルにおける依存構造の解析
- 生成モデルの解釈可能性向上は，モデルの信頼性と制御性向上に不可欠である。
- 生成モデルにおける潜在変数のわずかな変化が，出力にどのように影響するかは不明確である。
- ヤコビアンを利用し，フローマッチングモデルの依存構造を定量的に評価する。
- ヤコビアン-ベクトル積 (JVP) が生成された特徴における依存構造を理解するための実用的な手段であることが示された。
- ガウス分布やガウス混合モデルにおいて，最適なドリフトとそのヤコビアンの閉形式表現を導出した。
- 画像データ実験により，属性分類器との組み合わせで，MNISTとCelebAにおける経験的な相関を再現できた。
階層型ニューラルオプションと抽象世界モデルの同時学習 [cs.CY, cs.LG, cs.AI]目的：階層型ニューラルオプションの効率的な獲得
- 既存のスキルを組み合わせて新しいスキルを実行するエージェント構築は，AI研究の重要な目標である。
- 既存の階層型強化学習アルゴリズムは，大量のデータが必要となる点が課題である。
- 少ないデータで効率的にスキルを獲得し，学習データを削減することを目的とする。
- 提案手法AgentOWLは，抽象世界モデルと階層型ニューラルオプションを同時に学習する。
- Object-Centric Atariゲームにおいて，ベースライン手法と比較して少ないデータでより多くのスキルを獲得可能であることを示した。
- 時間と状態を抽象化することで，サンプル効率の高い学習を実現している。
3D点群における解剖学的ランドマーク検出のための条件付きポイントトランスフォーマー [cs.CV, cs.AI, cs.LG]目的：解剖学的ランドマークの自動検出
- 医療応用において，解剖学的ランドマークの正確な特定は不可欠である。
- 従来のランドマーク設定は時間がかかり，観察者間のばらつきが生じやすい。
- 種をまたいだ研究に活用可能なランドマーク検出手法の開発。
- 提案手法LmPTは，点群データから解剖学的ランドマークを自動的に検出する。
- 異なる種（ヒトと犬）の太腿の骨を用いて評価を行い，種をまたいだ汎化性能と有効性を実証した。
- LmPTは，様々な入力タイプへの適応を可能にする条件付き機構を備えている。
因果的原理に基づくメンバーシップ推論攻撃 [cs.CE, cs.LG, stat.ML]目的：訓練データ暗記の定量化とプライバシーリスク評価
- 大規模AIモデルの普及に伴い，プライバシー保護の重要性が増しているから。
- 既存の評価手法は再学習にコストがかかる，または統計的妥当性に課題がある。
- 因果推論の視点から評価方法を再構築し，信頼性の高い暗記測定を目指す。
- メンバーシップ推論攻撃の評価を因果推論問題として捉え，暗記を訓練データへの包含の因果効果と定義した。
- 既存手法に存在するバイアスの原因を明らかにし，それらを修正した評価指標と推定量を提案した。
- 実データ実験により，再学習が困難な状況下や分布シフト下でも信頼性の高い暗記測定が可能であることを示した。
トークンから数値へ：SVG生成のための連続数値モデリング [cs.LG, cs.AI, cs.CV]目的：SVG生成における連続数値モデリングの提案
- 画像生成において，柔軟性や効率性からベクター形式の重要性が高まっている
- SVGの数値パラメータがトークン列として非効率に表現され，学習速度や精度を低下させている
- 連続値を直接モデリングすることで，表現の数学的優雅性を回復し，離散化による問題を解決する
- 提案手法（CNM）は，従来のトークンベースの手法と比較して，学習速度を30%以上向上させる
- CNMは，知覚的フィードバックを用いた強化学習によるファインチューニングにより，視覚的な品質をさらに向上させる
- 本研究は，高品質なベクター生成のための実用的かつ効率的なアプローチとしてCNMを確立する
単一の修正ステップがトークン効率の良いLLM推論を改善する [cs.CL, cs.CL, cs.IR, cs.LG]目的：LLM推論におけるトークン効率の向上
- 大規模言語モデルは複雑な推論課題において精度向上が期待される。計算資源を増やすことで性能が向上する。
- 既存手法では，各推論経路を独立に評価するため，誤った高信頼度な経路が真の解を覆う問題がある。
- 推論経路間の相互レビューを通じて，誤りを修正し，より正確な解を得ることを目指す。
- 提案手法PACERは，生成された推論経路間の合意形成パケットを用いて，自己レビューを可能にする。
- PACERは，AIMEやBRUMOなどの難易度の高い数学ベンチマークにおいて，256サンプル多数決と同等またはそれ以上の精度を達成した。
- 単なる合意形成を超え，協調的な論理的洗練プロセスとして機能することで，大幅な性能向上を実現した。
SC3D：時間的および瞬時グラフに対する動的かつ微分可能な因果探索 [cs.LG, stat.ME]目的：多変量時系列からの因果構造の発見
- 時系列データにおける相互作用の理解は，様々な分野で重要であり，複雑なシステム解析に不可欠である。
- 動的グラフの探索空間は組合せ的に膨大であり，効率的な因果探索が困難である。
- 時間遅延と瞬時依存の両方を考慮した，安定かつ正確な因果構造の推定を目指す。
- 提案手法SC3Dは，時間遅延特定のアダジェンシー行列と瞬時DAGを同時に学習する二段階微分可能フレームワークである。
- SC3Dは，ノードごとの予測によるエッジ事前選択と，スパース性と非巡回性の制約によるマスクの洗練を行う。
- 合成データおよびベンチマークデータを用いた実験により，既存手法と比較して安定性と因果構造の推定精度が向上することが示された。
流体動力学予測のための連続時間潜在ダイナミクスを持つクープマンオートエンコーダ [cs.RO, cs.LG, physics.flu-dyn]目的：乱流予測のための代替手法
- 流体シミュレーションは科学技術計算の根幹であり，高精度な予測が不可欠である。
- 従来のデータ駆動型モデルは，短期的な精度と長期的な安定性の両立が課題である。
- 連続時間クープマンフレームワークにより，時間分解能に依存せず，長期予測の精度向上を目指す。
- 提案手法は，数値積分スキームを用いて連続時間における潜在空間の進化をモデル化する。
- 可変タイムステップを用いることで，時間分解能に対するロバスト性と，学習範囲外への汎化能力を示す。
- 学習されたダイナミクスは解析解に近いため，効率的な長期予測が可能となる。
Tabula RASA：Transformerにおける関係性ボトルネックの露呈と打破 [cs.LG, cs.AI]目的：多段階の関係推論を必要とする構造化データに対するTransformerの限界克服
- Transformerは多様な分野で高性能だが，構造化データにおける複雑な関係性推論が課題である。
- Transformerは多段階推論において計算量が増大し，層の深さが増すほど効率が低下する。
- 関係性を意識した疎な注意機構により，計算効率を改善し，Transformerの推論能力を向上させる。
- RASAは，Transformerにエッジタイプ埋め込みと疎なマスキングを加えることで，関係性情報を効率的に処理する。
- MetaQAとWebQuestionsSPの実験で，RASAは従来のTransformerを上回り，GPT-4と同等の性能をより低いコストで達成した。
- 特に，推論の段階が増えるほど，RASAの優位性は顕著に現れる。
コンテンツを超えて：行動ポリシーが情報操作の主体を明らかにする [cs.SI, cs.LG]目的：情報操作における主体の識別
- オンラインにおける情報操作は，世論形成や社会の安定に影響を及ぼす重要な問題である。
- 従来のコンテンツ分析やネットワーク分析では，生成AIの進化やデータアクセス制限により，検出が困難になりつつある。
- ユーザーの行動を意思決定プロセスとして捉え，行動ポリシーから主体を識別することで，より堅牢な検出を目指す。
- 行動ポリシーに基づく分類器は，テキスト埋め込みを用いた分類器よりも，悪意のあるアカウントの検出において高い性能を示す。
- 特に，トロールと一般ユーザーを区別する際に，平均マクロF1スコアが94.9%と高い精度を達成した。
- 行動データは，コンテンツの偽装やデータ破損に対する耐性が高く，より早期の検出や長期的な監視に貢献する。
意味を考慮した生成潜在データ拡張による低リソース領域における学習 [cs.RO, cs.LG, cs.AI]目的：低リソース領域における学習のための，意味を考慮した生成潜在データ拡張手法
- 深層学習は大量のデータで高い性能を発揮するが，現実にはデータ不足のケースが多い。
- ファウンデーションモデルは汎用的な特徴抽出に優れるものの，下流タスクでの微調整時にラベル付きデータ不足に陥る。
- ファウンデーションモデルの潜在空間を活用し，効率的かつ高品質なデータ拡張を行うことで，この問題を解決する。
- GeLDAは，Whisper-largeのゼロショット言語固有の音声感情認識において，unweighted average recallを6.13%改善した。
- ImageNet-LTにおけるロングテール画像分類において，GeLDAは74.7%のテールクラス精度を達成し，新たな最先端結果を確立した。
- GeLDAは，潜在空間におけるデータ生成の効率と品質を高め，低リソース領域での性能向上に貢献する。
連鎖シミュレーション：動的問題ルーティングによる大規模言語モデルのための二重モード推論フレームワーク [cs.AI, cs.CL, cs.LG]目的：大規模言語モデルにおける推論能力の向上
- 大規模言語モデルの利用拡大に伴い，複雑な問題を解決する推論能力が重要となっている。
- 既存の手法では，様々な問題に対して均一なプロンプトを用いるため，十分な性能を発揮できない場合がある。
- 問題の種類に応じて最適な推論戦略を選択することで，より高精度な推論を実現することを目指す。
- 提案手法CoSは，数学，空間推論，多段階推論といった問題に対し，それぞれ特化した推論モードを動的に切り替えることで，性能向上を達成した。
- GSM8K，StrategyQA，bAbIのベンチマークにおいて，最先端モデルを用いてCoSは最良のベースラインと比較して高い精度を達成した(GSM8Kで1.0%向上)。
- 問題に適切なモードを選択することが重要であり，誤ったルーティングは精度を著しく低下させるという結果が得られた。自己整合性(Self-Consistency)と同等の性能を，54%低い計算コストで実現する。