arXiv雑要約
AI - 2026/03/20 公開
Image2Gcode：拡散Transformerモデルを用いたアディティブマニュファクチャリングのための画像-Gコード生成 [cs.LG]目的：画像および部品図から直接Gコードを生成するデータ駆動型フレームワークの開発
- アディティブマニュファクチャリングの分野は，試作の迅速化や複雑な形状の実現を可能にする重要な技術である。
- 従来のCADモデリングへの依存がボトルネックとなり，設計変更に時間がかかる。
- CAD段階をバイパスし，画像から直接Gコードを生成することで，設計・製造サイクルを加速させる。
- Image2Gcodeは，画像からスライスごとの構造的ヒントを抽出し，Gコードシーケンス上でノイズ除去拡散確率モデル(DDPM)を用いる。
- ガウスノイズから実行可能な印刷軌跡を反復的なノイズ除去により生成し，視覚的な入力からネイティブツールパスへの直接的なマッピングを確立する。
- CADやSTL中間体を必要とせず，アディティブマニュファクチャリングへの参入障壁を下げ，設計反復，修理ワークフロー，分散型製造を促進する。
バイアス軽減のための進化型サンプル重み：有効性は公平性の目標に依存する [cs.LG, cs.AI, cs.NE]目的：バイアス軽減と予測性能のトレードオフの評価
- 現実世界のデータで学習した機械学習モデルは，社会的に弱い立場にあるコミュニティに悪影響を及ぼす可能性がある。
- データへの重み付けはバイアスを軽減できるが，予測精度が低下する可能性がある。
- 遺伝的アルゴリズムを用いた重み付けが，公平性と予測性能のバランスを改善できるか検証する。
- 進化型サンプル重みは，他の重み付け手法と比較して，公平性と予測性能のより良いトレードオフを達成できる。
- その効果の大きさは，選択された公平性の目標に大きく依存する。
- 特に，人口統計的均等性を最適化した場合に，パフォーマンス目標に関わらず，最も効果的であった。
ステアリング認識：モデル内部からの活性化ステアリング検出 [cs.CL, cs.AI]目的：活性化ステアリングの検出能力
- AI安全性評価において，モデルへの介入が不可視であるという前提が広く用いられている。
- モデルが介入を検知する能力に関する検討が不足している。
- 活性化ステアリングに対するモデルの認識メカニズムを解明すること。
- ファインチューニングされた7つの命令応答モデルは，未知の概念に対する強いステアリング認識を発達させた。
- 最良のモデルは95.5%の検出率，71.2%の概念識別率，クリーンな入力に対する偽陽性ゼロを達成した。
- 検出能力は，ステアリングベクトルの方向が学習分布と高いコサイン類似性を持つ場合に一般化するが，それ以外の場合は一般化しない。
AgroCoT:農業分野におけるVision-Languageモデルの推論能力を評価するためのChain-of-Thoughtベンチマーク [cs.AI]目的：農業分野におけるVision-Languageモデルの推論能力評価
- 農業は食料供給の根幹であり，生産性向上と持続可能性が重要課題である。
- 既存のVQAデータセットは，農業分野の複雑な推論・問題解決能力を十分に評価できない。
- 農業分野特化の推論能力評価ベンチマークを通じて，VLMsの課題を明確にすること。
- 本研究では，Chain-of-Thought (CoT) 推論を組み込んだ新規VQAデータセット AgroCoT を開発した。
- AgroCoT は4,759サンプルで構成され，VLMsの論理的思考力と問題解決能力を評価する。
- 30の代表的なVLMsの評価結果から，CoTを取り入れた評価の重要性が示唆された。
高解像度画像理解のためのマルチ解像度検索・検出融合 (MRD) [cs.CV, cs.AI, cs.MM]目的：高解像度画像理解の性能向上
- マルチモーダル大規模言語モデルの能力向上には，高解像度画像の理解が不可欠である。
- 従来の画像検索・生成によるアプローチでは，対象物の断片化や誤検出が発生しやすい。
- マルチ解像度での情報統合と物体検出による局所・大域的な理解を目指す。
- 提案手法MRDは，マルチ解像度での意味的整合性を強化し，対象物の断片化を軽減する。
- また，オープンボキャブラリ物体検出を組み込むことで，局所化の事前知識を統合する。
- 複数のMLLMを用いた実験により，MRDが最先端の性能を達成することが示された。
ヘッドは崩壊し，特徴量は残る：なぜReplayには大きなバッファが必要なのか [cs.CL, cs.LG, cs.AI]目的：継続学習における深層忘却と浅層忘却のギャップの解明
- 継続学習は，人工知能が人間のように継続的に学習するために不可欠であり，その性能向上は重要な課題である。
- 従来の継続学習手法では，過去のタスクの知識が失われやすく，性能が低下するという問題がある。
- 本研究は，Replayバッファのサイズと性能の関係を明らかにし，効率的な継続学習手法を開発することを目的とする。
- ニューラルネットワークは，出力予測が失敗した場合でも，過去のタスクの線形分離可能な表現を保持することが多いという矛盾が明らかになった。
- Replayにおける深層忘却の防止には小さなバッファで十分だが，浅層忘却の軽減には大きなバッファ容量が必要であることが示された。
- 小さなバッファが共分散行列のランク不足やクラス平均の膨張を引き起こし，分類器が真の集団境界を認識できなくなることが解明された。
ClinicalTrialsHub：臨床試験レジストリと文献を統合し，包括的な臨床試験アクセスを実現する [cs.CL, cs.AI, cs.HC, cs.IR]目的：臨床試験データへのアクセス向上
- エビデンスに基づいた医療の進歩には，臨床試験データの容易な利用が不可欠である。
- ClinicalTrials.govの情報だけでは，臨床試験データへのアクセスが十分ではないという課題がある。
- PubMed等の文献から情報を抽出・構造化することで，データアクセスを大幅に改善することを目指す。
- ClinicalTrialsHubは，ClinicalTrials.govのデータに加え，PubMedから自動抽出した情報も統合することで，構造化された臨床試験データへのアクセスを83.8%増加させた。
- GPT-5.1やGemini-3-Proなどの大規模言語モデルを活用し，ユーザーの質問を構造化されたデータベース検索に変換し，エビデンスに基づいた回答を提供する。
- 臨床医，研究者，学生を対象としたユーザー調査及び自動評価により，その有用性が示された。
非平衡量子多体系力学の縮約された表現：ニューラル常微分方程式による捕獲 [cs.LG, cond-mat.stat-mech, quant-ph]目的：非平衡量子多体系系の動力学の捕捉
- 量子多体系力学は，現代物理学の重要な分野であり，物質の新しい性質の理解に不可欠である。
- 高精度な計算には指数関数的な計算コストがかかり，現実的な系のシミュレーションが困難である。
- 本研究は，ニューラル常微分方程式を用いて，効率的なシミュレーション手法を開発し，その適用範囲を明らかにする。
- ニューラルODEモデルは，正確な2RDMデータから学習することで，3粒子情報を明示的に使用せずに2RDMの動力学を再現できる。
- ただし，2粒子と3粒子の相関が低い領域ではモデルは失敗し，時間局所的な関数では進化を捉えられないことが示された。
- 3粒子相関の蓄積の大きさは，モデルの成功を予測する主要な指標であり，強相関領域ではメモリ依存性のあるカーネルが必要となる。
HE染色標本を用いたリンパ腫サブタイピングのための多インスタンス学習モデルの多施設ベンチマーク [cs.CV, cs.AI]目的：リンパ腫サブタイピングのための多インスタンス学習モデルの性能評価
- リンパ腫の正確な診断は，治療方針を決定する上で不可欠である。迅速な診断が望まれる。
- リンパ腫診断には専門的な機器や熟練した人員が必要であり，診断の遅延やコスト増大が生じやすい。
- HE染色標本のみから診断情報を抽出し，迅速かつ低コストな診断支援を目指す。
- 複数の施設からのデータを用いたベンチマークでは，いずれの拡大率においても，多クラスのバランスアキュラシーが80%を超えた。
- 基盤モデル間の性能差は小さく，集約手法も同程度の性能を示した。40倍の解像度で十分であり，高解像度化や拡大率の組み合わせは性能向上に繋がらなかった。
- 分布外データを用いた評価では，性能が約60%に低下し，汎化性能の課題が明らかになった。
セルフリーネットワークにおける共同電力最適化とユーザ中心クラスタリングのための線形注意機構 [eess.SY, cs.LG, cs.SY]目的：セルフリー型大規模MIMOシステムにおける最適なAPクラスタリングと電力割り当て
- ユーザエクスペリエンス向上のため，セルフリーネットワークにおける効率的なリソース管理が重要である。
- 既存の深層学習モデルは，動的なネットワーク構成への対応に柔軟性に欠ける場合がある。
- パイロット汚染の影響を軽減し，計算複雑性を抑制したクラスタリングと電力割り当て手法の確立。
- 提案手法は，ユーザ位置情報とAP位置情報のみを用いて，クラスタリングと電力割り当てを同時に予測可能である。
- 線形注意機構の導入により，ユーザ-AP間の相互作用を効率的に捉え，ユーザ数に応じた線形スケーラビリティを実現している。
- シミュレーション結果は，提案手法が最小スペクトル効率の最大化において高い効果を発揮し，動的なシナリオにおいても適応性とスケーラビリティを確保することを示している。
ネットワーク型マルチエージェントシステムにおける適応的説明責任：大規模な創発的規範の追跡と緩和 [cs.MA, cs.AI]目的：大規模ネットワーク型マルチエージェントシステムの創発的規範の追跡と緩和
- 重要インフラを支えるシステムが増加しており，集団行動の予測可能性が不可欠である。
- 協調，資源の独占，不公平などの望ましくない規範が創発される可能性がある。
- システムを遵守可能な行動へと導くための介入手法を確立すること。
- 提示する適応的説明責任フレームワーク(AAF)は，暗号的に検証可能な相互作用履歴を記録し，分布の変化点を検出し，因果関係グラフを用いて責任を特定する。
- AAFは，介入コストが攻撃者の期待利回りを上回る場合，侵害された相互作用の割合が1を下回ることを保証する。
- 大規模シミュレーションにおいて，AAFは，プロキシマルポリシー最適化と比較して，96%の条件下で侵害率を平均11.9%削減し，社会福祉を維持した。
ニューロンによるコードLLMの解釈：どこで，なぜ，どのように？ [cs.SE, cs.AI]目的：コードLLMにおけるニューロンレベルでの解釈
- コード生成の精度向上に不可欠であり，AIの信頼性と安全性を高める。
- LLM内部の動作原理が不明瞭で，誤ったコード生成やセキュリティリスクの懸念がある。
- 言語固有のニューロンと概念層を特定し，コード生成のメカニズムを解明すること。
- 言語特化ニューロンと汎用的な生成を支えるニューロンの共存が確認された。
- 下位層は言語固有の構文を，中位層は言語を越えた意味的抽象を捉える概念層として機能する。
- ニューロン誘導型ファインチューニング，クローン検出，コード要約など，多言語環境での性能向上が示された。
記憶ベアAI：記憶から認知へ，汎用人工知能への飛躍 [cs.AI]目的：大規模言語モデルの記憶機構の再構築
- AI技術の発展は，医療，ビジネス，教育など幅広い分野での応用を可能にする。
- 既存の大規模言語モデルは，記憶容量の制限や知識の忘却，誤情報の生成といった課題を抱える。
- 人間のような記憶アーキテクチャを構築し，AIの認知能力向上を目指す。
- Memory Bearは，マルチモーダル情報の知覚，動的な記憶維持，適応的な認知サービスを統合することで，LLMの記憶メカニズムを包括的に再構築した。
- ヘルスケア，企業業務，教育といった多様な分野において，既存ソリューション（Mem0，MemGPT，Graphitiなど）を上回る精度，トークン効率，応答速度を実現した。
- 本研究は，AIを「記憶」から「認知」へと進化させるための重要な一歩となる。
重みからコードへ：離散Transformerからの解釈可能なアルゴリズムの抽出 [cs.LG, cs.CL]目的：アルゴリズム抽出
- 近年，アルゴリズム学習の自動化が重要視されており，人間の介入なしに新たなアルゴリズムを発見する手法が求められている。
- Transformerモデルは表現の複雑さから，記号的な表現への変換が困難であり，解釈可能性に課題があった。
- 連続的な表現と離散的な記号論理の間のギャップを埋め，Transformerモデルから読み取り可能なプログラムを抽出すること。
- 離散Transformerは，RNNベースの手法と同等の性能を達成しつつ，連続変数領域への解釈可能性を拡張した。
- アニーリングのダイナミクスは，探索から活用への明確な移行を示し，アルゴリズム抽出の過程を可視化した。
- アーキテクチャの誘導バイアスは，合成されたプログラムに対するきめ細かい制御を可能にし，アルゴリズム発見の堅牢性を高めた。
DeeperBrain：普遍的BCIに向けた神経基盤型脳波基盤モデル [cs.LG, eess.SP, q-bio.NC]目的：普遍的な脳コンピュータインタフェースの実現に向けた神経基盤型脳波基盤モデル
- 脳波は非侵襲的な脳活動計測法であり，医療・福祉分野での応用が期待されている。
- 既存の脳波モデルは，汎用的な系列構造を基盤としており，脳活動の生体力学的・動的原理を考慮していない。
- 脳活動の神経科学的知見を組み込むことで，汎用性の高い脳波表現学習を目指す。
- DeeperBrainは，3次元形状や振動・指数基底に基づき，脳波の空間的混合と時間的変化をモデル化する。
- マスク脳波再構成と神経力学統計予測という二重目的の学習戦略により，脳波の局所的な忠実性と大域的な脳状態との整合性を実現する。
- 厳格な固定プローブプロトコル下で高い有効性を維持し，神経科学的原理の組み込みが普遍的BCIに不可欠であることを検証した。
GeoMotionGPT：大規模言語モデルによる幾何学的整合性のある動作理解 [eess.SY, cs.SY, math.OC, cs.CV, cs.AI]目的：動作理解と動作-言語推論のための大規模言語モデルの基盤としての幾何学的整合性の確立
- 人間行動の理解は，ロボット工学やコンピュータグラフィックスなど多くの分野で重要である。
- 既存手法では，動作の幾何学的構造と埋め込み空間が十分に整合しておらず，高度な推論が困難である。
- 動作コードブックとLLM埋め込み空間に直交性を強制し，幾何学的整合性を高めることで，推論能力の向上を目指す。
- 提案手法は，HumanML3Dにおいて最先端のベースラインよりも集計平均で22.4％，KIT-MLで14.4％の改善を達成した。
- 動作トークナイザー，射影，正則化の設計が効果的であることが，消去実験によって確認された。
- Gumbel-Softmaxを用いたデコーダー専用量子化により，微分可能な学習とバランスの取れたコードブック利用を実現した。
機械学習を用いた無線ネットワークトラフィック予測における合成データの役割の研究 [eess.SY, cs.LG, cs.SY]目的：無線ネットワークトラフィック予測のための合成データ生成手法
- 無線ネットワークの効率的な運用には，正確なトラフィック予測が不可欠である。
- 実データ収集にはコストとプライバシーの問題があり，十分なデータ確保が課題となる。
- 実データ不足を補い，プライバシーを保護したトラフィック予測手法を確立すること。
- 提案手法により生成された合成データで学習したモデルは，実データで学習したモデルと同程度の予測精度を達成した。
- 特に，汎化性能が求められる場合，合成データを用いたモデルは予測精度を最大50%向上させた。
- 本手法は，大規模Wi-Fi環境におけるトラフィック予測を効率的かつスケーラブルに行うことを可能にする。
有限基底PINNの学習のための多重事前条件付きLBFGS法 [cs.DC, cs.ET, cs.MS, cs.PF, math.NA, cs.LG, cs.NA]目的：有限基底物理情報ニューラルネットワークの学習アルゴリズム
- 物理現象のシミュレーションにおいて，機械学習の活用が重要視されている。
- 標準的なLBFGS法では，大規模問題に対する収束速度が課題となる場合がある。
- ドメイン分割に基づいた効率的な学習手法を開発し，計算コストを削減すること。
- MP-LBFGS法は，標準的なLBFGS法と比較して，収束速度とモデル精度を向上させる。
- このアルゴリズムは，ドメイン分割に触発されたアーキテクチャを活用し，局所的な表現を可能にする。
- 通信オーバーヘッドを抑えつつ，並列計算による高速化を実現する。
LLMの表明された信念の脆弱性：戦略的な説得会話介入によるLLMの信念抵抗性の検証 [cs.CL, cs.AI]目的：LLMの信念に対する説得の影響度評価
- LLMは多様な質問応答タスクで活用が拡大しており，その信頼性確保が重要である。
- LLMは説得に弱く，虚偽の信念を受け入れてしまう可能性がある。
- LLMの信念の安定性を高め，より信頼できるLLMを開発することを目指す。
- 小規模モデル(Llama 3.2-3B)は最初の説得ターンで信念変化が82.5%発生し，非常に高い順応性を示した。
- 信念の信頼度を言葉で明示させるプロンプトは，頑健性を高めるどころか，信念の侵食を加速させ，脆弱性を高める結果となった。
- 敵対的ファインチューニングの効果はモデルに依存し，GPT-4o-miniはほぼ完全な頑健性を獲得したが，Llamaモデルは依然として脆弱性が高かった。
洪水に対するオンボード継続的変化検出に向けて [cs.CV, cs.LG]目的：洪水検出のためのオンボード変化検出システムの開発
- 災害監視は社会インフラの維持に不可欠であり，迅速な対応が求められる。
- 衛星データ処理には，演算リソースの制約とリアルタイム性が課題となる。
- 小型衛星でのリアルタイムな洪水検出システムの構築を目指す。
- 提案手法であるHiT機構により，過去の文脈を維持しつつ，データ保存量を大幅に削減した。
- STTORM-CDデータセットでの検証により，HiT機構が検出精度を維持することが確認された。
- Jetson Orin Nano上での実測により，43 FPSの処理速度を実現し，小型衛星への実装可能性を示した。
森林チャット：インタラクティブな森林変化分析のためのビジョン言語エージェントの適応 [cs.CV, cs.AI, cs.CL, cs.HC]目的：森林の変化検出と意味的解釈に関するタスクを自然言語で実行可能なエージェントの開発
- 森林管理は地球規模での環境保全や資源利用において重要であり，高精度な森林変化分析が求められる。
- 既存手法では，森林のような複雑な環境における変化検出と意味解釈の精度向上が課題であった。
- 大規模言語モデルとビジョン言語モデルを統合し，森林変化分析の精度と利便性を高めることを目指す。
- Forest-Chatは，森林変化データセットForest-Changeにおいて，mIoUで67.10%，BLEU-4で40.17%のスコアを達成した。
- ゼロショット条件下でも高い性能を示し，Forest-ChangeでmIoU 60.15%，BLEU-4 34.00%を記録した。
- キャプションの改良により，地理的ドメイン知識の注入効果が確認され，インタラクティブな森林変化分析の可能性を示した。
事前学習済み自己回帰モデルからマスク拡散言語モデルへのポストトレーニングにおけるメカニズムの変化 [cs.LG, cs.AI, cs.CL]目的：自己回帰モデルとマスク拡散モデルの回路分析を通じたメカニズム変化の解明
- 言語モデルは自然言語処理の基盤であり，その性能向上は様々な応用を可能とする。
- 自己回帰モデルは逐次的な生成に制約があり，双方向の推論能力が課題となっていた。
- ポストトレーニングによって双方向推論能力が獲得されるのか，自己回帰的なヒューリスティクスを再利用しているのかを明らかにすること。
- マスク拡散モデルは，局所的な因果関係に基づいたタスクでは自己回帰モデルの回路構造を維持する傾向がある。
- しかし，グローバルな計画が必要なタスクでは，初期化された経路を放棄し，早期層の処理が増加した新たな配線を示す。
- 意味レベルでは，自己回帰モデルの鋭い局所的専門化から，マスク拡散モデルの分散的統合への移行が観察された。
柔軟性の罠：拡散言語モデルにおける任意の順序が推論能力を制限する理由 [cs.CL, cs.AI, cs.LG]目的：拡散言語モデルにおける任意の順序生成の限界と，より効果的な推論手法の提案
- 大規模言語モデルは，数学やコーディングなどの複雑なタスクにおいて高い推論能力が求められている。
- 従来の言語モデルは左から右への制約が強く，柔軟性に欠ける点が課題であった。
- 拡散言語モデルの柔軟性を活かしつつ，推論能力の低下を防ぐための手法を確立すること。
- 拡散言語モデルは，柔軟な順序生成によって探索空間が広がるはずだが，実際には不確実性の高いトークンを回避し，解決空間が早期に崩壊する傾向があることが判明した。
- 従来の強化学習アプローチは，この柔軟性を維持するために複雑な処理が必要となるが，必ずしも効果的ではない。
- 任意の順序を意図的に放棄し，標準的なGRPOを適用するJustGRPOというシンプルな手法が，高い精度（GSM8Kで89.1%）を示し，拡散言語モデルの並列デコード能力を維持できることが示された。
データ不足下におけるソフト高誘電率エラストマーのためのマルチモーダル機械学習 [cs.LG, cond-mat.mtrl-sci]目的：高誘電率かつ低ヤング率を示すソフトエラストマーのデータ駆動型設計
- センサー，アクチュエーター，トランジスタなど現代エレクトロニクスの基盤材料であり，その高性能化が求められている。
- 高誘電率と低ヤング率を両立するソフトエラストマーの開発は依然として困難な課題である。
- 分子構造，誘電特性，機械的特性を統合した系統的なデータセットが不足しており，本研究はその構築と活用を目指す。
- 過去10年間の実験結果を集約した高品質なアクリレート系誘電エラストマーのコンパクトなデータセットを構築した。
- 大規模に事前学習されたポリマー表現を活用するマルチモーダル学習フレームワークを提案し，少ないデータでの特性予測を可能にした。
- 化学的・構造的知識の転移により，高誘電率かつ低ヤング率を示すソフトエラストマーの効率的な探索を加速する。
STELLAR：構造に基づくLLMアサーション検索・生成による形式検証 [cs.RO, cs.AR, cs.AI]目的：形式検証のためのSystemVerilogアサーションの生成
- 半導体設計の信頼性向上に不可欠であり，設計ミスを早期発見することでコスト削減に貢献する。
- 手動でのアサーション作成は時間がかかり，人的エラーが発生しやすいという課題がある。
- LLMを活用しつつ，ハードウェア構造を考慮することで，より高品質なアサーション生成を目指す。
- STELLARは，RTLブロックをAST構造フィンガープリントとして表現し，構造的に関連性の高い(RTL, SVA)ペアを検索する。
- 検索されたペアを構造を考慮したプロンプトに組み込み，LLMによるSVA生成をガイドする。
- 実験により，STELLARが構文・スタイル・機能の正確性において既存手法を上回ることが示された。
モデルマージのための統一的な一般化フレームワーク：トレードオフ，非線形性，スケーリング則 [cs.SI, cs.CY, cs.LG]目的：モデルマージにおける効果に関する統一的な理論
- 機械学習モデルの効率的な活用が重要視される中，複数のモデルを統合する技術が求められている。
- モデルマージにおける，ファインチューニングのハイパーパラメータの異質性に対する理論的解明が遅れている。
- 過学習したモデルを統合する際の崩壊を防ぎ，最適なハイパーパラメータ選択を可能にすること。
- 最適化と一般化のトレードオフを数学的に確立し，過学習モデルによるマージ崩壊のメカニズムを解明した。
- 線形および非線形マージアルゴリズムを統一的に説明する理論的フレームワークを構築した。
- ハイパーパラメータの選択がモデルマージに与える影響を予測するスケーリング則を導出した。
RRAMベースのメモリ内コンピューティングアクセラレータにおける混合精度学習とコンパイル [cs.LG, cs.ET]目的：RRAMベースのメモリ内コンピューティングアクセラレータにおける混合精度学習とコンパイルのフレームワーク
- 機械学習の計算負荷増大に対応するため，メモリ内で直接演算を行う技術が求められている。
- 既存のCIMコンパイラは8ビット以下の量子化をサポートせず，効率的な計算やメモリ利用を妨げている。
- 適切な量子化パラメータを探索し，レイテンシと精度のバランスを最適化することで性能向上を目指す。
- 提案手法は，既存の最先端技術と比較して最大2.48倍の高速化を達成した。
- 精度損失はわずか0.086%に抑えられ，実用的な性能を示す。
- 強化学習を活用することで，大規模な探索空間から最適な量子化設定を効率的に見つけ出した。
階層的量子化は最適な再構成に不可欠か [cs.CV, cs.LG]目的：単一層VQ-VAEによる再構成精度の検証
- 高精度な再構成は，ニューラル圧縮や生成パイプラインなど，様々なモデルの性能を左右する重要な要素である。
- 従来の階層型VQ-VAEは優れていると考えられてきたが，その効果が十分に検証されていなかった。
- 本研究では，単一層VQ-VAEが階層型VQ-VAEと同等の再構成精度を達成可能か検証する。
- 単一層VQ-VAEにおけるコードブック崩壊は，利用可能な表現能力を制限することが確認された。
- コードブックの初期化，非アクティブベクトルのリセット，ハイパーパラメータの調整によって，コードブック崩壊を大幅に軽減できた。
- 表現能力を一致させ，コードブック崩壊を抑制することで，単一層VQ-VAEは階層型VQ-VAEと同等の再構成精度を達成できることが示された。
1S-DAug：少数の事例からのロバストな汎化のためのワンショットデータ拡張 [cs.CV, cs.AI, cs.LG]目的：少数事例学習におけるロバストな汎化性能の向上
- 少数事例学習は，限られたラベル付きデータから新しいクラスへの汎化能力を試す重要な研究分野である。
- 従来のテスト時拡張は，少数事例学習においては効果が薄いという課題がある。
- 本研究は，単一の事例画像から多様かつ忠実なバリアントを生成することで，この課題を解決する。
- 1S-DAugは，従来の幾何学的摂動と制御されたノイズ注入，そしてノイズ除去拡散プロセスを組み合わせる。
- 生成された画像と元の画像を組み合わせた表現を用いることで，少数事例学習の予測精度を向上させる。
- miniImagenet 5-way-1-shotベンチマークにおいて，最大20%の精度向上が確認された。
層的ニューラルネットワークとそのバイオメディカル応用 [cs.LG, cs.AI, cs.NE]目的：層的ニューラルネットワークの理論と数学的モデル化
- 近年，グラフ構造を持つデータの解析が重要視されている。
- 既存のグラフニューラルネットワークは，複雑なデータ構造の表現に限界がある。
- 層的ニューラルネットワークを用いて，より高度なデータ解析を目指す。
- 層的ニューラルネットワークの理論とモデル化を明確にした。
- バイオメディカル分野における具体的な事例で有効性を実証した。
- グラフ畳み込みネットワーク，グラフ注意ネットワーク，GraphSage等の既存手法を上回る性能を示した。
幻覚か創造性か：AI生成科学物語の評価方法 [eess.SY, cs.SY, cs.CL, cs.AI]目的：AI生成科学物語の評価基準
- 科学技術の発展に伴い，専門知識の一般公開が重要視される。
- 科学的正確性と物語としての魅力の両立が課題である。
- 既存の評価指標では，創造性を伴う改変と誤りを区別できない。
- 本研究では，意味的整合性，語彙的根拠，物語の制御，構造的忠実性，冗長性の回避，エンティティレベルの幻覚検出を統合した複合指標StoryScoreを提案する。
- 既存の幻覚検出手法が，教育的創造性と事実誤認を区別できない要因を分析し，その限界を明らかにする。
- 自動評価指標は内容の類似性は測れるが，物語の構成や制御の評価は困難であることが示唆される。
年齢を考慮した無線エッジブラインド連合学習 [cs.IT, cs.LG, eess.SP, math.IT]目的：無線フェージングチャネルにおける連合学習の効率化
- 機械学習の分散化によるプライバシー保護とデータ活用が重要視されている。
- 無線通信環境下では，チャネル状態の情報取得が困難な場合がある。
- 遅延を抑制しつつ，モデル更新の精度を向上させる方法を確立する。
- パラメータサーバのアンテナ数を増やすことで，精度と収束速度が大幅に向上することが示された。
- AgeTop-kは，比較的良好なチャネル条件下でランダム選択よりも優れた性能を発揮する。
- 最適なkの値はチャネルに依存し，ノイズの多い環境では小さいkが有効である。
LLMエージェントのソーシャルネットワークにおけるジェンダーダイナミクスと同質性 [cs.SI, cs.AI, cs.CY]目的：LLMエージェントのソーシャルネットワークにおけるジェンダー表現の発展
- AI技術の社会実装が進む中で，エージェント間の相互作用におけるジェンダー表現の形成過程を理解することが重要である。
- LLMエージェントのジェンダー表現は固定的なものではなく，流動的であるにもかかわらず，同質性に基づくネットワーク構造が形成されている。
- LLMエージェントにおけるジェンダー表現の同質性が，選択と影響のどちらに起因するかを解明すること。
- エージェントのジェンダー表現は固定されず，時間とともに変化する。
- ネットワーク内では，ジェンダー表現の類似性に基づく同質性が強く見られる。
- ソーシャルセレクションとソーシャルインフルエンスの両方のメカニズムが，LLM間の相互作用の構造と進化を形成していることが示唆された。
連続時間潜在ダイナミクスを持つクープマンオートエンコーダ：流体動力学予測への応用 [cs.LG, physics.flu-dyn]目的：時間依存偏微分方程式のサロゲートモデル学習
- 物理現象のシミュレーションは重要だが，高コストであり，リアルタイム性に課題がある。
- 高精度なモデルは計算コストが高く，長期間の予測で誤差が累積しやすい。
- 潜在空間に連続時間線形構造を導入し，計算効率と安定性を高める。
- 提案手法は，行列指数化による潜在空間の正確な時間発展を実現し，高速な予測を可能にする。
- 流体動力学のベンチマークにおいて，自己回帰型ニューラル演算子や拡散モデルと比較して，計算効率と長期安定性に優れる。
- 短期的予測精度においても，既存手法と同等以上の性能を示す。
VRデータからの学校襲撃者行動の離散事象シミュレータ開発 [cs.HC, cs.NI, cs.AI, cs.RO]目的：学校襲撃者行動の離散事象シミュレータ
- 学校における安全対策の重要性が高まる中，現実では困難な状況下での評価手法が求められている。
- VR実験では，条件ごとに新たな参加者が必要であり，大規模な評価や反復的な検証が困難である。
- VRデータから学習した確率過程を用いて，大規模かつ効率的な介入戦略の評価を目指す。
- VR実験で得られた行動データに基づき，襲撃者の動きや行動を模倣する離散事象シミュレータを開発した。
- 開発したシミュレータを用いて，ロボットを用いた介入戦略の効果を検証した結果，現実的なパターンを再現できた。
- 本研究は，人間の参加者による訓練が困難な介入戦略を開発・評価するための，スケーラブルなシミュレーションワークフローを実証した。
クラウゼ同期トランスフォーマー [eess.SY, cs.SY, stat.AP, cs.OS, cs.DC, cs.RO, cs.LG, cs.AI]目的：トランスフォーマーにおける注意機構の改善
- 大規模言語モデルの性能向上は，注意機構の効率化に依存する。
- 従来の注意機構は，グローバルな競合により表現崩壊や注意シンクが発生しやすい。
- 局所的な同期を促進し，注意の集中を緩和することで，効率性と安定性を高める。
- クラウゼ注意機構は，距離ベースの局所的な相互作用により，グローバルな混合を抑制する。
- この機構は，計算複雑性を二次から線形に削減し，大規模モデルへの適用を可能にする。
- 画像認識，生成，言語モデルの実験で，計算量削減と性能向上を同時に達成した。
SF-RAG：構造忠実性検索拡張生成による学術的な質問応答 [cs.IR, cs.AI]目的：学術論文に対する質問応答の性能向上
- 科学技術文献の効率的な質問応答は，証拠に基づいた意思決定に不可欠である。
- 既存手法は論文の構造を無視し，断片的な文脈や不正確な証拠割当が生じやすい。
- 論文の構造を活かした検索により，より正確な文脈と証拠割当を実現する。
- SF-RAGは，論文の階層構造を保持したインデックスを構築し，検索時のエントロピー増加を抑制する。
- パス誘導検索メカニズムにより，クエリと関連するセクションを整合させ，コンパクトで一貫性のある文脈を提供する。
- ３つのQAベンチマークにおいて，SF-RAGは検索の断片化を軽減し，証拠割当の精度を向上させ，回答品質を改善した。
TS-Haystack：時系列言語モデルのためのマルチスケール検索ベンチマーク [cs.LG]目的：時系列言語モデルにおける長文脈検索の評価
- 自然言語処理の進展に伴い，時系列データ解析への応用が期待される分野である。
- 既存のモデルは短い系列で学習・評価されることが多く，実世界の長大な時系列データに対応できない。
- 長文脈下での正確な時間的局在化と計算資源の制約下での効率的な検索手法を確立すること。
- TS-Haystackベンチマークは，10種類のタスクと4つのカテゴリで構成され，長文脈時系列検索を評価する。
- 実験結果から，既存のTSLMエンコーダーは文脈長が長くなるにつれて時間的粒度を無視する傾向があることが示唆された。
- 学習された潜在的圧縮は分類精度を向上させる一方で，文脈長とともに検索性能が低下し，局所的な情報が失われることが確認された。
エージェント間コミュニケーションの検証可能な意味論 [cs.AI, cs.MA]目的：エージェント間コミュニケーションの一貫性確保
- マルチエージェントAIの発展には，共通理解に基づくコミュニケーションが不可欠である。
- 自然言語は解釈可能だが意味ドリフトを起こしやすく，学習プロトコルは効率的だが不透明である。
- 意味のずれを検出し，共通語彙を再構築する手段の確立。
- 刺激-意味モデルに基づく認証プロトコルを提案し，共有可能なイベントでエージェントをテストする。
- 認証された用語のみを使用する「コアガード付き推論」により，意見の不一致を理論的に抑制できる。
- シミュレーションでは意見の不一致が72-96%減少し，ファインチューニングされた言語モデルでも51%減少した。
因果関係が，解釈可能性の主張の一般化に不可欠である [cs.LG]目的：大規模言語モデルの解釈可能性に関する研究の妥当性評価
- 大規模言語モデルの解釈可能性研究は，モデルの振る舞い理解に重要であり，その信頼性向上に貢献する。
- 解釈可能性研究の結果が一般化せず，因果関係に基づかない主張がなされるという問題がある。
- 因果推論に基づいた枠組みを用いて，解釈可能性研究の妥当性を評価し，一般化可能な結果を得ることを目指す。
- 解釈可能性研究における主張は，観察，介入，反事実という因果階層に基づいて評価されるべきである。
- 反事実的推論は，制御された教師データなしでは検証が難しく，慎重な扱いが求められる。
- 因果表現学習は，この階層を具体化し，活性化からどのような変数を復元できるかを明確にする。
等方性ガウス表現による安定した深層強化学習 [cs.LG, cs.AI]目的：深層強化学習における訓練の安定化
- 強化学習は，複雑な問題解決において高いポテンシャルを持つが，訓練の不安定さが課題。
- 非定常性により学習目標やデータ分布が変化し，訓練が不安定になる問題がある。
- 等方性ガウス表現を利用し，非定常性下での学習安定性を向上させる。
- 等方性ガウス埋め込みは，時間変化する目標を安定的に追跡し，表現のバランスを促進する。
- 提案手法であるSketched Isotropic Gaussian Regularizationは，表現の崩壊やニューロンの不活性化を抑制する。
- 様々なドメインにおいて，非定常性下での性能向上と訓練の安定化が確認された。
ログから言語へ：大規模産業スケールでのLLMベース推薦のための最適な言語化学習 [cs.AI, cs.IR]目的：LLMベース推薦のための言語化戦略
- 推薦システムの精度向上は，ユーザーエクスペリエンスとビジネス成果に直結するため重要である。
- 既存の言語化手法は，固定テンプレートに依存し，複雑なユーザー行動を十分に捉えきれていない。
- LLMに最適な入力文を生成し，推薦精度を大幅に向上させることを目指す。
- 強化学習を用いて言語化エージェントを学習し，生データから最適な文脈を生成することに成功した。
- Netflixの大規模データセットにおいて，テンプレートベースの手法と比較して，最大93%の相対的な推薦精度向上を達成した。
- 学習されたエージェントは，ユーザー興味の要約やノイズ除去といった効果的な戦略を獲得した。
米国電力グリッド予測における状態空間モデル，Transformer，再帰型ニューラルネットワークのベンチマーク [cs.LG, cs.SY, eess.SY]目的：米国電力グリッド予測のための深層学習モデルの性能比較
- 電力需給の安定運用には高精度な予測が不可欠であり，その重要性は増している。
- 適切な深層学習モデルの選択はデータに依存するため，汎用的なモデルが存在しない。
- データ環境に応じた最適な予測モデルの選択指針を提示することを目指す。
- 過去の負荷データのみを用いた予測では，PatchTSTと状態空間モデルが最も高い精度を示した。
- 気象データを入力に加えた場合，iTransformerの精度向上の効率がPatchTSTを上回った。
- 太陽光発電，風力発電，卸売価格の予測においてもモデルのランキングはタスクによって変化することが確認された。
プロンプトの構造が推論の質を決定する：カーウォッシュ問題における変数分離の研究 [cs.AI, cs.CL]目的：カーウォッシュ問題における正答率向上のためのプロンプト構造の要素
- 大規模言語モデルの推論能力向上は，現実世界の課題解決に不可欠である。
- LLMは暗黙的な物理的制約を伴う推論問題に弱く，その解決が求められている。
- プロンプト構造を最適化することで，LLMの推論精度を飛躍的に向上させる。
- STAR（状況・タスク・行動・結果）の推論フレームワークのみで，正答率が0%から85%に向上した。
- ユーザープロファイルによる文脈付加は，さらに10%の正答率向上に貢献した。
- RAGによる文脈付加により，最終的に100%の正答率を達成した。
グラフニューラルネットワークを用いたエネルギーシステム結合における空間的配分改善 [cs.LG, cs.SY, eess.SY]目的：エネルギーシステム結合における空間的配分方法の改善
- エネルギーシステム分析において，空間解像度の異なるモデル間の結合は不可欠である。
- 従来の配分モデルは単一の地理空間属性に依存し，精度の限界があった。
- 地理的特徴を統合し，物理的に意味のある重みを生成することで，配分精度向上を目指す。
- 提案手法は，様々な地理的特徴をグラフ構造としてモデル化し，高精度な重みを生成する。
- 生成された重みを用いることで，従来のVoronoi法による配分が大幅に改善される。
- 実験結果は，提案手法がスケーラビリティ，精度，物理的妥当性を向上させることを示している。
CeRA：多様体拡張による低ランク適応の線形上限を打破 [cs.LG, cs.AI, cs.CL]目的：低ランク適応における性能向上
- 大規模言語モデルの効率的なファインチューニング手法が求められている。パラメータ数を削減しつつ性能を維持する必要がある。
- 従来のLoRAでは，ランクを上げても複雑な推論タスクにおいて性能向上が頭打ちになる線形上限が存在する。
- CeRAは，多様体拡張によりこの線形上限を打破し，少ないパラメータで高い性能を実現することを目指す。
- CeRAは，SlimOrcaベンチマークにおいて，LoRAを高ランク設定した場合と同等以上の性能を，より低いランクで達成した。
- 特に複雑な数学的推論タスクにおいて，CeRAはLoRAと比較してパラメータ効率が著しく向上し，高い精度を示した。
- SVDによるメカニズム分析の結果，CeRAは特異値のスペクトルの末尾を活性化し，ランクの崩壊を防ぐことが確認された。
Transformer学習におけるオプティマイザ誘導による低次元ドリフトと横方向ダイナミクス [cs.LG, cs.AI]目的：Transformer学習におけるオプティマイザ誘導の幾何学的構造の軌跡レベルでの特徴づけ
- Transformerは自然言語処理で高性能を示すが，学習の安定性や効率性には課題が残る。
- 最適化アルゴリズムが学習に与える影響は十分には解明されておらず，最適化のメカニズムが不明確である。
- Transformer学習におけるオプティマイザの累積的な更新ダイナミクスに由来する幾何学的構造を明らかにする。
- AdamWを用いたTransformer学習では，初期化からの長距離変位の60～80%を捉える主要な低次元ドリフト方向（「バックボーン」）が存在する。
- バックボーンは，学習期間中のローリングウィンドウで安定性を保ちつつ，目的関数の再重み付けなどの段階で徐々に方向を変える。
- AdamWをSGD系オプティマイザに置き換えることでバックボーン構造は消失し，$\beta_2$の値を小さくするとバックボーンの支配性が弱まる。
CIRCLE：現実世界を考慮したAI評価フレームワーク [cs.AI, cs.SE]目的：AIの現実世界における成果を評価するためのフレームワーク
- AI技術の社会実装が進む中，その影響を的確に評価する必要性が高まっている。
- 既存の評価手法は，技術的な性能に偏っており，組織への影響を十分に考慮できていない。
- ステークホルダーの懸念を定量的な指標に変換し，AIの実質的な効果を評価する。
- CIRCLEは，AIシステムのライフサイクル全体を6段階で捉え，継続的な評価を可能にする。
- 現場テストやレッドチーム，長期調査などを組み合わせることで，現場に合わせた定量的な指標を生成する。
- これにより，理論的な能力だけでなく，実際の組織への影響に基づいたガバナンスを実現する。
読んだものが分類結果に反映される：テキストとテキスト類似入力への帰属の強調 [cs.LG, q-bio.GN]目的：離散トークン入力（テキストなど）に対する解釈可能なAI手法の開発
- AIの透明性確保は，信頼性の高いAIシステムの構築に不可欠であるため重要である。
- 既存の解釈可能なAI技術は，局所的・大域的な特徴を考慮する必要があるトークン系列には適用が難しい。
- テキスト分類において，人間が理解しやすい形で重要なトークンを特定することを目指す。
- 提案手法は，画像向けマスクベースの解釈可能なAIアルゴリズムをトークンベースの分類器に一般化する。
- Explainerニューラルネットワークを用いて，分類に無関係な情報を隠蔽するマスクを生成する。
- 核酸配列分類器への適用実験により，マスクされた領域は分類において重要度が低いことが示された。
Transformerは最初を記憶し，最後を忘却する：LLMにおける二重過程干渉 [cs.IR, cs.AI, cs.CL]目的：大規模言語モデルにおける干渉現象の解明
- 言語モデルの性能向上には，文脈情報の効果的な処理が不可欠である。
- 既存モデルでは，矛盾する情報が混在した場合の記憶保持メカニズムが不明である。
- Transformerモデル特有の記憶メカニズムを明らかにし，干渉への対策を検討する。
- 大規模言語モデルは，先行する情報を保持する傾向が強く，後続情報の記憶が阻害されるという，人間の記憶とは逆のパターンを示す。
- 先行干渉と逆行干渉は相関がなく，それぞれが独立した記憶メカニズムに基づいている可能性が示唆された。
- モデルサイズは逆行干渉への耐性に影響するが，先行干渉には影響しないことから，容量依存性が異なることが明らかになった。