arXiv雑要約
AI - 2026/02/04 公開
スパイクニューラルネットワークアーキテクチャ探索:サーベイ [cs.NE]目的:スパイクニューラルネットワークアーキテクチャ探索に関する包括的な調査
- 省電力でリアルタイム処理可能なニューロモーフィックコンピューティングの実現が期待されている
- スパイクニューラルネットワークの最適アーキテクチャ設計は,学習の難しさやハードウェア制約との相互作用により課題が多い
- ハードウェアとソフトウェアの協調設計によるスパイクニューラルネットワークの潜在能力を最大限に引き出す
- 本調査では,スパイクニューラルネットワークアーキテクチャ探索の現状を,ハードウェア/ソフトウェア協調設計の視点から包括的にまとめた
- 従来のニューラルネットワークのアーキテクチャ探索手法をそのまま適用することが難しい点も指摘されている
- 今後の研究方向性として,ハードウェア/ソフトウェア協調設計の重要性を強調し,ニューロモーフィックコンピューティングの可能性を示唆している
PAINT:動力系再構成のための時間内並列ニューラルツイン [cs.AI, physics.flu-dyn]目的:動力系の状態分布の時間内並列モデリング
- 動力系のシミュレーションは科学技術の発展に不可欠であり,リアルタイム性能が求められる。
- 従来のニューラルサロゲートモデルは,時間経過に伴う状態の軌道維持が課題であった。
- PAINTは,測定値から高い精度で状態を予測し,軌道維持を実現することを目指す。
- PAINTは,時間内並列に状態分布をモデリングすることで,真のシステム状態に近位した状態を維持する。
- 理論的解析により,PAINTが軌道上に留まることが示され,自己回帰モデルとの差異が明確になった。
- 二次元乱流流体問題における実験結果は,PAINTが疎な測定値から高精度に状態を予測できることを示している。
S4ECG:不整脈予測における長距離相互作用の影響の探求 [cs.LG, eess.SP]目的:不整脈予測のための長距離相互作用の影響
- 心電図は心臓の生理的・病理的動態を反映する重要なバイオ信号であり,その解析は臨床上不可欠である。
- 従来の解析手法では,時間分解能を高く保ちつつ,大域的な傾向と局所的な波形特徴を同時に捉えることが困難であった。
- 本研究は,大域的・局所的信号解析を統合し,より高精度な不整脈予測を可能にすることを目的とする。
- S4ECGは,構造化状態空間モデルを活用した新しい深層学習アーキテクチャであり,多期間にわたる不整脈分類において優れた性能を示す。
- 単期間アプローチと比較して,macro-AUROCで1.0-11.6%の有意な改善が確認され,特に心房細動の特異度は大幅に向上した。
- 最適な時間依存性ウィンドウは10〜20分間であり,時間情報に着目した不整脈検出アルゴリズムへのパラダイムシフトに貢献する。
POPI:最適化された嗜好推論によるLLMのパーソナライズ [cs.CL, cs.AI]目的:LLMパーソナライズにおける嗜好推論と条件付き生成の構造
- LLMは多様なユーザーに対応する必要があり,パーソナライズが重要である。
- 既存手法では,ユーザーレベルのパーソナライズ構造が明確でない場合がある。
- 嗜好推論と条件付き生成を分離し,モジュール化されたパーソナライズを目指す。
- POPIは,嗜好推論と条件付き生成を両方ともLLMでパラメータ化する新しいモジュールパーソナライズ手法である。
- POPIは,複数のベンチマークでパーソナライズ性能を向上させ,コンテキストオーバーヘッドを削減することを示した。
- 学習された自然言語の嗜好要約は,商用LLMにも効果的に転移し,モジュール性の実証となった。
効率的なユーティリティ維持機械的アンラーニング:暗黙的勾配手術によるアプローチ [cs.LG, cs.AI]目的:機械学習モデルからの機密または有害な記憶の効率的な除去
- プライバシー保護の重要性が高まる中で,学習済みモデルから個人情報を削除する技術が求められている。
- 従来のアンラーニング手法では,アンラーニングの効率性とモデルの性能維持のバランスが難しい。
- ユーティリティの損失を抑制しつつ,アンラーニングの効率を向上させる手法を開発する。
- 本研究では,アンラーニングを制約付き最適化問題として定式化し,ユーティリティ損失の増加を抑制する。
- 暗黙的勾配手術を用いることで,効率的なユーティリティ維持機械的アンラーニングを実現した。
- 実験結果から,提案手法は既存手法よりも優れたトレードオフを示すことが確認された。
単純なノイズ除去拡散言語モデル [cs.LG]目的:高速なテキスト生成の実現
- テキスト生成技術は,自然言語処理の基盤であり,様々な応用分野で重要性が増している。
- 従来の拡散モデルは計算コストが高く,大規模なデータセットでの学習が課題となっていた。
- 計算効率を向上させ,大規模なモデルでの学習を可能にすることを目的とする。
- 本研究では,ノイズで置き換えたトークンのみを最適化する単純な損失関数を提案し,学習の安定性を確保した。
- 提案手法は,複雑な目的関数を用いる既存手法と同等の性能を発揮し,計算コストを削減することに成功した。
- さらに,一様分布への偏りを抑制する正則化項を導入し,性能を向上させている。
Transformerはベイズクラスタリングを実行できる [cs.LG, cs.AI]目的:ベイズクラスタリングにおけるTransformerモデルの適用
- ベイズクラスタリングは不確実性を考慮できるが,大規模データでは計算コストが高い。
- 欠損値を含むデータセットでは,単純な補完では不確実性が無視され,最適な結果が得られない。
- 大規模データにおけるスケーラブルかつ柔軟なベイズクラスタリング手法の確立。
- Cluster-PFNは,有限ガウス混合モデルを事前分布として学習し,クラスタ数と割り当ての事後分布を推定する。
- AIC,BIC,変分推論よりもクラスタ数の推定精度が高く,計算速度も大幅に向上する。
- 欠損データを含む複雑な事前分布に対しても頑健であり,ゲノムデータセットで高い性能を示す。
生存期間分析のための機械学習アルゴリズム比較手法 [cs.LG]目的:生存期間分析のための機械学習モデル比較
- 医療分野において,患者の生存期間予測は,治療方針の決定や予後の把握に不可欠である。
- 従来の生存期間分析は統計モデルに依存し,複雑なデータパターンを捉えきれない場合がある。
- 機械学習モデルを用いることで,より高精度な生存期間予測と意思決定支援を目指す。
- XGB-AFTが最も優れた性能を示し(C-Index = 0.7618; IPCW = 0.7532),GBSAとRSFがそれに続いた。
- 機械学習モデルは,検閲されたデータを考慮した生存期間予測に有効であることが示された。
- SHAPやpermutation importanceを用いて,予測因子解釈が行われた。
生成AIによるソフトウェア工学プロセスと製品の拡張に関する研究ロードマップ [cs.SE, cs.AI, cs.ET, cs.LG, cs.MA]目的:生成AIを活用したソフトウェア工学の拡張に関するロードマップ
- ソフトウェア工学は,現代社会における基盤技術であり,その発展は社会全体の効率化と革新に不可欠である。
- 生成AIの急速な進歩はソフトウェア工学に大きな変化をもたらす一方,その影響範囲と具体的な応用方法が明確になっていない。
- 生成AIがソフトウェア工学に与える影響を体系的に分析し,将来の研究方向性を示すことで,この分野の発展を促進する。
- 本研究では,生成AIがソフトウェア工学プロセスと製品を拡張する4つの基本的な形態を特定し,それぞれの研究課題と機会を体系的に整理した。
- FSE 2025ワークショップの議論,文献調査,専門家からのフィードバックを統合する反復的なプロセスを通じて,透明性と再現性の高いロードマップを構築した。
- その結果,2030年のソフトウェア工学に関する10個の予測を提示し,この急速に進化する分野における将来の研究を方向付ける基盤を提供した。
思考の連鎖の乗っ取り [cs.AI]目的:大規模言語モデルにおける安全性脆弱性の実証
- 大規模言語モデルの利用拡大に伴い,安全性確保が重要課題となっている。
- 大規模言語モデルは,有害な応答を抑制する機構を持つものの,それを回避する攻撃が存在する。
- 思考の連鎖を利用した攻撃によって,言語モデルの安全性をどのように弱体化できるかを解明する。
- 思考の連鎖の乗っ取り攻撃は,Gemini 2.5 Pro等で高い成功率(94-100%)を示した。
- 活性化プロービング等により,推論の進行とともに安全性信号が希釈されることが明らかになった。
- 思考の連鎖は,回答を誘導する手がかりと組み合わされることで,体系的な脆弱性をもたらす。
真実の層:継続的事前学習ポイズニング下における信念の変化の探求 [cs.LG, cs.CR]目的:大規模言語モデルにおける信念の変化
- 言語モデルの信頼性は重要であり,誤った情報への脆弱性を理解する必要がある。
- 継続的な学習環境下でのポイズニング攻撃に対する脆弱性が未解明である。
- 継続的学習における誤情報の侵入と,それに伴う事実認識の歪みを明らかにすること。
- 継続的な事前学習において,わずかな量の誤情報が事実認識を覆すことが示された。
- 信念の変化は,モデルの後半層に集中し,部分的ではあるが修正可能である。
- 誤った信念は,常識推論に悪影響を及ぼすが,言語間の転移は不完全である。
ハイパーパラメータ最適化のためのベイズ最適化における動的事前分布 [cs.LG]目的:ハイパーパラメータ最適化における動的な事前分布の活用
- 機械学習モデルの性能はハイパーパラメータに大きく依存するため,効率的な最適化が重要である。
- 既存手法では,初期設定以降に専門家の知見を反映させることが難しく,最適化の柔軟性に欠ける。
- 最適化過程で継続的にユーザの知識を組み込み,より信頼性の高い最適化を実現すること。
- 提案手法DynaBOは,最適化過程でユーザが事前分布を継続的に制御することを可能にする。
- DynaBOは,事前分布を減衰させながら獲得関数に組み込むことで,漸近的な収束性を維持しつつ,ユーザの知識を反映する。
- 様々なハイパーパラメータ最適化ベンチマークにおいて,DynaBOは最先端の競合手法を常に上回る性能を示した。
DecoHD:極小メモリ下での分解型ハイパーディメンショナル分類 [cs.LG]目的:極小メモリ環境下におけるハイパーディメンショナル計算の効率的な分類手法
- ハイパーディメンショナル計算は,低消費電力かつ高速な処理が可能であり,エッジデバイス等への応用が期待される。
- 従来のハイパーディメンショナル計算の圧縮手法は,特徴軸の削減により,精度やロバスト性が低下しやすいという課題があった。
- 本研究では,学習済みのクラスプロトタイプを効率的に圧縮し,メモリ使用量を削減しつつ,精度を維持することを目指す。
- DecoHDは,層ごとに共通のチャンネル群を学習することで,限られたパラメータ数から大きな表現空間を実現する。
- 実験結果から,DecoHDは,メモリ使用量を大幅に削減しつつ,既存のハイパーディメンショナル計算と同等の精度を維持できることが示された。
- ハードウェア実装においては,CPU,GPU,ASICと比較して,それぞれエネルギー効率と処理速度の大幅な向上が確認された。
LogHD:対数的クラス軸削減による超次元分類器のロバスト圧縮 [cs.LG]目的:超次元計算におけるメモリ使用量削減手法
- メモリ,エネルギー,信頼性が制約されるシステムへの応用が期待される分野。
- 標準的な「1クラス1プロトタイプ」設計は,クラス数に応じてメモリ使用量が大きくなる。
- メモリ使用量を削減しつつ,ロバスト性を維持すること。
- LogHDは,クラス軸を対数的に削減することで,メモリ使用量を大幅に削減し,従来の方式と同等の精度を維持する。
- ビットフリップ耐性は,特徴軸圧縮と比較して約2.5~3.0倍向上する。
- ASIC実装では,AMD Ryzen 9 9950XやNVIDIA RTX 4090と比較して,エネルギー効率と処理速度が大幅に向上する。
DiScoFormer:Transformerを用いた密度とスコアの推定 [cs.ET, physics.app-ph, physics.optics, cs.LG]目的:密度とスコアの推定
- 生成モデル,ベイズ推論,動力学的理論において,確率密度とそのスコアの推定は重要な課題である。
- 既存手法は,次元の呪いに悩むカーネル密度推定と,再学習が必要なニューラルスコアモデルに二分されている。
- 様々な分布やサンプルサイズに対して汎用的に機能する密度とスコアの推定を目指す。
- DiScoFormerは,一度学習すれば任意の分布で利用可能な等方的なTransformerである。
- 自己注意機構は正規化されたKDEを回復可能であり,カーネル法の機能的な一般化であることが示された。
- 密度推定においてKDEよりも高速に収束し,高精度を達成。スコアバイアス除去KDE等への応用も可能である。
CrochetBench:ビジョン言語モデルはかぎ針編み分野において,記述から実行へ移行できるか? [cs.AI]目的:かぎ針編みにおける微細な手続き的推論を通じた,記述から実行への移行の評価
- マルチモーダル大規模言語モデルの応用範囲拡大と,実世界での創造的なタスクへの適用可能性。
- 視覚的コンテンツの説明能力はあるものの,実行可能な手順を生成する能力が未開拓である点。
- マルチモーダルモデルにおける手続き的コンピタンスを評価するための新しいベンチマークの提供。
- CrochetBenchベンチマークは,かぎ針編みのタスクを通じて,モデルのstitches認識,適切な指示の選択,そして実行可能な手順の生成を評価する。
- 評価が表層的な類似性から実行可能な正確性へと移行するにつれて,性能が大幅に低下し,長距離の記号的推論と3D認識に基づく手続き的合成の限界が明らかになった。
- 本研究は,現実世界の創造的な領域における,表層的な理解と実行可能な正確さとの間のギャップを浮き彫りにする。
Moirai 2.0:時系列予測における,少ない要素でより良い結果 [cs.LG]目的:時系列予測のための基盤モデルの開発
- 時系列データは,経済,気象,医療など,様々な分野で重要な役割を担う。
- 既存の時系列予測モデルは,計算コストが高く,モデルサイズが大きいという課題があった。
- 本研究では,より効率的で小型な時系列予測モデルの開発を目指す。
- Moirai 2.0は,Gift-Evalベンチマークにおいて,既存の事前学習済みモデルと同等の性能を示す。
- Moirai 2.0は,Moirai 1.0と比較して,推論速度が2倍,モデルサイズが30分の1に削減され,性能も向上した。
- モデルのパラメータ数増加による性能向上には限界があり,予測期間が長くなると性能が低下することから,今後のデータ拡張と長期間予測への対応が課題である。
生成推薦のための犠牲なし超高速デコードアーキテクチャNEZHA [cs.MA, cs.MA, cs.AI, cs.LG]目的:生成推薦システムの高速化
- 推薦システムは,ビジネスにおける重要な要素であり,ユーザー体験を向上させるために不可欠である。
- 大規模言語モデルを用いた生成推薦は,高い推論遅延を抱え,リアルタイムサービスへの適用が困難である。
- 推論遅延を抑制しつつ,推薦品質を維持する効率的なデコードアーキテクチャを開発すること。
- NEZHAは,主要モデルに自己ドラフトヘッドを統合することで,追加のモデル訓練や遅延増加を伴わずに高速デコードを実現した。
- ハッシュセットに基づくモデルフリー検証器を導入し,生成時のハルシネーション問題を効果的に抑制した。
- 公開データセットでの実験と,淘宝での実運用により,その有効性と高い収益貢献が確認された。
音速で進む:高乱流遷音速領域におけるニューラル代替モデルの活用 [cs.CE, cs.AI, cs.LG]目的:遷音速領域における3次元翼の空力特性を予測するためのデータセットとニューラル代替モデルの評価
- 自動車空力で進展したニューラル代替モデルを航空宇宙分野へ応用し,設計の効率化が期待される。
- 既存の航空宇宙データセットは2次元翼型に偏っており,3次元効果を考慮したデータが不足している。
- 3次元翼の遷音速流れに関するデータセットを提供し,より現実的な空力設計を可能にする。
- 新しい3次元翼の遷音速流れのCFDシミュレーションデータセットを構築し,約3万サンプルを提供した。
- AB-UPTは,未知の形状に対しても物理的に整合性のある揚力・抗力特性を再現できることが示された。
- AB-UPTは,効率的な空力設計探索ツールとしての可能性を示し,データセットを公開した。
協調進化エージェント:困難な負例としての失敗からの学習 [cs.AI]目的:失敗事例を困難な負例として活用する,協調進化エージェントの枠組み
- 大規模基盤モデルの進展により,多様な領域でタスク特化型エージェントの開発が加速している。
- タスク固有のデータセットの作成はコストがかかり,現実世界での実行可能性が低い場合がある。
- 限られた正解データでの過学習を防ぎ,エージェントの汎化性能を高めることを目指す。
- 提案手法は,ターゲットエージェントと補助的な失敗エージェントを協調的に進化させる。
- 失敗エージェントは,自身とターゲットエージェントの失敗事例から困難な負例を生成し,ターゲットエージェントの学習に活用する。
- 実験結果から,本手法が性能向上を示すとともに,失敗事例を構造化された学習信号に変換できることが示された。
多項式ニューラル層拡散:セル層におけるスペクトルフィルタリングアプローチ [cs.LG, cs.AI, cs.ET, stat.ML]目的:セル層上のスペクトルフィルタリングによる層拡散手法の開発
- グラフ構造データ解析において,ノード間の関係性を考慮した学習は重要であり,近年注目されている。
- 従来の層拡散実装は,計算コストが高く,大規模なデータセットへの適用が困難であるという課題があった。
- 本研究は,計算効率を向上させ,大規模データセットにも適用可能な新しい層拡散手法を提案する。
- 提案手法PolyNSDは,層ラプラシアンのK次多項式を用いて層拡散を行うことで,効率的な計算を可能にした。
- PolyNSDは,同種および異種グラフの両方において,最先端の結果を達成し,大規模な層次元からの性能への依存を解消した。
- 本手法は,計算時間とメモリ使用量を削減し,安定性を確保することにより,既存手法の課題を克服した。
反事実的推論によるうつ病検出におけるジェンダーバイアスの軽減 [cs.LG, cs.AI, cs.CY]目的:うつ病検出におけるジェンダーバイアスの軽減
- メンタルヘルスケアの向上には,正確な診断が不可欠である。
- 既存のうつ病検出モデルは,データ不均衡によりジェンダーバイアスを抱えている。
- ジェンダーバイアスを取り除き,より公平な診断精度を目指す。
- 提案手法は,因果推論に基づき,ジェンダーバイアスを直接的に除去する。
- 実験結果から,既存手法と比較して,ジェンダーバイアスを大幅に軽減し,全体的な検出性能を向上させることを確認した。
- 反事実的推論によって,音声特徴からジェンダーの影響を取り除くことができた。
実運用におけるエージェントの計測 [cs.CY, cs.AI, cs.LG, cs.SE]目的:実運用エージェントの成功要因となる技術手法の解明
- LLMベースのエージェントは様々な産業で実用化が進んでおり,その技術的基盤の理解が不可欠である。
- 実運用エージェントの導入成功要因に関する体系的な研究が不足している。
- 実運用エージェントの現状を把握し,今後の研究開発の方向性を示す。
- 実運用エージェントは,多くの場合,人間介入前のステップ数が10回以下と,シンプルな制御可能な手法で構築されている。
- オフザシェルフモデルへのプロンプティングに依存する割合が70%と高く,ファインチューニングは少数である。
- 信頼性(時間経過に伴う一貫した正確な動作)が最大の課題であり,システムレベルでの設計によって対処されている。
自然言語Actor-Critic:言語空間におけるスケーラブルなオフポリシー学習 [cs.LG, cs.CL]目的:言語モデルエージェントの学習方法
- 複雑なタスク自動化において,ツール利用やウェブブラウジング,対話などを行う言語モデルエージェントの重要性が高まっている。
- 長期的なタスクと希薄な報酬設定下では,軌跡レベルの報酬による学習が不安定になりやすく,サンプル効率が低いという課題がある。
- 自然言語空間における探索が困難な問題を,より効率的かつ安定的に解決することを目指す。
- 提案手法NLACは,自然言語で批判を行う生成LLMクリティックを用いて,LLMポリシーを学習するActor-Criticアルゴリズムである。
- NLACは,従来のオンポリシー手法と比較して,よりデータ効率が高く,安定した学習が可能となる。
- 推論,ウェブブラウジング,ツール利用を含む多様なタスクにおいて,既存手法を上回る性能を示すことが示された。
大規模言語モデルによる知識グラフ推論:ハイパー次元パス検索によるエンコーダフリーアプローチ [cs.LG, cs.CL]目的:知識グラフに基づく質問応答における効率性と透明性の向上
- 知識グラフは,質問応答システムにおいて重要な役割を果たし,より高度な推論を可能とする。
- 従来の知識グラフベースの質問応答システムは,効率性と解釈可能性に課題を抱えている。
- ハイパー次元計算と大規模言語モデルを組み合わせ,効率的で解釈可能な推論を実現する。
- PathHDは,エンコーダを使用せずに知識グラフのパスを表現し,ハイパー次元計算により候補パスを効率的に検索する。
- WebQSP,CWQ,GrailQAの評価において,PathHDは既存のニューラルベースラインと同等またはそれ以上の性能を,1回のLLM呼び出しで達成した。
- PathHDは,エンドツーエンドのレイテンシを40-60%削減し,GPUメモリ使用量を3-5倍削減することに成功した。
AI TAを欺く方法:LLMコード評価におけるアカデミック・ジェイルブレイクの体系的研究 [cs.CE, cs.SE, cs.AI]目的:LLMコード評価におけるアカデミック・ジェイルブレイクの脆弱性とその影響の評価
- 教育現場でLLMによる自動採点が普及しつつあり,その信頼性確保が重要である。
- 学生がLLMを欺くための巧妙なプロンプト戦略を用いる可能性があり,公平な評価が損なわれる恐れがある。
- アカデミック・ジェイルブレイクの手法を明らかにし,LLMベースの評価システムの堅牢性を高める。
- 20以上のジェイルブレイク戦略をアカデミックな文脈に適用し,新しい攻撃クラス「アカデミック・ジェイルブレイク」を定義した。
- 25K件の悪意のある学生の提出データセットを構築し,多様な課題と評価基準に対応した。
- 6つのLLMに対し,ジェイルブレイク攻撃を評価した結果,特に説得的・ロールプレイに基づく攻撃に対して高い脆弱性が確認された(JSR最大97%)。
マイクログリッドの確率的予測と堅牢な運用に関する意思決定志向型エンドツーエンドアプローチ [eess.SY, cs.LG, cs.SY]目的:マイクログリッドの確率的予測と堅牢な運用を共同最適化する意思決定志向型フレームワーク
- 再生可能エネルギーの導入拡大により,電力系統の安定運用と経済的効率が重要になっている。
- 再生可能エネルギーの出力変動が大きく,マイクログリッドの運用計画に不確実性をもたらす。
- この研究は,予測精度と運用目標を一致させ,より堅牢で経済的なマイクログリッド運用を実現することを目指す。
- 提案手法は,従来の予測・最適化手法と比較して,予測精度と運用性能を向上させる。
- IEEE 33系統および69系統を用いたケーススタディにより,総運用コストとネット運用コストが最大18%削減されることが示された。
- 本研究の結果は,不確実性の下でのマイクログリッド管理における,エンドツーエンドの意思決定志向型アプローチの有効性と拡張性を示す。
深層演算ネットワークを用いた炭素/エポキシ複合材のプロセス誘発変形の確率的予測 [cs.IR, cs.CE, cond-mat.mtrl-sci, cs.LG]目的:炭素/エポキシ複合材のプロセス誘発変形の予測
- 複合材の製造プロセスにおける品質管理は重要であり,変形の正確な予測が不可欠である。
- 熱膨張率の不一致や硬化収縮が変形を引き起こすが,その予測は困難である。
- 深層演算ネットワークを用いて,変形を効率的に予測し,製造プロセスの最適化を目指す。
- 物理ベースのモデルと高精度シミュレーション,実験データを組み合わせたデータ駆動型アプローチを確立した。
- FiLM DeepONetを用いることで,硬化度,粘度,変形の時間変化を予測可能となった。
- 実験データが限られている状況下でも,転移学習とアンサンブルカルマン逆問題により,不確実性を定量化し,最適化を支援できる。
HE染色標本画像を用いたリンパ腫サブタイプ分類のためのマルチインスタンス学習モデルの多施設ベンチマーク [cs.CV, cs.AI]目的:リンパ腫サブタイプの分類
- リンパ腫の正確な診断は,適切な癌治療の指針となるため重要である。
- リンパ腫サブタイプの分類には専門的な知識と高価な設備が必要であり,診断の遅れが生じやすい。
- HE染色標本画像から診断情報を抽出し,迅速かつ正確なリンパ腫診断を支援すること。
- 複数の施設からのデータを用いたベンチマークデータセットを構築し,5つの既存の病理モデルを評価した。
- 全てのモデルで,マルチクラスのバランス精度が全ての倍率で80%を超えた。
- 未知のデータセットでは性能が60%程度に低下し,汎化性能の課題が示された。
ハルシネーションの統一的定義:結局は世界モデルの問題だ! [cs.CL, cs.AI, cs.LG, stat.ML]目的:ハルシネーションの統一的定義
- 大規模言語モデルの性能向上に伴い,その信頼性が重要視されている。
- 言語モデルが生成するハルシネーションは依然として解決困難な課題である。
- ハルシネーションを世界モデルの不正確さとして捉え,評価基準を明確化すること。
- 既存のハルシネーションの定義を統合し,世界モデルの不正確さが根底にあると主張した。
- 参照する世界モデルと矛盾解決策を変えることで,既存の定義を統一できることを示した。
- この定義に基づき,世界モデルを評価するためのベンチマークの開発を提案した。
スパイクニューラルネットワークの敵対的頑健性の信頼性のある評価に向けて [cs.LG, cs.AI]目的:スパイクニューラルネットワークの敵対的頑健性の評価フレームワーク
- 脳の情報処理を模倣するスパイクニューラルネットワークは,省エネルギー性が期待されている。
- スパイク活性の二値性と不連続性により,勾配消失が発生し,敵対的頑健性の評価が困難である。
- より正確な勾配を推定し,スパイクニューラルネットワークの敵対的頑健性を信頼性高く評価すること。
- 勾配消失の度合いを理論的に解析し,入力分布に応じて代理勾配関数を適応的に変化させるAdaptive Sharpness Surrogate Gradient (ASSG)を提案した。
- L∞制約下でステップサイズを適応的に調整するStable Adaptive Projected Gradient Descent (SA-PGD)という敵対的攻撃を設計し,収束を高速化・安定化させた。
- 多様な学習方法,ネットワーク構造,ニューロンモデルにおいて,攻撃成功率が大幅に向上し,現在のスパイクニューラルネットワークの頑健性が過大評価されていることが示された。
リヤプノフ証明書を用いた多段階アクター・クリティック学習による指数的安定化制御 [cs.LG, cs.AI, cs.RO, cs.SY, eess.SY]目的:指数的安定性を保証する制御手法の開発
- 安全性が重要な応用において,強化学習の安定性保証と探索効率の両立が課題である。
- 既存手法は複雑な報酬設計や単段階の制約に依存し,効率的な学習が困難である。
- 直感的な報酬と多段階データを用いて,安定性と学習効率を両立することを目指す。
- 提案手法MSACLは,指数的安定性を最大エントロピー強化学習に統合する。
- 実験の結果,MSACLは標準的な強化学習手法や既存のリヤプノフに基づく手法を上回る性能を示した。
- 環境の不確実性に対する頑健性や,未知の参照信号への汎化能力も高いことが示された。
Q正則化生成型自動入札:劣次経路から最適戦略へ [cs.LG, cs.AI, cs.IR]目的:広告入札戦略の最適化
- Eコマースの発展に伴い,広告効果最大化のための自動入札が重要性を増している。
- 既存手法は複雑な構造と高コストなハイパーパラメータ調整に依存し,劣次経路の影響も課題である。
- 劣次経路の影響を軽減し,データ分布外の探索を安全に行う戦略を提案する。
- QGAは,Q値正則化と二重Q学習を決定変換器(DT)に組み込むことで,戦略模倣と行動価値最大化を同時に最適化する。
- Q値に基づくデュアル探索メカニズムにより,データ分布外の探索を安全に行い,候補行動の評価を可能にする。
- パブリックベンチマークとシミュレーション環境で,既存手法と比較して優れた成果を示し,実証実験でAd GMVが3.27%向上,Ad ROIが2.49%改善した。
レジスタに基づく運転 [cs.CV, cs.AI, cs.RO]目的:エンドツーエンドの自律運転のためのtransformerベースのアーキテクチャ
- 自動運転技術は,交通渋滞の緩和や交通事故の削減に貢献し,社会に大きな変革をもたらすと期待されている。
- 既存の自律運転システムは,計算コストが高く,リアルタイム処理が困難な場合がある。
- 本研究は,効率的なシーン表現を可能にすることで,計算コストを削減し,リアルタイムな自律運転を実現する。
- DrivoRは,事前学習済みのVision Transformerを活用し,カメラ情報を凝縮したレジスタトークンを用いることで,計算量を大幅に削減した。
- DrivoRは,安全性,快適性,効率性といった解釈可能なサブスコアに基づき,行動に合わせた運転を可能にした。
- NAVSIMやHUGSIMなどのベンチマークテストにおいて,DrivoRは既存の高性能なシステムと同等またはそれ以上の性能を示した。
GlimpRouter:思考の一番最初のトークンを垣間見るによる効率的な協調推論 [cs.AI]目的:大規模推論モデルにおける効率的な協調推論手法
- 大規模言語モデルの性能向上に伴い,複雑な推論処理の高速化が重要視されている。
- 推論過程における各ステップの難易度を判断し,適切なモデル選択が課題となっている。
- 思考の初期段階からステップの難易度を予測し,効率的なモデル割り当てを実現すること。
- GlimpRouterは,各ステップの最初のトークンのエントロピーを指標に,大規模モデルと軽量モデルの協調推論を行う。
- 本手法は,訓練を必要とせず,推論遅延を大幅に削減しつつ,高い精度を維持できる。
- AIME25ベンチマークにおいて,単独の大規模モデルと比較して,精度が10.7%向上し,推論遅延が25.9%削減された。
自己回帰ランキング:二重エンコーダと交差エンコーダのギャップを埋める [cs.IR, cs.AI, cs.LG]目的:二重エンコーダと交差エンコーダの表現力のギャップを埋める自己回帰ランキングの理論的基盤の確立
- 大規模言語モデルの発展に伴い,検索とランキングにおいて生成アプローチの重要性が増している。
- 既存の二重エンコーダや交差エンコーダには,表現力や計算コストの面で課題があった。
- 自己回帰ランキングの理論的な優位性を証明し,ランキングタスクに適した損失関数を開発すること。
- 自己回帰ランキングは,二重エンコーダと比較して表現力が厳密に優れていることが証明された。
- 提案手法であるSToICaLは,ランキングに特化した損失関数として有効であり,無効なdocID生成を抑制する。
- WordNetおよびESCIデータセットでの実験により,ランキング指標が大幅に改善されたことが確認された。
AWaRe-SAC:気象による容量不確実性下でのプロアクティブなスライス承認制御 [cs.NI, cs.LG]目的:気象変動による容量不確実性下におけるスライス承認制御のためのフレームワーク
- 無線バックホール輸送において,ミリ波リンクの利用が増加しており,サービス需要の拡大に対応が重要である。
- ミリ波リンクは気象条件に弱く,容量の不確実性がQoSに重大な影響を与えるという課題がある。
- QoS要件を持つスライスに対し,容量不確実性を考慮した最適な承認制御を実現し,収益最大化とQoS違反抑制を目指す。
- 提案手法は,過去のリンク測定値を用いた短期的な減衰予測と不確実性の定量化を統合している。
- シミュレーション結果から,提案手法はベースラインアルゴリズムと比較して収益が250%大きく,最先端アルゴリズムよりも75%大きいことが示された。
- 提案手法は,予測と不確実性を考慮することで,収益の最大化とQoS違反ペナルティの最小化を両立できる。
機械からの学習心理:教育における擬人化AIと自動化のパラドックス [cs.CY, cs.AI]目的:機械からの学習における学習者の心理的関係性の理解
- 教育現場におけるAI利用拡大に伴い,学習効果や心理的影響の理解が急務となっている。
- AIの自動化に対する過信・過小評価,感情移入による学習阻害などの問題が存在する。
- AIチューターとの学習における信頼形成と適切な利用方法を明らかにすること。
- 学習者はAIチューターに対して,専門知識レベルによって過信または過小評価を示す傾向があることが明らかになった。
- AIの擬人化は学習意欲を高める一方で,学習の本質から注意をそらす可能性が示唆された。
- 工学教育においては,基礎学習にAIを活用し,倫理や判断力を育む分野では人間の指導が不可欠である。
TurkBench:トルコ語大規模言語モデル評価のためのベンチマーク [cs.CL, cs.AI]目的:トルコ語大規模言語モデルの能力評価
- 大規模言語モデルの発展に伴い,言語固有の評価基準の必要性が高まっている。
- 英語以外の言語,特にトルコ語のような独特な言語特性を持つ言語のベンチマーク整備が遅れている。
- トルコ語における大規模言語モデルの性能を客観的に評価できる基準を提供する。
- TurkBenchは,知識,言語理解,推論など6つのカテゴリー,21のサブタスクを含む包括的なベンチマークである。
- 8,151件のデータサンプルを用いて,トルコ語の文法や語彙,指示への追従性なども評価可能である。
- 本ベンチマークは,研究者や開発者がモデルの改善点を見つけるための貴重なツールとなる。
ポリシー最適化における過程報酬と結果報酬の整合 [cs.LG, cs.AI]目的:大規模言語モデルのポリシー最適化における報酬整合手法
- 複雑な推論タスクにおいて,言語モデルの性能向上は重要であり,効果的な報酬設計が鍵となる。
- 従来の報酬設定では,中間段階の推論に対する適切な評価が難しく,学習の停滞を招く場合がある。
- 過程報酬と結果報酬を効果的に組み合わせ,より詳細な報酬帰属を実現し,推論能力を向上させる。
- PRPOは,過程報酬モデル(PRM)と結果報酬を統合し,トークンレベルでより適切な学習信号を提供する。
- PRPOは,MATH500データセットにおいて,Qwen2.5-Math-1.5Bの正解率をGRPOと比較して61.2%から64.4%に向上させた。
- わずか8回のロールアウトと価値ネットワークなしで,効率的な微調整と詳細な報酬帰属が可能であることを示した。
KVzap:高速,適応的,忠実なKVキャッシュプルーニング [cs.LG, cs.AI, cs.CL]目的:KVキャッシュプルーニング手法の高速化と精度維持
- Transformerモデルの文脈長増加に伴い,KVキャッシュが推論のボトルネックとなっている。
- 既存のKVキャッシュプルーニング手法は,速度と精度のトレードオフがあり,実用化が進んでいない。
- KVzapは,速度を損なわずにKVキャッシュを効率的に圧縮し,推論性能を向上させることを目指す。
- KVzapは,Qwen3-8B,Llama-3.1-8B-Instruct,Qwen3-32Bにおいて,KVキャッシュを2~4倍に圧縮することに成功した。
- 圧縮率が高くても,精度低下は無視できるレベルに抑えられている。
- KVpressリーダーボードにおいて,最先端の性能を達成した。
TP-Blend:拡散モデルにおける精密なオブジェクトスタイル混合のためのテキストプロンプト注意ペアリング [cs.CV, cs.AI, cs.LG, cs.MM]目的:拡散モデルにおけるオブジェクトとスタイルの同時導入による精密な画像編集手法
- 画像生成AIは,テキスト指示に基づき多様な画像を生成できるため,クリエイティブ産業等への応用が期待されている。
- 既存の画像編集手法では,オブジェクトとスタイルを同時に変更する場合,品質の低下や制御の難しさといった課題がある。
- 本研究では,オブジェクトとスタイルを同時に精密に制御可能な新たな画像編集手法を提案し,その有効性を検証する。
- 提案手法TP-Blendは,オブジェクトとスタイルをそれぞれ指定する2つのテキストプロンプトを利用し,高品質な画像編集を実現した。
- クロスアテンションオブジェクトフュージョン(CAOF)とセルフアテンションスタイルフュージョン(SASF)という2つの注意機構により,詳細な制御と高速な推論を両立した。
- 定量評価および知覚評価の結果,TP-Blendは既存手法と比較して,より高い品質と精度の編集が可能であることが示された。
古典的強化学習から量子強化学習へ:量子制御への応用 初心者向けチュートリアル [cs.RO, cs.AI, quant-ph]目的:強化学習の基礎知識と実践的なコーディングスキルの習得
- 強化学習は,自律的な意思決定を行うシステム開発に不可欠な技術である。
- 学生は,理論と実装のギャップに苦しみ,実践的な応用が難しい場合がある。
- 強化学習の概念理解から実装へとスムーズに移行できる能力の育成。
- 本チュートリアルは,強化学習を学部生にとってより理解しやすいものにすることを目的としている。
- 明確な例と実践的なコーディングを通して,理論と実践の橋渡しを行う。
- 学生が現実世界で強化学習技術を自信を持って応用できるよう支援する。
PluriHarms:AIの有害性に関する人間による判断の全スペクトルを評価するベンチマーク [cs.CY, cs.AI, cs.CL]目的:AIの有害性に関する人間による判断の体系的な研究
- AIの安全性確保は,社会への導入拡大に伴い重要性が増している。
- 従来のAI安全フレームワークは二値的な判断に偏り,判断の多様性を捉えきれていない。
- AIの安全性において,価値観の多様性と意見の不一致を考慮した評価手法を確立する。
- 人間の有害性判断は,有害性の度合いと意見の一致度という2つの軸で評価されることが示された。
- 差し迫ったリスクや具体的な害に関わるプロンプトは,有害性を増大させることが明らかになった。
- アノテーターの属性(有害性経験,学歴等)とプロンプト内容の相互作用が,意見の不一致を説明する要因となる。
対照的幾何学習による統合構造・リガンドベース創薬の実現 [cs.CL, cs.LG, stat.ML]目的:構造ベースおよびリガンドベース創薬の統合的学習モデル
- 創薬において,タンパク質構造とリガンド情報の活用が不可欠であり,効率的な手法が求められている。
- 従来の構造ベースとリガンドベースのアプローチはデータと仮定が異なり,統合的な利用が困難であった。
- 構造とリガンド情報を統一的に学習し,創薬タスクの性能向上を目指す。
- ConGLUDeは,タンパク質の幾何学的エンコーダとリガンドエンコーダを組み合わせ,pre-definedなポケットの必要性を解消した。
- ConGLUDeは,ゼロショットバーチャルスクリーニング性能で競合他法と同等以上であり,ターゲットフィッシングにおいて大幅な性能向上を示した。
- リガンド条件付きポケット選択において最先端の結果を達成し,統合的学習の利点を実証した。
バウンド付き双曲線正接関数:大規模言語モデルにおける事前レイヤー正規化の安定かつ効率的な代替案 [cs.CL, cs.AI]目的:大規模言語モデルにおける安定性と効率性の向上
- 大規模言語モデルの発展は,自然言語処理の性能向上に不可欠であり,その安定性と効率性が重要課題である。
- 事前レイヤー正規化は広く利用されているが,計算コストが高く,層が深くなるほど訓練が不安定になるという課題がある。
- 本研究は,事前レイヤー正規化の代替として,安定性と効率性を両立する新しい手法を提案し,その有効性を示すことを目指す。
- 提案手法BHyTは,訓練速度を平均15.8%向上させ,トークン生成のスループットを平均4.2%向上させることに成功した。
- BHyTは,既存手法と同等またはそれ以上の推論性能とロバスト性を,言語理解および推論ベンチマークにおいて示した。
- BHyTは,活性化関数の飽和を抑制し,層の深さによる活性化値の増大と分散の拡大を防ぐことで安定性を保証する。
サンプルに近い最適アグノスティックブースティング:改善された実行時間 [cs.LG]目的:アグノスティックブースティングにおけるサンプル複雑度と実行時間
- 機械学習において,弱い学習器から強力な学習器を生成するブースティングは重要な手法である。
- アグノスティックブースティングのサンプル複雑度の理論解明は近年のことであり,効率的なアルゴリズムは未開発である。
- サンプル複雑度を維持しつつ,指数時間だった実行時間を多項式時間に改善することを目指す。
- 本研究では,サンプル複雑度が最適に近いアグノスティックブースティングアルゴリズムを提案した。
- 提案アルゴリズムは,他のパラメータを固定した場合,サンプルサイズに関して多項式時間で実行される。
- これにより,実用的なアグノスティックブースティングの可能性が広がることが期待される。
分布の混合が重要である:効率的なビデオ拡散Transformerのための動的疎注意 [cs.CV, cs.LG]目的:ビデオ生成における計算効率の向上
- ビデオ生成の分野は急速に発展しているが,計算資源の制約が課題となっている。
- 従来の自己注意機構は計算量が膨大であり,長尺ビデオの生成を困難にしている。
- 動的疎注意により,計算量を削減しつつ,生成品質を維持することを目的とする。
- 本研究では,Mixture-of-Distribution DiT (MOD-DiT)という新しいフレームワークを提案した。
- MOD-DiTは,サンプリングを必要とせず,注意パターンを正確にモデル化することで,計算効率を向上させる。
- 実験結果から,MOD-DiTは既存手法と比較して,速度と品質の両面で優れていることが示された。
MemeLens:ミーム理解のための多言語マルチタスクVLM [cs.AI, cs.CL]目的:ミーム理解のための統一的な多言語マルチタスク説明付きビジョン言語モデル
- ミームはオンラインコミュニケーションの主要な手段であり,社会への影響が大きい。
- 既存の研究はタスクや言語が分散しており,汎化性能が低い。
- 複数のタスクと言語に対応するミーム理解モデルの開発を目指す。
- MemeLensは38のミームデータセットを統合し,20のタスクに分類した。
- マルチモーダル学習が堅牢なミーム理解に必要であることが示された。
- 単一データセットでのファインチューニングは過剰適合を引き起こす可能性がある。
埋め込み空間の再マッピングとナビゲーション:自然および人工システムにおける認知の基本的な組織原理 [cs.AI]目的:埋め込み空間の再マッピングとナビゲーションを通じた認知の基本的な組織原理の解明
- 多様な知能の研究は,様々なシステムにおける問題解決の統合的視点を求める。
- 既存の手法では,異なるシステム間における認知の普遍的な原理が不明確である。
- 埋め込み空間の再マッピングとナビゲーションという二つの不変量を認知の基盤原理として提示する。
- 生物学的システムとAIシステムの両方において,埋め込み空間の再マッピングとナビゲーションが観察される。
- 反復的なエラー最小化を通じて,これらのシステムは適応的な行動を示す。
- この共通メカニズムの認識は,生物システムと人工モデル間の深い類似性を明らかにし,多様なスケールでの適応知能の設計に貢献する。
