arXiv論文メモ
新着一覧
math.NA / cs.NA / math.OC / math.PR / stat.ML · 査読状況未確認

三階ランジュバン動力学の大域収束を焼きなましで証明

Global Convergence of Third-Order Langevin Dynamics for Non-Convex Optimization via Simulated Annealing

Yingli Wang and Kelvin Shuangjian Zhang and Lingjiong Zhu

この論文をやさしく読む

ひとことで言うと

非凸最適化で三階ランジュバン法が大域最小値へ近づく条件と速度を理論的に示し、数値実験でも比較した。

何に役立つ?

焼きなまし型の最適化アルゴリズムのステップ幅や冷却速度を設計する指針になる。

この研究の面白いところ

散逸を補助変数から全状態へ伝えるエントロピーを構成し、二種類の離散化でも理論上の速度を保つと示した。

どこまで分かった?

収束証明には散逸性などの仮定が必要。数値比較で高かったのは点推定値であり、要旨では統計的な優位性を断定していない。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

固定した摩擦と減少するノイズを用いる焼きなまし法で、非凸最適化に対する三階ランジュバン動力学の大域収束を調べる。明示的な三ブロックの変形エントロピーを使い、ノイズを受ける補助変数から状態全体へ散逸を伝える。散逸性、正則性、低温での関数不等式を仮定すると、対数的に冷却することで、目的関数の値が障壁によって決まる運動学的な速度で、大域最小値へ確率収束する。力の厳密積分を使う方式と中点を使う三段階の離散化では、ステップ幅を多項式的に減らしても、物理時間でこの速度を保つ。三次の局所端点評価により、従来の凍結力を使う運動学的結果より緩い十分なステップ幅条件が得られる。一勾配のUBU積分法との比較では、その中心化された確率的局所誤差により、同じ強結合解析の下で、十分な反復回数の指数を小さくできることを示す。 理論を説明するため数値実験も行った。二重井戸の目的関数では、同じ計算時間または同じ勾配評価回数で比べたとき、三階ランジュバン法の終了時の成功率の点推定値はUBUより高かった。合成データを使う高次元の非凸ニューラルネットワーク目的関数では、それぞれ独立に調整したUBUと三階ランジュバン法の両方が過減衰ランジュバン法を上回り、三階法の点推定値が高かった。同じニューラルネットワーク目的関数を実データで評価しても、最良の解の領域に入る確率と急冷後のテスト精度で同じ点推定値の順序が見られた。数値コードと実験結果は公開されている。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-23(UTC)
最新改訂
2026-09-23 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

We study global convergence guarantees of third-order Langevin dynamics for non-convex optimization via simulated annealing with fixed friction and decreasing noise. An explicit three-block distorted entropy transfers dissipation from the noisy auxiliary variable to the full state. Under dissipativity, regularity, and low-temperature functional-inequality assumptions, logarithmic cooling drives the objective values to the global minimum in probability at the barrier-controlled kinetic rate. For the exact-force-integral and midpoint three-stage discretizations, polynomially decreasing steps preserve this rate on the physical time scale. The cubic local endpoint estimate gives a less restrictive sufficient step-size condition than the available frozen-force kinetic result. A comparison with the one-gradient UBU integrator shows how its centered stochastic local error leads, under the same strong-coupling analysis, to a smaller sufficient iteration exponent. Numerical experiments are conducted to illustrate our theory. For a double well objective, third-order Langevin terminal-success point estimates are higher than UBU at both a common horizon and an equal gradient budget. For a high-dimensional nonconvex neural-network objective using synthetic data, independently tuned UBU and third-order Langevin schemes both outperform overdamped Langevin dynamics; the third-order Langevin point estimate is higher. For the same neural-network objective on real data, we show the same point-estimate ordering for best-basin probability and post-quench test accuracy. Numerical code and associated experiment results are publicly available at https://github.com/gagawjbytw/simulated-annealing-third-order-langevin.

arXiv ID: 2609.28611 / 要約の誤りについて