arXiv論文メモ
新着一覧
math.OC · 査読状況未確認

非凸有限和最適化の高階計算量の上下限

Matching Upper and Lower Bounds for Higher-Order Nonconvex Finite-Sum Optimization

Wendao Wu, Haihan Zhang, Chenheng Zhang, Yanyi Li, Chunyuan Zheng, Cong Fang, Haoxuan Li, Zhouchen Lin

この論文をやさしく読む

ひとことで言うと

非凸有限和の勾配が小さい点を探す際、成分の高階情報を何回問い合わせる必要があるかを厳密に定めた。

何に役立つ?

高階情報を使う最適化手法の必要な問い合わせ回数を評価する理論的な基準になる。

この研究の面白いところ

適応的なランダム化手法にも通用する下限を示し、既知の上限との n に関する隔たりを解消した。

どこまで分かった?

評価対象は指定した高階オラクルへの問い合わせ回数であり、内部計算時間や実装時の実行速度の保証ではない。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

非凸な有限和の一次停留点を見つけるための、ランダム化された高階オラクルの計算量について、一致する上下限を示す。成分数を n、初期の目的関数値の差の上限を Δ>0、各成分の p 階導関数のリプシッツ定数の上限を L_p>0、目標とする勾配ノルムを ε>0 とする。任意の固定した整数 p≥2 について、関数値と p 階までの全導関数を返す成分への正確な問い合わせ回数のミニマックス値は、成功確率が少なくとも2/3のとき、Θ_p(n + Δ L_p^(1/p) n^(1−1/(2p)) ε^(−(p+1)/p)) である。定数は p のみに依存し、最悪の場合は任意の有限次元にわたる。この下限は、制限のないランダム化適応的アルゴリズムにも成り立ち、従来の一般次数の上下限にあった n への依存の √n の隔たりを埋める。密な弱い隠蔽の手法を高階までの完全な応答へ拡張し、各成分の正則性を連鎖の長さに依存させない。一致する上限では既知の有限和に関する指数を保ち、必要なのは p 階導関数の増分の平均二乗条件だけである。また、再帰的推定の各エポック全体を正確な関数値で検証することで、固定した信頼度に伴う対数因子の損失を取り除く。この特徴付けは、正のパラメータのどの範囲でも加法的な n 項を含み、内部計算には制限を設けずに問い合わせ回数を数える。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-23(UTC)
最新改訂
2026-09-23 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

We establish tight randomized higher-order oracle complexity for finding first-order stationary points of nonconvex finite sums. Let $n$ be the number of components, $\Delta>0$ the initial objective-gap bound, $L_p>0$ an individual $p$-th derivative Lipschitz bound, and $\epsilon>0$ the target gradient norm. For every fixed integer $p\ge 2$, the minimax number of exact component queries returning the value and all derivatives through order $p$, with success probability at least $2/3$, is \[ \Theta_p\!\left( n+\Delta L_p^{1/p}n^{1-1/(2p)} \epsilon^{-(p+1)/p} \right), \] where the constants depend only on $p$ and the worst case ranges over all finite dimensions. The lower bound holds for unrestricted randomized adaptive algorithms and closes the $\sqrt{n}$ gap between the previously known general-order upper and lower bounds in their dependence on $n$. We extend dense weak hiding to complete higher-order replies while keeping each component's regularity independent of the chain length. The matching upper bound retains the known finite-sum exponent, requires only mean-squared $p$-th derivative increments, and removes the fixed-confidence logarithmic loss by verifying entire recursive-estimation epochs with exact function values. The characterization includes the additive $n$ term for every positive parameter regime; it counts oracle calls with unrestricted internal computation.

arXiv ID: 2609.28202 / 要約の誤りについて