大きな学習率で損失が安定するまでの時間を厳密に評価する
Tight Transition Time Bounds for Separable Logistic Regression at the Edge of Stability
この論文をやさしく読む
ひとことで言うと
大きな学習率で学習したとき、損失の振動が収まるまでの時間は常に一定とは限らないことを証明しています。
何に役立つ?
大きなステップサイズを使う勾配降下法の安定化を理論的に理解するために役立ちます。直接扱う対象は線形分離可能なデータのロジスティック回帰です。
この研究の面白いところ
2次元では一定に抑えられても、高次元では標本数と次元に応じたlog ηのべき乗で時間が増えます。上界だけでなく、それに達する難しい事例も示しています。
どこまで分かった?
固定した標本数、十分に小さいマージン、一定の大きなステップサイズという条件での最悪例の結果です。あらゆるデータで同じ時間がかかるという主張ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
線形分離可能なデータに対するロジスティック回帰を、大きな一定ステップサイズηの勾配降下法で学習する場合を研究する。このような力学では、損失が初めに振動し、その後、単調に減少する安定した段階へ移るという、安定性の境界に特有の現象が生じうる。既存研究は、η→∞のとき次元d=2でΘ(1)というタイトな境界を与え、任意の次元d≥2でもηに依存しない境界が成り立つと予想している。 本論文ではこの予想を反証する。固定した任意の標本数n≥2と十分に小さいマージンγに対して、最悪の場合の移行時間が、d≥2にわたり一様にΘ((log η)^{min{n−2,d−2}})となることを示す。タイトな境界の確立で重要な難点は、勾配に最も強く寄与する標本が反復中に何度も入れ替わりうることである。これに対処するため、次元と標本数に関する帰納法でその入れ替わりを制御し、得られた境界に一致する難しい事例を構成する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01(UTC)
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We study logistic regression on linearly separable data under gradient descent with a large constant stepsize $\eta$. Such dynamics may exhibit a characteristic Edge of Stability phenomenon, in which the loss initially oscillates before transitioning to a stable phase of monotone decrease. Existing work provides a tight $\Theta(1)$ bound in dimension $d=2$ as $\eta \to \infty$ and conjectures a bound independent of $\eta$ in arbitrary dimensions $d\geq 2$. In this paper, we disprove this conjecture by showing that, for every fixed sample size $n\geq 2$ and sufficiently small margin $\gamma$, the worst-case transition time is $$\Theta\!\left((\log\eta)^{\min\{n-2,d-2\}}\right)$$ uniformly over $d\geq2$. The key challenge in establishing a tight bound is that the sample contributing most strongly to the gradient can change repeatedly across iterations. To address this issue, we control such changes by induction on dimension and sample size, and construct matching hard instances.
arXiv ID: 2610.01459 / 要約の誤りについて