小規模言語モデルでも最適学習率とバッチサイズの法則は成り立つか
Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters
この論文をやさしく読む
ひとことで言うと
小さな言語モデルでは、既存の最適学習率とバッチサイズの式の形は使えても、係数をそのまま使うと学習率を高く見積もるという実験結果です。
何に役立つ？
単一GPUなどで小規模モデルを事前学習する際、学習率とバッチサイズを決める参考になります。ただし示された式はこの実験系列で再推定したものです。
この研究の面白いところ
元の法則では未検証だった5900万パラメータ未満を対象に、29通りの条件と935回の実行を集め、元の式の形と係数の妥当性を分けて調べています。
どこまで分かった？
実験は nanoGPT／TinyStories の単一系列、語彙数2048、AdamW、指定の学習率スケジュールに限られます。主要な再推定範囲は4≦D/N≦600で、他のデータセットや構成への一般化は要旨だけでは確認できません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
Step Law は、言語モデルの事前学習における最適な最大学習率 η* とバッチサイズ B* をべき乗則で表す。元の係数はパラメータ数5900万から10億のモデルで調整され、それ未満の領域は提案者によって実証されていなかった。この領域は、単一GPUでの学習、解釈可能性研究、教育実験、メモリや費用のため大きなモデルを使えない場合に重要である。本研究は、小規模言語モデルにも Step Law が適用できるかを検証する。元の係数がそのまま使える H1、べき乗則の形は保たれるが係数が変わる H2、最適値がこの領域ではべき乗則で表せない H3、という3つの結果を想定した。 すべての実験に、語彙数2048のBPE、AdamW、ウォームアップ後に余弦減衰するスケジュールを用いた単一の nanoGPT／TinyStories 系列を使用した。各（モデル規模 N、データ量 D）の組について、平滑化した学習損失の曲面 L(η, B) を対数・対数座標で局所的に二次近似し、最適値を取り出した。最終データには異なる29組の（N, D）と、解析に使える935回の実行が含まれる。主要な再推定には、4≦D/N≦600の範囲にある25組、815回の実行を使った。 全データをまとめた解析では H2 が支持され、関数の形は保たれるが係数は元の値と異なった。得られた式は η*(N, D)=0.0985 N^(-0.508) D^(0.238)（R²=0.834）、B*(D)=3.6×10^(-4) D^(0.931)（R²=0.950）である。B* が N に依存しないという Step Law の構造上の主張も再現された（p=0.87）。ただし、D に伴う B* の増加は元の研究の約2倍の急さだった。元の Step Law をそのまま適用すると最適学習率を系統的に過大評価し、その比 η_SL/η* の中央値は約4.0倍、範囲は2.4～6.6倍だった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Step Law gives power-law formulas for the optimal peak learning rate eta* and batch size B* when pre-training language models. It was calibrated on models between 59M and 1B parameters; the small-model regime N < 59M was never tested empirically by its authors. This regime matters for single-GPU training, interpretability research, educational experiments, and settings where larger models are infeasible on memory or cost grounds. We test whether Step Law transfers to small language models. We consider three outcomes: H1, the original coefficients work directly; H2, the power-law form holds but with different coefficients; and H3, a power law does not describe the optima in this regime. All experiments use a single nanoGPT/TinyStories pipeline with a 2048-token BPE vocabulary, AdamW, and a warmup-cosine schedule. The optimum for each (N, D) cell is extracted from the loss surface L(eta, B) via a local quadratic approximation in log-log coordinates over the smoothed training loss. The final dataset contains 29 unique (N, D) cells and 935 analysis-ready runs. The main refit uses 25 cells (815 runs) in the working range 4 <= D/N <= 600. On the pooled data we accept H2: the functional form is preserved, but the coefficients differ from the original. We obtain eta*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834) and B*(D) = 3.6 x 10^(-4) D^(0.931) (R^2 = 0.950). Step Law's structural claim that B* is independent of N is reproduced (p = 0.87), but the growth of B* with D is nearly twice as steep as in the original work. Direct transfer of Step Law systematically overestimates the optimal learning rate: the median ratio eta_SL / eta* is approximately 4.0x, with a range of 2.4x to 6.6x.
arXiv ID: 2609.27581 ／ 要約の誤りについて