学習中にモデルを成長させるとスケーリングは変わるか
How Model Growth, Recursion, and Boundary Operators Influence Scaling Exponents
この論文をやさしく読む
ひとことで言うと
学習中に処理の深さを増やす設計が、計算量を増やしたときの性能の伸び方そのものを変えるかを調べています。
何に役立つ？
事前学習の計算予算に合わせて、モデルの深さやループ回数を設計する際の材料になります。約20倍の計算効率差は、要旨にあるCORE上の特定比較です。
この研究の面白いところ
単に同じ構造を大きくするのではなく、学習中の成長や境界演算子によってスケーリング指数を変える可能性を検討しています。
どこまで分かった？
GPT-3 13Bとの同等性はCOREという評価条件での結果です。別の評価や任意の規模でも20倍の利得があることを示しているわけではなく、要旨には全条件の詳細はありません。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
スケーリング則は、計算量の増加に伴って損失がどう減少するかを予測する。本研究では、従来の通念に反し、アーキテクチャへの介入が事前学習のスケーリング指数を変え、計算量の増加に伴う性能のべき乗則的改善をもたらし得ることを示す。出発点として、ループ型Transformerのアーキテクチャ定式化を考える。通常そのようには使われないが、再帰的深さとも呼ばれるループは、学習中にループ回数を増やすことでモデルを成長させる仕組みを提供する。重みを共有する場合も共有しない場合も、モデルの成長がスケーリング指数を最も大きく変える。 特に、74億パラメータのモデル成長型アーキテクチャは、約20分の1の計算量でCOREにおけるGPT-3 13Bと同等の性能を達成し、規模が大きくなるほど計算効率の利得が増す。さらに、標準のTransformerに、前のブロックを正規化して注入する境界演算子を加えるだけでも、程度は小さいが指数が増加する。データが限られ、複数エポックで学習する設定では、標準的なループが有用な正則化効果を持ち、規模に応じてループ回数を増やすことが計算量の観点で最適であることが分かった。これらの結果は計算上の深さから理解できる。一定の計算予算の下でTransformerの利用可能な深さを増やすことが、規模と共に増大する効率改善につながり得る。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-17 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Scaling laws predict how loss decreases with increases in computation. We show, contrary to conventional wisdom, that architectural interventions can modify scaling exponents in pre-training, leading to power-law improvements in performance as computation increases. As an anchoring point, we consider the architectural formulation of looped transformers. Although not typically used in this way, looping, also known as recursive depth, provides a mechanism for model growth, by increasing the number of loops during training. Model growth, with and without shared weights, provides the biggest changes to the scaling exponents. In particular, a 7.4B model growth architecture matches GPT-3 13B on CORE with roughly $20\times$ less compute, and has compute efficiency gains that increase with scale. Moreover, simply using a boundary operator in a vanilla transformer, which normalizes and injects an earlier block, also provides an exponent increase, although to a lesser extent. In the data-constrained, multi-epoch setting, standard looping has a useful regularizing effect, where we find it is compute-optimal to increase the number of loops with scale. These results can be understood through the lens of computational depth: for a given computational budget, we wish to increase the usable depth of the transformer, which can lead to efficiency gains that increase with scale.
著者のコメント
44 pages. Code: https://github.com/qlabs-eng/scaling-exponents
arXiv ID: 2609.19107 ／ 要約の誤りについて