グロッキング転移の重み重なり指標を検証した探索的研究
An Exploratory Replica-Overlap Probe of the Grokking Transition
この論文をやさしく読む
ひとことで言うと
グロッキング転移を重みの重なりで測る事前登録済みの調査を行ったが、モデルを対応づける実装に欠陥があり、主要な判定はできなかった。
何に役立つ？
機械学習の転移現象を統計的に調べる際、モデル間の対応づけ、数値精度、事前登録と事後解析の区別を確認する参考になる。
この研究の面白いところ
不都合な実装上の欠陥や手順逸脱を明示し、結果を判定不能とした。事後解析では重なりの標準偏差が約5.6倍になったが、dip検定の区間は検出力が不足して解釈できなかった。
どこまで分かった？
事前登録された主要判定は無効であり、パリージの秩序変数に関する確証はない。チェックポイントの要件を満たしたのは1設定だけで、発生率の比較にも交絡がある。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
独立した乱数種で64個のネットワークを四つの設定で訓練し、それぞれ安定して収束するか、4万エポックの上限に達するまで続けた。そして、グロッキング転移の前後で、レプリカ対称性の破れ（RSB）に着想を得た、重み同士の重なりの分布が変わるかを調べた。この事前登録済みの調査で何を報告できるかを決めるのは、重なり統計量そのものではなく、ネットワークを対応づける手順である。登録した実装では、隠れユニットを並べ替える際に、対応するバイアスやヘッド内部の並べ替えを行っておらず、ネットワークの関数を保存できない。この対応づけを使って計算した重みの重なりq_wtはすべて欠陥の影響を受ける。一方、関数の重なりq_fnは並べ替え前のモデルの予測から計算するため、影響を受けない。数値精度の要件も満たされず、監査では手順からの逸脱も見つかった。このため、事前登録した規則では判定できず、登録上の結果は「判定不能」（理由コードC0_INSTRUMENT_INVALID）となった。これらのデータは、変化がないという確証にも、パリージの秩序変数を妥当に読み取った結果にもならない。 16件中12件のチェックポイントが揃うという要件を満たしたのは、frac40という設定だけだった。この設定で同じデータへ事後的な基準を適用すると、Hartiganのdip統計量の差の95%信頼区間は[-0.017, 0.034]で0を含む一方、重なりの標準偏差は約5.6倍になった。事後的な較正では、シミュレーションした差を検出するdip検定の検出力は0と見積もられた。したがって、この区間は情報を与えず、変化がない証拠ではない。ここで観測された効果に対して検出力を持つ統計量は、標準偏差の比だけだった。モデル群の損失がほぼ平坦だったのは、事前指定した1%の閾値を使った場合に限られる。最後に、グロッキングの発生率0/16、11/16、16/16は、訓練データの割合と分割の個別性が交絡しているため、記述的な結果にとどまる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We trained 64 independently seeded networks in four configurations, continuing each to sustained convergence or a 40,000-epoch ceiling. We then asked whether an RSB-inspired distribution of pairwise weight overlaps changes across the grokking transition. It is the alignment step, not the overlap statistic, that determines what this registered probe can report. The registered implementation permutes hidden units without the corresponding bias and head-internal permutations and therefore does not preserve the network function. Every q_wt value computed through this alignment inherits the defect; q_fn does not, because it is computed from predictions of the unpermuted models. The numerical-precision requirement also failed, and an audit found protocol deviations. Consequently, the pre-registered rule gives no verdict: registered outcome UNDETERMINED (reason code C0_INSTRUMENT_INVALID). These data provide neither a confirmatory null nor a validated reading of the Parisi order parameter. Only frac40 cleared the 12/16 checkpoint-completeness requirement. For this configuration, a post-hoc criterion applied to the same data gave a Hartigan-dip interval containing zero (95% CI for Delta dip = [-0.017, 0.034]), whereas the overlap standard deviation increased by a factor of about 5.6. A post-hoc calibration assigns the dip test zero power at the simulated separations; the interval is therefore uninformative, not evidence of no change. The standard-deviation ratio is the only statistic here with power at the observed effect. Ensemble loss was near-flat only under the pre-specified 1% threshold. Finally, grokking rates of 0/16, 11/16 and 16/16 remain descriptive because train fraction is confounded with split identity.
著者のコメント
13 pages, 5 figures. Pre-registered study; the registered decision rule returns UNDETERMINED (reason code C0_INSTRUMENT_INVALID) because the registered alignment implementation is not function-preserving. Reported as an honest negative/instrument-invalid result
arXiv ID: 2609.25634 ／ 要約の誤りについて