蒸留で役立つトークンだけを選んで教師信号を与える
Not Every Token Is Worth Distilling: Selective Supervision for Direct-OPD
この論文をやさしく読む
ひとことで言うと
小型AIモデルから大型モデルへ学習成果を移すとき、意味のある変化が起きた箇所だけを教える方法です。
何に役立つ？
モデル蒸留の教師信号を選び、追加の順方向計算なしで学習効果を高める検討に役立ちます。
この研究の面白いところ
トークン確率の比だけでは変化の大きさを誤認し得ることを数学的に示し、JSDが大きい上位10％の状態に絞ります。
どこまで分かった？
正答率の改善は要旨にあるAIMEとHMMT、教師二組と学習対象四モデルの八設定での結果です。ほかの課題での効果は示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
Direct On-Policy Distillation（Direct-OPD）は、強化学習前後の小型モデルのチェックポイント間で、トークンごとの対数確率比を用い、より大きな学習対象モデル自身の生成に密な教師信号を与えることで、強化学習によって得られた方策の改善を移す。この方法は各状態で方策の変化に報酬を与えるが、対数比が測るのは相対的な変化だけである。二つのチェックポイントが学習対象の候補トークンに割り当てる確率質量が消えていっても、比は固定されたままになり得る。厳密な構成によって、Direct-OPDの報酬と更新が変わらない一方で、チェックポイント間のJensen–Shannonダイバージェンス（JSD）と両方向のKLダイバージェンスが、その確率質量とともにゼロへ近づき得ることを示す。また、小さいJSDは教師の振る舞いの変化の大きさに上限を与えると指摘する。この分析を基に、Selective Supervision for Direct-OPD（S²D-OPD）を提案する。学習対象モデルが標本化した状態を教師と参照モデルのJSDで順位付けし、差が小さい状態でのDirect-OPDの教師信号を使わず、各応答の上位10％の状態だけを残す。教師の組二つと、パラメーター数17億～80億の学習対象モデル四つを使った評価で、S²D-OPDはAIMEとHMMTの未使用問題に対する正答率で、八つの設定のうち七つで密なDirect-OPDを上回り、残る一つでは同等だった。追加の順方向計算は必要ない。コードは要旨記載の場所で公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Direct On-Policy Distillation (Direct-OPD) transfers reinforcement-learning-induced policy improvements from a small model to a larger student by using the token-level log-ratio between post-RL and pre-RL checkpoints as dense supervision on the student's own rollouts. This transfer rewards the policy shift at every state, yet the log-ratio measures only relative change: it can stay fixed even as the probability mass that both checkpoints assign to the student's candidate tokens vanishes. Through an exact construction, we show that the Direct-OPD reward and its update can remain unchanged while the Jensen-Shannon divergence (JSD) and both KL directions between the checkpoints vanish with this mass, and we note that a small JSD bounds how much the teacher's behavior changed. Motivated by this analysis, we propose Selective Supervision for Direct-OPD (S$^2$D-OPD), which ranks student-sampled states by their teacher-reference JSD and masks Direct-OPD supervision at low-divergence states, retaining only the top 10% of states per response. Across two teacher pairs and four student models ranging from 1.7B to 8B parameters, S$^2$D-OPD improves held-out accuracy over dense Direct-OPD on AIME and HMMT benchmarks in seven of eight settings and matches it in the eighth, without extra forward passes. Our code is available at https://anonymous.4open.science/r/S2D-OPD-8868.
著者のコメント
19 pages. Yibo Zhao and Zixuan Yang are equal contributors and may list their names in either order on their CVs
arXiv ID: 2609.29142 ／ 要約の誤りについて