強化学習の前に行う方策蒸留が最終性能に与える影響
RL Starts before RL: On Policy Distillation for Better Reinforcement Learning
この論文をやさしく読む
ひとことで言うと
強化学習の前に教師モデルの出力を学ぶと、直後の正答率があまり変わらなくても、強化学習後の性能が上がる場合がある。
何に役立つ？
考えられる用途は、推論モデルを強化学習させる前の蒸留方法を、蒸留直後だけでなく最終性能で選ぶこと。
この研究の面白いところ
蒸留直後に優れた逆向きKLがRL後には順向きKLに抜かれる場合がある一方、教師が生成した軌跡では逆向きKLが両段階で優れた。
どこまで分かった？
共通のRL設定で比較したモデルの実験結果。教師分布との一致は可能な説明として挙げられており、利点の原因として確定したとは述べていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
強化学習（RL）は推論能力を改善するが、その性能は学習を始めるときの方策に依存する。本研究は、オンポリシー蒸留（OPD）をRLの準備段階として調べ、蒸留直後の初期正答率の改善を超える利点があるかを問う。RLの設定をそろえると、OPDで初期化した生徒モデルは、直接RLを行ったモデルや、教師あり微調整の後にRLを行ったモデルより高い最終性能に達した。この利点は、OPD直後の正答率がほとんど上がらない場合にも現れた。RL前のPass@kだけでは利点を十分に説明できず、同程度またはより高い値でも、RL後の性能が良いとは限らなかった。行動解析からは、最上位の回答の一致を超えて教師の出力分布に合うことが、可能な説明として示唆された。そのような一致は、より質の高い推論経路を選びやすくしながら、RLが結果のフィードバックでさらに改善できる代替経路も残す可能性がある。 さらに、蒸留に使う生成過程の出所と分布の差を測る目的関数が、その後のRLに対する蒸留の価値をどう変えるかを調べた。標準的な逆向きKLのOPDはRL前には優れていたが、RL後には順向きKLが上回った。一方、教師が生成した蒸留用の生成過程を使うと、逆向きKLが両段階で優位を保った。望ましい蒸留の目的関数は、生成過程の出所と、その後に続く学習の両方に依存することが示唆される。結果は、OPDをRLの準備として評価し、蒸留方法を後続の学習後の性能で選ぶことを支持する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Reinforcement learning (RL) improves reasoning, but its performance depends on the policy from which training begins. We study on-policy distillation (OPD) as a preparation stage for RL and ask whether its benefits extend beyond improvements in the distilled model's initial accuracy. Under shared RL settings, students initialized with OPD reach higher final performance than those trained with direct RL or supervised fine-tuning followed by RL. This advantage can emerge even when OPD produces little immediate improvement in accuracy. Pre-RL Pass@k does not fully explain the benefit: similar or even higher values do not necessarily lead to better performance after RL. Behavioral analyses point to alignment with the teacher's distribution beyond top-1 agreement as a possible explanation. Such alignment may favor higher-quality reasoning paths while retaining alternatives that RL can further refine using outcome feedback. We further examine how trajectory sources and divergence objectives affect the value of distillation for subsequent RL. Standard reverse-KL OPD performs better before RL, but forward-KL OPD overtakes it afterward; with teacher-generated distillation trajectories, reverse KL remains ahead at both stages. These findings suggest that the preferred distillation objective depends on both the trajectory source and the training that follows. Our results support evaluating OPD as preparation for RL and selecting distillation choices by the performance achieved after subsequent training.
著者のコメント
24 pages, 5 figures
arXiv ID: 2609.28145 ／ 要約の誤りについて