蒸留学習で回答が長くなる原因を終了トークンの不一致から調べる
When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation
この論文をやさしく読む
ひとことで言うと
教師モデルをまねる学習で生徒の回答が長くなりすぎる原因の一つを、終了トークンの食い違いに見いだします。
何に役立つ？
蒸留学習中の無駄な長文生成や生成上限への到達を減らす実装に役立ちます。
この研究の面白いところ
同じ終了集合を指定していても、教師と生徒が別の終了トークンに確率を置くことがあります。同じ意味の終了動作をまとめて扱うと、三系列のモデルで長文化を緩和します。
どこまで分かった？
終了トークンの調整だけでは、学習後半に起こる別の長文化は残ります。著者らもこの原因がすべてではないと明記しています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
オンポリシー蒸留（OPD）では、生徒モデルの回答が過度に長くなり、生成に使える予算を使い切ることさえある。本研究は、この長さの増大を調べる。基盤段階の生徒モデルと事後学習済みの教師モデルとの間にある、終了トークンの不一致が、この挙動の重要な原因の1つであることを特定した。 Qwen3、Llama、Gemmaでは、宣言された終了トークン集合が同じであっても、両モデルが異なるEOSトークンに停止確率を割り当てることがある。この不一致は、生徒が好む終了動作を抑制する一方で、教師が好む代替の終了動作を確実には伝えない可能性がある。デコード時の終了トークン集合をそろえるだけでは不十分であることを示す。一方、機能的に等価なEOSトークンを共通の意味的な停止動作として扱うと、不一致に起因する回答長の増大が、3つのモデル系列すべてで大幅に緩和される。 学習中に終了挙動がどのように変化するかをさらに理解するため、K2-Horizonの異なる学習段階にわたってOPDを調べた。段階ごとの分析により、終了トークンの選好は学習中に大きく変わり得ることが分かった。同時に、OPD実行の後半には、終了動作を整合させても残る別の長さの増大があることも明らかになった。これらの結果は、終了の不一致がOPDにおける回答長の変化の重要な原因である一方、それだけではすべてを説明できないことを示す。提案した終了処理の修正を組み込んだ実装を公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We study length inflation in on-policy distillation (OPD), where student responses can become excessively long and even exhaust the generation budget. We identify \emph{termination-token mismatch} between base students and post-trained teachers as an important source of this behavior. Across Qwen3, Llama, and Gemma, the two models can place their stopping probability on different EOS tokens, even when their declared stopping sets are identical. This mismatch can suppress the student's preferred termination action without reliably transferring the teacher-preferred alternative. We show that aligning the decoding stopping set alone is insufficient, while treating functionally equivalent EOS tokens as a shared semantic stopping action substantially mitigates mismatch-induced length inflation across all three model families. To further understand how termination behavior evolves over training, we study OPD across different K2-Horizon training stages. This stage-wise analysis shows that termination preferences can shift substantially during training, while also revealing a distinct length inflation late in the OPD run that persists beyond termination alignment. Together, these results identify termination mismatch as an important, but not exhaustive, source of OPD length dynamics. We release an implementation incorporating the proposed termination-handling corrections.
著者のコメント
30 pages, 12 figures, 3 tables, code available at https://github.com/UNCSciML/opd-eos
arXiv ID: 2609.20511 ／ 要約の誤りについて