スコアの中心化でオフポリシー強化学習を安定化
Score Centering Stabilizes Off-policy Reinforcement Learning
この論文をやさしく読む
ひとことで言うと
大規模言語モデルの強化学習で、学習・推論エンジンの不一致を累積ドリフトとして説明し、スコア中心化で補正する研究です。
何に役立つ？
完全一致が難しい量子化などの条件で、ロールアウト効率を大きく落とさず安定性を改善する候補になります。重要度サンプリングとの併用にも使えます。
この研究の面白いところ
0.6Bから30Bパラメータで、量子化下では重要度サンプリングと同等以上、併用時は純粋な重要度サンプリングを上回る結果を報告しました。
どこまで分かった？
評価は特定の強化学習、モデル規模、量子化条件に基づきます。どの程度の不一致まで有効か、他の報酬や学習法への一般化は要旨からは分かりません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデルの強化学習（RL）は、学習エンジンと推論エンジンのわずかな違いに極めて敏感である。この違いは、学習・推論の不一致（TIM）と呼ばれることが多い。しかし、TIMを完全に取り除くにはロールアウトの効率を大きく犠牲にするため、現実的ではない。 本論文では、TIMの下でのRLの不安定性は、主にドリフト、すなわち学習エンジンと推論エンジンの間に持続的に存在し、学習ステップごとに蓄積する偏りによって生じることを示す。このドリフトを打ち消し、TIMの下でRLを安定させる、加算型の「スコア中心化」補正項を導出する。 6億～300億パラメータのモデルを学習すると、量子化の下で、スコア中心化だけで重要度サンプリングに基づく手法と同等以上の性能が得られ、不一致が深刻になるほど差が広がる。この補正は加算型なので、スコア中心化は重要度サンプリングとも組み合わせられる。データの古さに関する実験では、両者の組み合わせが、重要度サンプリングだけを用いるベースラインを上回った。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Reinforcement learning (RL) of large language models is notoriously sensitive to small differences between training and inference engines, often referred to as the training-inference mismatch (TIM). However, completely eliminating TIM is impractical, as it would come at a major cost to rollout efficiency. In this paper, we show that the instability of RL under TIM is primarily caused by drift: a persistent bias between training and inference engines that accumulates with every training step. We derive an additive "score centering" correction term that stabilizes RL under TIM by canceling drift. When training models from 0.6B to 30B parameters, score centering alone matches or outperforms methods based on importance sampling under quantization, with the gap growing as the mismatch becomes more severe. Because the correction is additive, score centering also composes with importance sampling -- their composition outperforms pure importance-sampling baselines in our staleness experiments.
arXiv ID: 2609.20807 ／ 要約の誤りについて