重要度サンプリングなしで言語モデルの追加学習を設計する
GVPO++: Group Variance Policy Optimization for LLM Post-Training and On-Policy Distillation
この論文をやさしく読む
ひとことで言うと
言語モデルの追加学習で、報酬に応じた勾配の重みを解析解から組み立て、重要度サンプリングを使わずに学習する方法です。
何に役立つ？
追加学習やオンポリシー蒸留で、サンプリング分布や目的関数を柔軟に設計する理論的な基盤になります。
この研究の面白いところ
KL制約付き報酬最大化の解を勾配重みに直接取り込み、報酬の中心からの距離の二乗誤差として解釈します。同じ仕組みを蒸留にも広げます。
どこまで分かった？
一意な最適解の保証は、記述された最適化目的に関するものです。要旨には具体的なモデル、ベンチマーク、学習安定性の実験数値はなく、実際の訓練が常にその解へ到達する保証とは区別する必要があります。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
追加学習は、大規模言語モデル（LLM）の推論能力やタスク固有の専門性を高めるうえで重要な役割を果たす。Group Relative Policy Optimization（GRPO）などの手法が最近進歩しているが、重要度サンプリングへの依存から生じる学習の不安定性が、実用的な導入の妨げとなっている。 本研究では、KL制約付き報酬最大化の解析解を勾配の重み付けに組み込む、新しい追加学習手法Group Variance Policy Optimization（GVPO）を導入する。この定式化には直感的な解釈がある。GVPOの勾配は、暗黙の報酬の中心からの距離と、実際の報酬の中心からの距離との平均二乗誤差に対応する。 GVPOには二つの主な利点がある。第一に、KL制約付き報酬最大化の目的に厳密に対応する一意の最適解を保証する。第二に、重要度サンプリングを必要とせず、柔軟なサンプリング分布を使える。一般的な追加学習を超えて、GVPOが自然にオンポリシー蒸留（OPD）へ拡張できることも示す。さらに、拡張されたOPD目的関数の幅広い族を最適化でき、多様な目的関数設計のための原理的な基盤を提供する。理論的保証と実用上の適応性を統合することで、GVPOは信頼性と汎用性を備えたLLMの追加学習およびオンポリシー蒸留の新しい枠組みを確立する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Post-training plays a pivotal role in enhancing the reasoning capabilities and task-specific expertise of large language models (LLMs). Despite recent advances in post-training methods, such as Group Relative Policy Optimization (GRPO), their practical deployment remains impeded by training instability arising from the reliance on importance sampling. We introduce Group Variance Policy Optimization (GVPO), a novel post-training method that integrates the analytical solution of KL-constrained reward maximization into its gradient weighting scheme. This formulation provides an intuitive interpretation: GVPO's gradient corresponds to the mean squared error between the central distance of implicit rewards and that of actual rewards. GVPO offers two key advantages: (1) it guarantees a unique optimal solution, exactly to the KL-constrained reward maximization objective, and (2) it enables flexible sampling distributions without requiring importance sampling. Beyond general post-training, we show that GVPO naturally extends to on-policy distillation (OPD). Furthermore, GVPO enables the optimization of a broad family of extended OPD objectives, providing a principled foundation for diverse objective design. By unifying theoretical guarantees with practical adaptability, GVPO establishes a new paradigm for reliable and versatile LLM post-training and on-policy distillation.
著者のコメント
Extended version of the NeurIPS 2025 paper "GVPO: Group Variance Policy Optimization for Large Language Model Post-Training"
arXiv ID: 2609.21432 ／ 要約の誤りについて