生徒が教師を使い終える時点を判断する方策蒸留
RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
この論文をやさしく読む
ひとことで言うと
複数ターンのエージェント学習で、教師から学ぶ期間を生徒が自動で終える蒸留法です。教師を先に環境報酬で訓練し、その後は強化学習と蒸留を併用します。
何に役立つ？
教師の助言が有益な時期だけ活用する学習方法になります。教師が必ずしも信頼できない問題と、学習段階による効果の違いに対応します。
この研究の面白いところ
教師との差が縮まらなくなり、成功率が目標比率へ届くと教師を外します。評価した全設定で教師を上回り、ALFWorldとWebShopでも基準より改善しています。
どこまで分かった？
評価は1.5B〜7BのQwen2.5と二つの課題群です。要旨の改善率を、他のモデルや現実の任意のエージェント作業へそのまま一般化することはできません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
強化学習（RL）で訓練する複数ターンのエージェントは、軌跡ごとに一つのスカラー報酬を受け取る。このため、課題の技能に特別にアクセスできる自己教師から密なトークン単位の教師信号を与え、技能を与えられていない生徒がそれを内在化する、自己オンポリシー蒸留（OPD）が動機付けられる。しかし、エージェント課題では、特別な情報だけでは必ずしも教師が信頼できるようにならないこと、教師の指導の利点は学習段階に依存すること、という二つの知見がこの方法の有効性を損なう。 そこで、自己終了型オンポリシー蒸留RetireOPDを提案する。まず、技能を条件として与えた独立の教師を環境報酬で最適化し、次に技能を与えない生徒をRLとOPDで同時に訓練する。あらかじめ定めた蒸留日程に従うのではなく、RetireOPDは適応的な教師の引退を採用する。教師と生徒の差が縮まらなくなり、かつ生徒が教師の成功率の所定の割合に達すると、生徒自身が教師の利用を終了し、その後はRLだけで学習を続ける。 15億～70億パラメータのQwen2.5モデル全体で、RetireOPDはRLベースラインに比べてALFWorldの成功率を14.1～18.8%、WebShopの正答率を11.8～19.0%改善する。また、すべての設定で、技能を条件として与えた自身の教師を上回る。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Multi-turn agents trained with reinforcement learning (RL) receive a single scalar reward per trajectory, which motivates self on-policy distillation (OPD) to supply dense token-level supervision from a self-teacher with privileged task skills, letting a skill-free student internalize them. This recipe, however, is undermined by two findings in agentic tasks: privileged information alone does not always make a teacher reliable, and the benefit of teacher supervision is stage-dependent. We therefore propose RetireOPD (Self-Retiring On-Policy Distillation), which first optimizes a decoupled, skill-conditioned teacher with environment rewards and then trains a skill-free student jointly with RL and OPD. Rather than following a predefined distillation schedule, RetireOPD adopts Adaptive Retirement: the student drops the teacher on its own once their discrepancy stops shrinking and it reaches a target fraction of the teacher's success rate, after which training proceeds with RL alone. Across Qwen2.5 models from 1.5B to 7B, RetireOPD improves ALFWorld success rate over RL baseline by 14.1% to 18.8% and WebShop accuracy by 11.8% to 19.0%, and surpasses its own skill-conditioned teacher in every setting.
arXiv ID: 2609.20784 ／ 要約の誤りについて