複数の小課題ごとに報酬を分ける言語エージェントの強化学習
Reinforcement Learning with Decomposed Subtasks
この論文をやさしく読む
ひとことで言うと
長い課題全体の報酬を小課題に分け、どの行動が結果に効いたかを学習する方法。
何に役立つ？
複数の技能を組み合わせる言語エージェントの強化学習で、報酬を各行動へ割り当てる設計に役立つ。
この研究の面白いところ
小課題の違いが大きい評価ほど効果が大きく、ScienceWorldとFrozenLakeで明確な改善を示した。
どこまで分かった？
HotpotQAとDeepResearchでは改善は雑音の範囲内。効果は小課題の異質性に依存し、すべての課題で優位とは示していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
言語モデルのエージェントを学習するGroup Relative Policy Optimization（GRPO）などの方策勾配法では、複数ターンからなる実行全体を、一つの数値の報酬にまとめてから方策を更新する。異なる技能からなる課題では、特に環境からの反応が疎で遅れる場合、この集約によって情報が失われる。最適化手法は結果を生んだ技能と、修正すべき行動を暗黙に推定しなければならない。そこで、よりよい単一の数値を作る代わりに、報酬を方策更新に入れる前に小課題ごとへ分解すべきだと論じる。 小課題分解型強化学習RLDSを提案する。中心となるSubtask-Decomposed Advantage Estimation（SDAE）は、GRPOの単一のアドバンテージを置き換える。実行全体の報酬を固定された分類に沿って小課題別に分け、それぞれについて集団内の相対的なアドバンテージを求める。そして小課題の重要度を重みとして、各トークンへ評価を配分し、その小課題が重要だったと振り返りで示された手順の周辺に評価を集中させる。FrozenLake、HotpotQA、ScienceWorld、DeepResearchの四つのエージェント評価で調べた。学習中に得られる診断は、小課題間の違いが大きいほど分解の利点が大きいことを示した。違いの大きいScienceWorldでは11.5ポイント上昇し、対応付きブートストラップによる95％区間は9.8～13.3ポイント、FrozenLakeでは9.8ポイント上昇し区間は7.0～12.8ポイントだった。違いが小さいと予測されたHotpotQAとDeepResearchの改善は雑音の範囲内だった。ScienceWorldでは、長い実行が振り返りと採点の固定費用をならすため、1手順当たりの実時間も通常のGRPOより10.9％短かった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Group Relative Policy Optimization (GRPO) and related policy-gradient methods for training language model agents collapse an entire multi-turn rollout into a single scalar trajectory reward before it enters the policy update. When the task composes distinct skills, especially under sparse and delayed environmental feedback, this collapsing is lossy: the optimizer must implicitly infer which competency drove the outcome and how that should change behavior. We argue the right primitive is not a better scalar but a decomposition: trajectory reward should be split along subtasks before it enters the policy update. We introduce Reinforcement Learning with Decomposed Subtasks (RLDS), whose core is Subtask-Decomposed Advantage Estimation (SDAE): a replacement for the scalar GRPO advantage that splits trajectory reward into per-subtask shares on a fixed taxonomy, computes a group-relative advantage per subtask, and distributes per-token credit by weighting each subtask's advantage by its importance, concentrating it around the step where a reflection marks that subtask's execution as consequential. We evaluate on four agentic benchmarks: FrozenLake (sparse grid navigation), HotpotQA (multi-hop QA, one retrieval tool), ScienceWorld (long-horizon embodied science), and DeepResearch (long-form research, four tools, composite rubric reward). Heterogeneity diagnostics emitted during training show where decomposition pays off - gains scale with subtask heterogeneity, largest on the high-heterogeneity tasks ScienceWorld (+11.5 points, paired-bootstrap 95% CI [+9.8, +13.3]) and FrozenLake (+9.8 points, [+7.0, +12.8]), and within noise on HotpotQA and DeepResearch, where the diagnostics predicted little to recover. ScienceWorld is also more compute-efficient under RLDS than scalar GRPO (-10.9% wall-clock per step), as long rollouts amortize the fixed reflect-and-grade overhead.
arXiv ID: 2609.27035 ／ 要約の誤りについて