言語モデルの推論学習で方策と報酬を合わせるDCRL
DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment
この論文をやさしく読む
ひとことで言うと
言語モデルの推論を強化学習で改善するため、回答を作るモデルと報酬を付けるモデルを一緒に調整する方法です。
何に役立つ？
考えられる用途は、推論課題向けの言語モデルの強化学習です。要旨では複数の推論分野で基準手法より良い実験結果を報告しています。
この研究の面白いところ
推論、評価、表現の関係を幾何学的に説明し、報酬基準の動的改良と方策・報酬モデルの共同更新を組み合わせています。
どこまで分かった？
要旨には個別ベンチマークの点数や学習条件の詳細はありません。Qwen3 の比較結果は記載されていますが、すべてのモデルや課題に広がるとは要旨からは断定できません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
強化学習（RL）は、大規模言語モデル（LLM）の推論能力を高める主要な方法となっている。しかし、規則に基づく報酬や報酬モデルに基づく報酬などの既存の仕組みには、最適化が不安定になったり、報酬の抜け道を利用する行動が生じたりする問題がある。本研究は LLM の一般的な推論を幾何学的観点から捉え直し、論理的演繹、評価、表現という、相互に依存する3つの部分多様体から成る結合した多様体として概念化する。この見方では、RL での応答生成は評価の多様体から切り離される過程、報酬推定は論理的演繹の多様体から切り離される過程と解釈できる。規則ベースや報酬モデルベースの RL の限界は、RL 中の方策と報酬の多様体の不一致として幾何学的に解釈できる。 この不一致に対処するため、Decoupling and Coupling Reinforcement Learning（DCRL）を提案する。構成要素は2つある。第1に、三段論法に基づくプロンプト進化機構が報酬の評価基準を動的に改良し、報酬側の表現力を高める。第2に、方策と報酬を再結合する機構が報酬モデルと方策モデルを共同で更新し、評価の一貫性を確保して学習中の多様体の不一致を緩和する。理論解析と複数の推論分野にわたる広範な実験で、DCRL は規則ベースおよび報酬モデルベースの基準手法を一貫して上回った。特に、DCRL で学習した Qwen3-4B は Qwen3-32B の基準モデルを上回り、Qwen3-235B の性能に近づいた。これは RL における有効性と汎化性能を示す結果である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Reinforcement learning (RL) has emerged as a key paradigm for improving the reasoning capabilities of large language models (LLMs). However, existing reward systems, such as rule-based and reward-model-based, often exhibit issues such as unstable optimization and reward hacking. In this work, we revisit the general reasoning of LLMs from a geometric perspective, conceptualizing it as a coupled manifold composed of three interdependent sub-manifolds: logical deduction, evaluation, and representation. Based on this perspective, response generation in RL can be interpreted as a decoupling process from the evaluation manifold, while reward estimation corresponds to a decoupling process from the logical deduction manifold. The limitations of rule-based and reward-model RL systems can be geometrically interpreted as the mismatch of policy-reward manifolds during RL process. To address the aforementioned misalignment, we propose Decoupling and Coupling Reinforcement Learning (DCRL) framework, which incorporates two key components: (1) a syllogistic logic-based prompt evolution mechanism that dynamically refines reward rubrics to enhance the expressiveness of the reward manifold; and (2) a policy-reward re-coupling mechanism that jointly updates the reward and policy models, ensuring consistent evaluation and mitigating manifold mismatch during training. Theoretical analysis and extensive experiments across multiple reasoning domains demonstrate that DCRL consistently outperforms both rule-based and reward-model baselines. Notably, a Qwen3-4B model trained under DCRL surpasses a Qwen3-32B baseline and approaches the performance of a Qwen3-235B model, highlighting superior effectiveness and generalization in RL.
著者のコメント
Under review
arXiv ID: 2609.27572 ／ 要約の誤りについて