推論の余分な手順を減らす依存関係に基づく学習
Giving Credit Where It's Due: Redundancy-Aware Learning for Efficient Reasoning
この論文をやさしく読む
ひとことで言うと
推論の各手順が後続の議論と正解にどれだけ役立つかを見て学習し、正答率を保ちながら余分な手順を減らした。
何に役立つ？
推論モデルを学習する際、正答率と出力トークン数の両方を改善する方法として検討できる。
この研究の面白いところ
手順間の依存関係と正答の尤度変化を組み合わせ、Qwen2.5-Math-7Bで正答率を2.0〜3.7ポイント改善し、トークンを8〜31%削減した。
どこまで分かった？
評価は二つの7Bモデルと四つの数学推論ベンチマークに基づく。他の規模や課題での効果は要旨に示されていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模な推論モデルは、正しいものの不必要に長い推論過程を出力することがある。既存の効率改善法は、推論全体の目的関数や、トークンまたは手順ごとの局所的な信号を使うが、手順間の意味上の依存関係はほとんど扱わない。そのため、後の推論を支える手順と冗長な手順を区別しにくく、正答率を保ったまま短くするのが難しい。本研究は、後続の推論での役割と正答への貢献の両方に応じて各手順に評価を割り当てるRECAPを導入する。構造上の責任を、後続の推論がその手順にどれほど依存するかとして定義する。これは、最終回答の節点から、結果に依存せず言語モデルが注釈した意味的依存グラフを通じて評価を逆向きに伝えることで測る。ただし、構造上重要な手順でも、誤った解法へ導くことがある。そこでRECAPは、手順を加えるごとの正答の対数尤度の変化から、正答に向けた進展を測る手順の有効性も導入する。二つの信号を使い、推論全体に対するGRPOの優位性を手順ごとの更新に変える。別に学習した過程報酬モデルも、事前に用意した簡潔な推論過程も必要としない。二つの7Bモデルと四つの数学推論ベンチマークで、正答率と効率の両立を改善した。Qwen2.5-Math-7Bでは、四つのベンチマークすべてでGRPOと比べ、pass@1が2.0〜3.7ポイント上がり、推論トークンが8〜31%減った。分析は、この節約が表現を短くしただけでなく、推論操作や行き止まりの推論の減少によることを示唆する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large reasoning models can produce correct yet unnecessarily long reasoning traces. Existing methods improve reasoning efficiency with trajectory-level objectives or local token- and step-level signals, but rarely model inter-step semantic dependencies. This limits their ability to distinguish redundant steps from those that support later deductions, making it harder to shorten reasoning without sacrificing accuracy. We introduce RECAP (REdundancy-aware Credit Assignment via Propagation), which addresses this limitation by assigning credit where it is due based on both a step's downstream role in the reasoning structure and its contribution to solving the problem correctly. We define structural responsibility to capture the step's downstream role by measuring how strongly later reasoning depends on it, using credit propagated backward from the final-answer node through an outcome-independent, LLM-annotated semantic dependency graph. However, a step can have high structural responsibility yet steer the reasoning away from the correct solution. RECAP therefore introduces step efficacy to measure answer-directed progress through changes in gold-answer log-likelihood as each step is added. Together, these signals reshape rollout-level GRPO advantages into step-specific updates. RECAP requires neither a separately trained process reward model nor preconstructed concise trajectories. Across two 7B models and four mathematical reasoning benchmarks, RECAP improves the accuracy-efficiency trade-off. On Qwen2.5-Math-7B, it improves pass@1 by 2.0-3.7 percentage points while reducing reasoning tokens by 8%-31% relative to GRPO across all four benchmarks. Analysis suggests these savings reflect fewer reasoning operations and less dead-end reasoning, rather than more compact expression.
著者のコメント
26 pages, 11 figures
arXiv ID: 2609.27156 ／ 要約の誤りについて