回答前の推論を使うか自動判断する言語モデルの学習法
CounterRoute: Self-Routed Reasoning via Hierarchical Counterfactual Credit Assignment
この論文をやさしく読む
ひとことで言うと
言語モデルが回答前に長く考えるべきか、直接答えるべきかを自分で選ぶよう学習する方法です。
何に役立つ？
回答品質を保ちながら生成トークン数を抑えるためのモデル設計に役立つと考えられます。要旨の実証はQwen3の2サイズと9ベンチマークでの比較です。
この研究の面白いところ
同じ方策から両モードの結果を生成し、その差をモード選択トークンだけの学習信号にすることで、選択と回答の学習を分けています。
どこまで分かった？
報告された削減率と精度改善は記載のモデルとベンチマークに関するものです。すべての質問や他のモデルで同じ効果が出るとは示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
推論能力を持つ言語モデルは、直接答えられる場合でも長い思考過程を生成することが多く、推論時の計算を浪費する。二つのモードを持つ多くのモデルでは、その選択を利用者に任せている。選択を自動化するのは、学習方策とともに選択の正解が変わり、初期のモード選好が探索を不安定にし、系列全体の目的関数ではモード選択と回答の学習が絡み合うため難しい。本研究は、専用の教師あり微調整による準備なしに、二モードの既存チェックポイントから、一つの共有方策でモード選択とモードに応じた回答を同時に学ぶオンライン強化学習の枠組みCounterRouteを提案する。現在の方策から対になった反実仮想の生成を行い、モード間の差による信用割当を選択トークンのみに与える一方、モード内のGRPOで回答トークンを学習する。初期には両モードから強制的に生成し、その後は自律的に選択した更新の割合を増やすカリキュラムによって、初期学習を安定化し自動選択を改善する。9つのベンチマークで、CounterRouteは規則ベースと学習型の適応的選択手法より、正確さと効率のバランスが良かった。常に思考するチェックポイントと比べ、Qwen3-8Bでは平均生成トークン数を51%、Qwen3-14Bでは41%減らしながら、マクロ平均精度を向上させた。直接回答が有効な指示追従や常識のベンチマークでは、思考モードの利用率が最低1%まで下がり、回答品質も改善した。学習に用いたのは数学と指示追従だけだが、選択行動と回答品質は、学習から除いたコーディング、科学、知識、常識のベンチマークにも一般化した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Reasoning-capable language models often produce long chains of thought when direct answers suffice, wasting inference compute. Many dual-mode models leave this choice to users. Automating it is challenging because routing targets evolve with the policy, initial mode preferences destabilize exploration, and sequence-level objectives entangle routing with response learning. We introduce CounterRoute, an online reinforcement-learning framework that jointly learns routing and modeconditioned responses in one shared policy directly from a native dual-mode checkpoint, without method-specific SFT warm-up. Paired current-policy counterfactual rollouts assign cross-mode credit only to the routing token, while within-mode GRPO trains response tokens. A paired-to-self-routed curriculum stabilizes early training with forced rollouts from both modes, then increases self-routed updates to improve autonomous routing. Across nine benchmarks, CounterRoute better balances accuracy and efficiency than heuristic and learned adaptive-routing methods. Relative to always-thinking checkpoints, it improves macro-average accuracy while reducing mean generated tokens by 51% for Qwen3-8B and 41% for Qwen3-14B. On instruction-following and commonsense benchmarks where direct answering is strong, think rates fall as low as 1% while response quality improves. Despite training only on math and instruction following, its routing behavior and response quality generalize to held-out coding, science, knowledge, and commonsense benchmarks.
著者のコメント
16 pages including 7 tables and 4 figures, under review
arXiv ID: 2609.29109 ／ 要約の誤りについて