低ビットAIの推論を自身の生成文への指導で回復
Train Where the Quantized Model Goes: On-Policy Distillation for Low-Bit Reasoning
この論文をやさしく読む
ひとことで言うと
極端に軽量化した言語モデルに、自分が実際に生成した途中の文章に対する指導を与え、長い推論の崩れを抑える方法です。
何に役立つ？
少ないメモリーで動くモデルの数学・コード推論を改善する学習方法として利用が考えられます。
この研究の面白いところ
正しい固定文の続きを学ぶだけでなく、量子化でずれた自分自身の生成経路に教師の指導を置く点です。
どこまで分かった？
35→70％、66→91％はBF16モデルに対する性能保持率で、課題の絶対正答率ではありません。評価は四つのモデルと記載されたビット数・ベンチマークであり、全精度性能の完全回復は示していません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
量子化を考慮した蒸留（QAD）は、3ビット未満への量子化で失われる短文の質問応答性能の多くを回復する一方、数学やコードの推論には大きな低下が残る。長い生成はしばしば反復ループへ崩れ、解答を完成できないままデコード予算を使い切る。この差の原因を、量子化で増幅される露出バイアスに求める。QADは固定コーパスの接頭辞で学習する一方、量子化に由来するずれは、モデル自身の自己回帰的な生成経路に沿って積み重なる。 この不一致に対処するため、量子化モデルが実際に進む場所へ教師信号を置くオンポリシー蒸留（OPD）段階を導入する。QADのチェックポイントから出発し、生徒モデルは配備時に使う量子化された順伝播経路で生成を行い、自分自身の接頭辞について、凍結された全精度教師モデルからフィードバックを受ける。そこでは、密なトークン単位の指導と課題検証器の報酬を組み合わせる。 実効ビット数2.79および1.88の四つのモデルを通じて、OPDは短文性能を保ちつつ、BF16性能に対する平均保持率をMATH-500で35％から70％、HumanEvalで66％から91％へ高める。同じ予算で比較すると、推論の改善は、教師強制によるQADを継続する場合を大幅に上回る。QADの安定した低ビット初期化とOPDのオンポリシーな推論回復を組み合わせることで、広い能力を保ちつつ長文推論を回復する、3ビット未満の包括的な方法を提供する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Quantization-aware distillation (QAD) restores much of the short-form question-answering performance lost to sub-3-bit quantization, yet leaves mathematical and code reasoning substantially impaired. Long generations often degenerate into repetitive loops, exhausting the decoding budget without completing a solution. We trace this gap to quantization-amplified exposure bias: QAD trains on fixed corpus prefixes, while quantization-induced deviations compound along the model's own autoregressive trajectories. To address this mismatch, we introduce an on-policy distillation (OPD) stage that places teacher supervision where the quantized model actually goes. Starting from a QAD checkpoint, the student generates through the quantized forward path used at deployment and receives feedback from a frozen full-precision teacher on its own prefixes, combining dense token-level guidance with task-verifier rewards. Across four models at 2.79 and 1.88 effective bits, OPD raises average BF16 performance retention from 35% to 70% on MATH-500 and from 66% to 91% on HumanEval while preserving short-form performance, with reasoning gains substantially exceeding those of continued teacher-forced QAD in matched-budget comparisons. By coupling QAD's stable low-bit initialization with OPD's on-policy reasoning recovery, our framework provides a comprehensive sub-3-bit solution that preserves broad capabilities while restoring long-form reasoning.
著者のコメント
18 pages, 6 figures
arXiv ID: 2609.26708 ／ 要約の誤りについて