モデル内部の信号で文章のコピーと生成を切り替える
To Copy or Not to Copy: Controlling Speculative Decoding via Intrinsic Model Signals
この論文をやさしく読む
ひとことで言うと
LLMが本当に直前の文章をコピーしようとしているかを内部表現から判定し、推測生成の方式を切り替えます。
何に役立つ？
文章生成を高速化する際、コピーが有効な場面を選び、偶然の語句一致による無駄な候補生成を減らす用途です。
この研究の面白いところ
表面上のn-gram一致だけに頼らず、軽量なプローブでコピー意図を制御信号として取り出します。ニューラルな下書きと文脈コピーの得意領域を使い分けます。
どこまで分かった？
AUCが0.99超、速度向上が最大15%という結果はLlama・Qwen系での評価です。最大値があらゆる文章やモデルで得られるとはいえず、要旨には各条件の内訳はありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
投機的デコーディング（SD）は大規模言語モデル（LLM）の推論を大幅に高速化してきたが、既存手法には、ニューラルモデルによるドラフト生成と文脈のコピーという二つの戦略の間に根本的なトレードオフがある。EAGLE3などのニューラルドラフトは多様な文章の条件で安定した性能を示す。一方、コピーに基づく手法は、候補をより速く生成し、長い繰り返し区間を利用してほぼ完全に正しい投機を行うことで、コピーが多い条件ではさらに大きな高速化を実現する。 既存のコピー手法を分析したところ、表面的なnグラムの一致が構造的なコピー意図を反映していない偶然の繰り返しに影響されやすく、誤った起動によって最終的にスループットが低下することが分かった。本研究では、コピーをLLMの潜在的な制御信号として扱う適応的な枠組みSwitchSDを導入する。対象モデルの内部表現に対して軽量なプローブを学習させることで、SwitchSDは真のコピー意図を高精度で識別する（AUC > 0.99）。これにより、EAGLEなどのニューラルドラフトと文脈のコピーを動的に切り替えられる。 Llama系およびQwen系モデルでの結果では、EAGLE3などの最先端の比較手法に対し、スループットが最大15%向上した。コピーを、ノイズの多い経験則から、モデルの状態を踏まえた原理的なデコーディング方式へ転換できることを示している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Speculative Decoding (SD) has significantly accelerated Large Language Model (LLM) inference, yet existing approaches face a fundamental tradeoff between two drafting strategies: neural drafting and context-based copying. Neural drafts (e.g., EAGLE3) provide robust performance across diverse text settings, while copy-based methods achieve higher speedups in copy-intensive regimes by generating candidates faster and exploiting long repetition spans for near-perfect speculation. We analyze existing copy-based methods and find that they are prone to accidental repetitions where surface-level n-gram overlap does not reflect a structural intent to copy, leading to false-positive triggers that ultimately degrade throughput. We introduce SwitchSD, an adaptive framework that treats copying as a latent control signal of the LLM. By training lightweight probes on the target model's internal representations, SwitchSD identifies genuine copy-intent with high precision (AUC > 0.99). This allows the system to dynamically switch between neural drafting (e.g., EAGLE) and context-based copying. Our results across Llama and Qwen families demonstrate throughput gains of up to 15% over state-of-the-art baselines like EAGLE3, effectively turning copying from a noisy heuristic into a principled, model-aware decoding regime.
arXiv ID: 2609.20186 ／ 要約の誤りについて