反復型言語モデルの文章生成を並列化して速くする
WaveFront Decoding: Parallelized Self-Speculative Decoding for Looped Language Models
この論文をやさしく読む
ひとことで言うと
同じ計算ブロックを繰り返す言語モデルで、暫定予測と確認を並行させて文章生成を速くする方法です。
何に役立つ？
反復型の言語モデルを追加学習なしで高速に動かす際の選択肢になります。要旨では二つのモデルで生成速度を比較しています。
この研究の面白いところ
位置と反復深さが違う状態を波面状にまとめ、一つのブロック呼び出しで暫定予測と検証を同時に進めます。
どこまで分かった？
高速化の値はSpec-Benchの六区分と記載されたモデルに基づきます。ほかのモデルや実行環境で同じ倍率になるとは要旨からは分かりません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
反復型の言語モデルは、重みを共有するブロックを繰り返し適用することで、パラメータ数を増やさずに実効的な深さを増す。しかし、生成するトークンごとにT回の逐次的なブロック呼び出しが必要になり、生成の遅延が大きくなる。この問題に対し、追加学習なしで使える反復型言語モデル向けの自己推測生成の枠組みWavefront Decoding（WFD）を提案する。中間の反復結果が有効な暫定予測となることと、重み共有によって位置と反復深さの異なるトークン状態を一度のバッチ化したブロック呼び出しで処理できることを利用する。深さの異なる状態を斜めの波面状に配置し、浅い反復で新しい位置の暫定予測を作り続けながら、先行する位置を完全な深さでの検証へ進める。暫定予測と検証を段階ごとに分ける方式と異なり、同じ反復呼び出し内で両者をまとめて処理し、棄却された暫定予測は完全な深さでの予測に基づいて修正する。Spec-Benchの六つの課題区分では、自己回帰生成と比べ、Ouro-2.6Bで2.42倍、Huginn-3.5Bで3.54倍の高速化を達成し、暫定予測後に検証する方式を一貫して上回った。反復間でKVを共有すると波面処理のKV転送量がさらに減り、Huginn-3.5Bでは高速化が4.81倍に達した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-19（UTC）
- 最新改訂
- 2026-09-19 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-19 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Looped language models repeatedly apply a weight-shared block to increase effective depth without increasing parameter count, but the resulting T sequential recurrent-block calls per generated token substantially increase decoding latency. To address the issue, we introduce Wavefront Decoding (WFD), a training-free self-speculative decoding framework designed for looped language models. WFD exploits two properties of these architectures: intermediate recurrence outputs provide effective draft predictions, and weight sharing allows token states at different positions and recurrence depths to be processed in one batched recurrent-block call. WFD organizes these mixed-depth states into a diagonal wavefront, continuously drafting new positions at shallow depth while advancing earlier positions toward full-depth verification. Unlike the phase-separated draft-then-verify schedule, WFD therefore co-batches drafting and verification within the same recurrent calls, while rejected drafts are corrected using full-depth predictions. Across six Spec-Bench task categories, WFD achieves 2.42x speedup on Ouro-2.6B and 3.54x on Huginn-3.5B over autoregressive decoding, consistently outperforming draft-then-verify. Cross-recurrence KV sharing further reduces wavefront KV traffic and increases WFD's speedup to 4.81x on Huginn-3.5B.
著者のコメント
17 pages, 7 figures, 8 tables
arXiv ID: 2609.23033 ／ 要約の誤りについて