並列下書きを逐次モデルで検証して文書OCRを高速化
Diffusion Drafts, AR Verifies: Accelerating Document OCR with Self-Speculative Decoding
この論文をやさしく読む
ひとことで言うと
文書の文字起こしで複数トークンをまとめて下書きし、順序を考慮する経路で確認してから確定することで、処理を速める方法です。
何に役立つ？
考えられる用途は、画像文書をテキストや構造付きデータへ変換する処理の高速化です。研究では実際のSGLang提供環境で復号とページ全体の処理速度を評価しています。
この研究の面白いところ
下書き専用の別モデルを用意せず、共有パラメータのモデル内で並列生成と自己回帰検証を分担します。自己回帰経路での強化学習を下書き側の改善にも利用しています。
どこまで分かった？
3.94倍は切り抜き領域の復号部分だけの値で、ページ全体の高速化は1.32倍です。最終Overallスコア95.16は元モデルの95.48を下回っています。Overallはベンチマークの総合指標であり、文字の正答率と同一ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自己回帰型のOCR視覚言語モデルは、文書画像を正確にテキストや構造化マークアップへ変換できるが、出力トークンごとに逐次復号の1ステップが必要であり、推論速度が制限される。自由な文章生成と異なり、OCR出力は入力画像に強く根拠付けられるため、拡散による並列生成が有望である。しかし、1回の拡散ステップで複数のトークンを予測すると、各トークンは他のトークンが分かる前に予測される。そのまま確定すれば誤りが生じ得る。そこで、並列の下書き生成と因果的な自己回帰検証を共同学習する、パラメータ共有型の自己回帰・ブロック拡散モデルGravityOCRを導入する。確定前に下書きを検証することで、別の下書きネットワークを使わずに、1ラウンドで複数の出力トークンを確定できる。 因果的な自己回帰経路は、系列単位・構造単位のOCR報酬を用いるGRPOも可能にする。これによって、拡散軌道の尤度推定を避けながら、共有される下書き生成側のパラメータも更新できる。OmniDocBench v1.6では、自己回帰経路のGRPOにより、拡散下書きの効率を落とさずにOverallスコアが94.92から95.16へ向上した。最終モデルの値は、元のGLM-OCRの95.48にも近い。SGLangを用いた提供環境では、GravityOCRは順伝播1回につき平均9.7トークンを確定し、自己回帰復号に比べて、領域切り抜き画像の復号部分のみで3.94倍、ページ処理全体で1.32倍の高速化を達成した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Autoregressive OCR vision-language models accurately convert document images into text and structured markup, but require one sequential decoding step per output token, limiting inference speed. Unlike open-ended text generation, OCR outputs are strongly grounded in the input image, making diffusion-based parallel generation promising. However, when several tokens are predicted in one diffusion step, each is predicted before the others are known. Committing them directly can therefore introduce errors. We therefore introduce GravityOCR, a parameter-shared AR-block-diffusion model jointly trained for parallel drafting and causal AR verification. Verifying drafts before commitment lets the model commit multiple output tokens per round without a separate drafting network. The causal AR path also enables GRPO with sequence- and structure-level OCR rewards, avoiding diffusion-trajectory likelihood estimation while updating the shared drafter parameters. On OmniDocBench v1.6, AR-path GRPO improves the Overall score from 94.92 to 95.16 without reducing diffusion drafting efficiency, while the final model remains close to the original GLM-OCR score of 95.48. In an SGLang serving deployment, GravityOCR commits an average of 9.7 output tokens per forward pass and achieves a $3.94\times$ decode-only speedup on region crops and a $1.32\times$ end-to-end page-processing speedup over AR decoding.
arXiv ID: 2609.26638 ／ 要約の誤りについて