拡散モデルの量子化誤差を生成履歴から補正する
Quantization-Aware Kalman Estimation for Diffusion Sampling
この論文をやさしく読む
ひとことで言うと
軽量化した画像生成モデルの誤差を、直前の情報だけでなく生成途中の出力履歴も使って補う方法です。
何に役立つ？
考えられる用途は、低ビットの拡散モデルを使いながら完全精度モデルに近い出力分布を保つことです。ネットワーク本体を変更せずサンプリング側に追加できる設計です。
この研究の面白いところ
誤差補正をカルマン推定の問題として扱い、滑らかな変化という仮定と観測モデルから、履歴を踏まえた出力の推定値を逐次計算します。高次の多段サンプラーにも対応します。
どこまで分かった？
要旨の実験はW4A4のテキスト画像生成モデルを対象としています。分布の不一致の削減が報告されますが、具体的な改善値や補正にかかる時間は示されていません。すべての量子化設定で同じ効果が確認されたという結果ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
量子化は、メモリと計算量を減らして拡散モデルを実装する実用的な方法だが、強い圧縮によって、量子化した出力が完全精度の出力から大きくずれることがある。サンプリング段階の補正手法は、サンプリング中にこうしたずれを補おうとする。しかし、既存の方法は主に局所的な情報に依存し、軌道の履歴を十分に活用していないため、時間ステップをまたいで伝播する誤差を修正する能力が制限されている。 本研究では、量子化したノイズ除去器を用いたサンプリングをオンライン推定問題として定式化する。量子化したノイズ除去器の出力履歴を利用し、サンプラーが必要とする基礎となる完全精度の出力を復元する。滑らかな軌道の事前分布と、条件付きガウス観測モデルを組み合わせた、量子化を考慮するカルマン推定器QuAKEを提案する。各サンプリングステップで、QuAKEは出力ウィンドウに関する事後分布を閉形式で再帰的に更新し、その事後平均をサンプラーへ渡す。 QuAKEは、量子化されたネットワーク自体の変更を必要とせず、そのまま接続できる軽量な補正器であり、任意の高次多段ODEサンプラーに自然に対応する。重みと活性値をともに4ビットにしたW4A4のテキスト画像生成拡散モデル群で実験した結果、QuAKEは完全精度でのサンプリングとの分布の不一致を減らす点で、既存手法を一貫して上回った。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Quantization offers a practical path to deploying diffusion models with reduced memory and computation, but aggressive compression can cause quantized outputs to deviate substantially from their full-precision counterparts. Sampling-stage correction methods seek to compensate for such deviations during sampling, but existing approaches rely primarily on local information and underexploit trajectory history, limiting their ability to correct errors that propagate across timesteps. In this work, we formulate sampling with a quantized denoiser as an online estimation problem, using the history of quantized denoiser outputs to recover the underlying full-precision outputs required by the sampler. We propose QuAKE, a Quantization-Aware Kalman Estimator that combines a smooth trajectory prior with a conditional Gaussian observation model. At each sampling step, QuAKE recursively updates the posterior over the output window in closed form and feeds its posterior mean to the sampler. QuAKE is a lightweight plug-and-play corrector that requires no modification to the quantized network and naturally supports arbitrary high-order multistep ODE samplers. Experiments across W4A4-quantized text-to-image diffusion models show that QuAKE consistently outperforms existing methods in reducing the distributional discrepancy from full-precision sampling.
著者のコメント
20 pages, 6 figures, 2 tables
arXiv ID: 2609.21407 ／ 要約の誤りについて