画像の離散トークン化学習を安定させるStableVQ
StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training
この論文をやさしく読む
ひとことで言うと
画像を離散的な記号に変換するモデルで、画像の符号化側と記号辞書側の学習が互いに依存しすぎる問題を扱います。役割ごとに目的と学習速度を分ける方法です。
何に役立つ？
画像生成モデルの前段となるトークナイザーを、安定して学習させる用途が考えられます。要旨で実証しているのはImageNetでの利用率や画像再構成品質などの改善です。
この研究の面白いところ
辞書を大きくするだけでなく、各部分が単独で役割を果たせる学習目的に作り直します。三つの変更を組み合わせつつ、学習可能なパラメータは増やしません。
どこまで分かった？
評価対象として挙げられているのはImageNetと複数の辞書サイズ・初期化設定です。改善幅の具体的な数値や、最終的な画像生成タスクでの効果は要旨には示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ベクトル量子化（VQ）は、現在の自己回帰型およびマスク型の画像生成モデルを支える離散画像トークナイザーの基礎である。近年の共有射影コードブック手法はコードブックの利用率を大きく改善したが、学習の安定性は依然として重要で、十分に研究されていない課題である。本研究では、その根本原因はエンコーダー・デコーダーとコードブックの学習が絡み合っていることにあると論じる。どちらのモジュールも単独では自らの役割を確実に果たせないため、二つの部分系がたまたま協調したときにしか全体が機能せず、この不安定な条件は学習への負荷が最も大きいときに崩れる。 各モジュールが持つべき学習目的を見直し、それぞれを独立に役割を果たすよう学習させたときに生じる問題を解決するStableVQを提案する。具体的には、第一にDynamic STEがエンコーダーの学習目的の不安定性を修正し、コードブックの利用率が低い場合でも、離散的な正則化の下で再構成空間を安定して最適化できるようにする。第二にRegion VQ Lossがコードブックの学習目的を再構成し、コードの活性化を促すためにエンコーダーの振動に頼らず、エンコーダーの出力分布全体への追従を独立に保証できるようにする。第三にDecoupled Scheduleは、エンコーダー・デコーダーとコードブックの異なる責任には異なる最適化の動きが必要だと捉え、それぞれに独立した学習率スケジュールを割り当てて、系全体の安定した振る舞いを確保する。 StableVQは共有射影コードブックを土台とする軽量な手法で、学習可能なパラメータを追加しない。ImageNetでの実験では、さまざまなコードブックサイズと初期化設定にわたって、学習の安定性、コードブック利用率、再構成品質が一貫して改善した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Vector Quantization (VQ) is fundamental to discrete visual tokenizers that power modern autoregressive and masked image generation models. While recent shared-projection codebook methods have substantially advanced codebook utilization, training stability remains a critical and underexplored challenge. We argue that the root cause lies in the entanglement of the Encoder--Decoder and Codebook training: because neither module can reliably fulfill its own responsibility in isolation, the system can only function when the two subsystems happen to cooperate---a fragile condition that breaks down precisely when training is most stressed. We propose StableVQ, which revisits the proper learning objective of each module and resolves the problems that arise when each is trained to fulfill its own role independently. Concretely, (1) Dynamic STE corrects the instability in the Encoder's learning objective, enabling it to robustly optimize the reconstruction space under discrete regularization even when codebook utilization is low. (2) Region VQ Loss reconceives the Codebook's learning objective so that it can independently guarantee full tracking of the encoder output distribution, without relying on encoder oscillations to drive activation. (3) Decoupled Schedule recognizes that the distinct responsibilities of the Encoder--Decoder and the Codebook demand distinct optimization dynamics, and assigns each an independent learning rate schedule to ensure robust system-level behavior. Built on top of shared-projection codebooks, StableVQ is lightweight and introduces no learnable parameters. Experiments on ImageNet demonstrate consistent improvements in training stability, codebook utilization, and reconstruction quality across diverse codebook sizes and initialization settings.
著者のコメント
Project page: https://tt-day.github.io/StableVQ/
arXiv ID: 2609.26774 ／ 要約の誤りについて