ノイズ除去の各段階で画像埋め込みを予測し生成を条件づける
Embedding Prediction Helps Image Generation
この論文をやさしく読む
ひとことで言うと
画像生成の各段階で、完成画像の特徴を予測し直し、それを次のノイズ除去の手がかりにする方法です。最初に作った同じ条件を最後まで使う方式を変更しています。
何に役立つ？
考えられる用途は、拡散モデルの画像生成品質や学習効率の改善です。クラス条件付きImageNetの256×256画像で、FID 1.32と学習計算量の削減を報告しています。
この研究の面白いところ
次の埋め込みを予測するTransformerを画像生成器の条件生成に使います。画像の雑音状態が変わるたびに、条件となる埋め込みも更新されます。
どこまで分かった？
学習計算量はREPAの約3分の1とされていますが、サンプリング時には各ステップで第二のネットワークが加わります。したがって推論も同じ割合で軽くなるという結果ではありません。評価はクラス条件付きImageNet 256×256で、最終成績にはREPAとの組合せも含まれます。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
拡散Transformerでは、クラスラベルやテキストの指示を一度だけ埋め込みに変換し、同じ条件をすべてのノイズ除去ステップで再利用する。本研究では、その代わりに予測した埋め込みを条件として使えるかを問う。Next-Embedding Predictive Autoregression（NEPA）は、系列内の次の連続的な埋め込みを予測するようTransformerを学習する。生成時には、きれいな画像が雑音を含む画像に続くため、その埋め込みは条件と雑音画像の後に来る次の埋め込みとなる。 Multi-Embedding Predictionによって、それらすべてを一度に予測するNEPAモデルを学習する。Embedding Conditioned Generationでは、DiT生成器をこの予測で条件づける。予測は各ノイズ除去ステップで再計算するため、条件信号がその時点の雑音状態に適応する。クラス条件付きImageNet 256×256の実験で、生成器の条件、Multi-Embedding Predictionの設計、両モデルの規模拡大を調べる。NEPAモデルは各サンプリングステップに第二のネットワークを追加する。それを用い、さらにREPAと組み合わせた最終モデルNEPA-DiT-XLは、REPAの約3分の1の学習計算量でFID 1.32に到達する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
In diffusion transformers, a class label or a text prompt is embedded once, and the same condition is reused at every denoising step. We ask whether predicted embeddings can serve as this condition instead. Next-Embedding Predictive Autoregression (NEPA) trains a Transformer to predict the next continuous embedding in a sequence. In generation, the clean image follows the noisy image, so its embeddings are the next embeddings after the condition and the noisy image. We train a NEPA model to predict them all at once with Multi-Embedding Prediction, and in Embedding Conditioned Generation, a DiT generator is conditioned on these predictions, recomputed at every denoising step, so the conditioning signal adapts to the current noisy state. Experiments on class-conditional ImageNet $256\times256$ study the condition of the generator, the design of Multi-Embedding Prediction, and the scaling of both models. The NEPA model adds a second network to every sampling step; with it, and combined with REPA, our final model, NEPA-DiT-XL, reaches an FID of 1.32 using about a third of the training compute of REPA.
著者のコメント
Project page: https://sihanxu.me/nepa-dit
arXiv ID: 2610.02203 ／ 要約の誤りについて