高次元の画像表現を拡散生成に使うときの予測方式
On the Diffusibility of High-Dimensional Latents
この論文をやさしく読む
ひとことで言うと
画像の細部を保つ表現では、速度より元画像を予測する方が生成モデルを学習しやすいことを示した。
何に役立つ？
考えられる用途は、事前学習済み画像エンコーダーを使うテキスト画像生成モデルの設計である。要旨は複数エンコーダーでの実験結果を報告する。
この研究の面白いところ
高次元の表現でも実際の信号は低次元にあり、速度予測が余分なノイズ方向を学ぶという説明を与える。
どこまで分かった？
改善は実験に用いた再構成性能の高いエンコーダーで示された。具体的な性能差や他方式への一般化は要旨には記されていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
表現オートエンコーダー（RAE）により、拡散モデルは事前学習済みの画像エンコーダーが作る特徴空間で動作できる。しかし、そのまま使えるエンコーダーの多くは忠実な再構成に最適化されておらず、細かな視覚情報を捨ててしまう。予想どおり、画像再構成のためにこれらを追加学習すると細部は回復する。一方、直感に反して、得られる表現の実効次元は低下し、変化した幾何構造が後段の画像生成に影響する。 具体的には、この高次元空間でフローマッチングの標準的な速度予測を用いると、モデルは低次元の信号多様体の外側にある直交ノイズ方向まで学習しなければならず、最適化が非効率になることを示す。このため、基となる信号多様体に学習を集中させる、クリーンデータのパラメータ化、すなわち x₀ 予測を代わりに用いる。再構成性能の高い複数のエンコーダーを使った実験では、x₀予測によってテキストから画像への生成性能が一貫して改善した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Representation Autoencoders (RAEs) enable diffusion models to operate in the feature spaces of pretrained visual encoders. However, many off-the-shelf encoders are not optimized for faithful reconstruction, discarding fine-grained visual details. As expected, finetuning these encoders for image reconstruction recovers such details. However, perhaps counterintuitively, this procedure reduces the effective dimensionality of the resulting representation, and the altered geometry has downstream effects on generation. Specifically, we show that using the standard velocity prediction in flow matching in this high-dimensional space requires the model to fit orthogonal noise directions outside the low-dimensional signal manifold, making optimization inefficient. This motivates using the clean data parameterization ($\boldsymbol{x}_{0}$-prediction) instead, which focuses learning on the underlying signal manifold. Across experiments with multiple strong-reconstruction encoders, we show that $\boldsymbol{x}_{0}$-prediction consistently improves text-to-image generation performance.
著者のコメント
Accepted to ECCV 2026. Project page: https://cfeng16.github.io/on_the_diffusibility/
arXiv ID: 2609.28473 ／ 要約の誤りについて