2K画像に対応した高速な3Dテクスチャ生成
UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing
この論文をやさしく読む
ひとことで言うと
3D物体の表面模様を高解像度で作る際、複数視点画像の余分な計算を減らす生成手法。
何に役立つ?
考えられる用途は、高解像度の参照画像から3D素材の細かなテクスチャを作る作業である。要旨では指定データセット上での高速化を報告する。
この研究の面白いところ
背景のトークンを先に捨て、前景の注意計算も疎にすることで、2048解像度の複数視点生成を扱う。
どこまで分かった?
速度倍率は著者らのデータセット内の共通サンプルで基準手法と比較した値であり、他のデータや装置で同じ倍率になるとは示されていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
高品質のテクスチャ生成は、現実的で制作に使える3D素材に重要である。複数視点の拡散モデルは、画像を手掛かりにした3Dテクスチャ生成で有望な結果を示してきたが、通常は512や768程度の低い解像度に制約され、高解像度の参照画像にある細部を保ちにくい。これを2048解像度へ拡大すると、統合された複数視点の系列が21万2000トークンを超え、メモリ使用量と処理遅延が過大になる。 本論文は、高解像度の複数視点拡散モデルによる3Dテクスチャ生成のための、効率的なエンドツーエンドの枠組みUltraTexを提示する。物体中心の複数視点画像には、背景による系列の重複と、前景内部での疎なトークン間相互作用という二つの主な冗長性がある。これらに対し、DiTの本体に入る前に背景トークンを除く「背景トークン削除」と、残った前景系列に対する注意計算を減らす「ブロック疎注意」を導入する。前景だけを効率よく推論しながら再構成の乱れを避けるため、最終的な高解像度画像の品質を保つ「前景を考慮したVAE復号」も設計した。 2K解像度の複数視点拡散学習に必要なデータを満たすため、26万8000点超の3D素材を含む、大規模で超高解像度の複数視点レンダリングデータセットG-buffer TexVerseを構築した。広範な実験では、UltraTexが細かなディテールに富み、見た目に忠実なテクスチャを生成した。データセット中の共通サンプルで基準手法と比較すると、学習は20.6~91.1倍、エンドツーエンドの推論は22.3~74.6倍高速だった。コードとデータが公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-19(UTC)
- 最新改訂
- 2026-09-19 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-19 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
High-quality texture generation is essential for creating realistic and production-ready 3D assets. Recent multi-view diffusion methods have shown promising results for image-guided 3D texturing, but they are typically constrained to low operating resolutions such as 512 or 768, making it difficult to preserve high-frequency details from high-resolution reference images. Scaling this paradigm to 2048 resolution is computationally prohibitive, as the unified multi-view sequence exceeds 212K tokens and incurs excessive memory and latency. In this paper, we present UltraTex, an efficient end-to-end framework for high-resolution multi-view diffusion-based 3D texturing. Our key observation is that object-centric multi-view renderings contain two major sources of redundancy: background-induced sequence redundancy and sparse token interactions within the foreground. To address them, we introduce Background Token Dropping, which removes background tokens before the DiT backbone, and Block-Sparse Attention, which reduces attention computation over the retained foreground sequence. To enable efficient foreground-only inference while avoiding reconstruction artifacts, we further design Foreground-Aware VAE Decoding to ensure the quality of the final high-resolution views. To satisfy the demanding data requirements of 2K-resolution multi-view diffusion training, we construct G-buffer TexVerse, a large-scale, ultra-high-resolution multi-view rendering dataset covering over 268,000 3D assets. Extensive experiments show that UltraTex generates visually faithful textures with rich fine-grained details, while substantially improving efficiency, achieving $20.6\times$--$91.1\times$ training speedup and $22.3\times$--$74.6\times$ end-to-end inference speedup over the baseline on common samples in our dataset. Code and data is at https://yiboz2001.github.io/UltraTex.
arXiv ID: 2609.23169 / 要約の誤りについて