3D生成画像をその場で修正して学習する手法
OREO: Fidelity Alignment in 3D Generation via On-the-fly Rendering-Editing Optimization
この論文をやさしく読む
ひとことで言うと
3D生成物を2Dモデルでその場で修正し、その画像を手本に3D生成器を改善する方法です。
何に役立つ？
考えられる用途は、3D素材を生成するモデルの見た目の改善です。要旨で実証されているのは、事前学習済みの比較手法に対する実験での改善です。
この研究の面白いところ
固定データセットの代わりに生成器自身の出力を修正して学習に戻し、形状や視点を保ちながら視覚品質を上げます。
どこまで分かった？
要旨には具体的な評価指標や改善幅、対象となる3D素材の範囲は示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
近年の3D生成技術は進歩したものの、生成物の視覚的な忠実度が十分でないことが多い。この差を埋めるため、著者らは豊富な2D拡散モデルの事前知識を利用して3D生成器の写実性を高める整合手法OREOを提案する。OREOは固定されたデータセットに頼らず、生成した3D物体のレンダリング画像をその場で編集し、2Dの擬似的な正解画像として使う動的な最適化の循環を作る。 中心となる「強化編集」では、2Dモデルが3D出力のレンダリング画像を修正し、元の形状、視点、内容を保ちながら視覚的な忠実度を高める。この修正画像を質の高い教師信号として使うことで、3D生成器は自ら生成した例から学び、見た目の品質を段階的に改善できる。実験では、OREOが事前学習済みの比較手法を改善し、より写実的な3D生成物を作ることが示された。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Despite recent advancements in 3D generation, models often struggle to produce assets with high visual fidelity. To bridge this gap, we propose OREO, an alignment framework that enhances the realism of 3D generators by leveraging rich 2D diffusion priors. Instead of relying on static datasets, OREO establishes a dynamic optimization loop that produces on-the-fly edited renderings as 2D pseudo-targets. At its core, we introduce Reinforced Editing, which utilizes a 2D model to refine rendered views of the 3D output, enhancing their overall visual fidelity while preserving the underlying geometry, viewpoint, and content. These refined views serve as high-quality supervision targets, enabling the 3D generator to learn from its own generated samples and progressively improve its visual quality. Experiments demonstrate that OREO effectively improves upon pre-trained baselines, producing 3D assets with enhanced visual realism.
著者のコメント
Accepted to ECCV 2026. Our project page is at https://theericma.github.io/oreo/
arXiv ID: 2609.29788 ／ 要約の誤りについて