一枚の画像から物体配置を復元するための画素対応3D表現
Mira-Scene: Pixel-Aligned Layouts for Generative 3D Scene Reconstruction
この論文をやさしく読む
ひとことで言うと
一枚の画像から三次元物体を作り、その場面内での位置を画素ごとの対応から復元する。
何に役立つ？
三次元場面生成で物体の細部と配置の正確さを両立させる方法の評価に役立つ。
この研究の面白いところ
物体ごとの基準座標と場面の点群を結び、疎な姿勢変数を直接予測せずに配置を求める。
どこまで分かった？
39.8%と16.5%はSAM3Dとの相対的なIoU改善。要旨に絶対的なIoU値や全ての場面での保証はない。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
一枚の画像から高品質な三次元物体を生成できるようになったが、それらを整合した場面内に正確に置くことは未解決の課題である。中心的な難しさは物体配置の表し方にある。場面全体を生成する方法は、位置を一括して扱うため物体ごとの細部を犠牲にする。物体を組み合わせる方法は形状と配置を分けて忠実度を保つが、通常は配置を疎で範囲のない姿勢変数として表すため学習しにくく、場面全体の教師データが少ないと汎化しにくい。 著者らは、疎な姿勢の回帰を、密で範囲を限定した対応点の復元に置き換える、構成型の三次元場面復元法Mira-Sceneを提案する。中心となるCanonical Coordinate Map（CCM）は、見えている物体の各画素を、その物体に固有で範囲を限定した基準空間の表面座標へ写す、画素に整列した場である。単眼画像の幾何推定から得る場面空間のPoint Cloud Map（PCM）と組み合わせると、基準空間と場面の密な対応が得られ、頑健な幾何学的整列で物体の変換を復元できる。CCMは限定された基準空間で働くため安定した予測対象となり、場面全体の配置注釈なしに、大規模化しやすい物体単位の三次元データで学習できる。 さらに、物体形状とCCMを共同生成するマルチモーダル拡散Transformerを導入する。モダリティ別の専門経路で注意機構と位置符号化を共有し、形状と配置の整合性を促す。屋内、屋外、合成、自然環境の場面での実験では、限定された公開学習データを使いながら、強い基準手法を配置精度で大きく上回った。SAM3Dとの比較では、三次元IoUが相対的に39.8%、二次元IoUが16.5%改善した。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-22 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Single-image 3D object generation can now produce high-fidelity assets, yet accurately placing them into a coherent scene layout remains an open challenge. A central difficulty lies in how object layout is represented. Holistic methods absorb placement into a scene-level generation process, sacrificing object-level detail. Compositional methods preserve object fidelity by decoupling geometry from layout, but typically parameterize layout as sparse, unbounded pose variables that are difficult to learn and generalize poorly under scarce scene-level supervision. We present Mira-Scene, a compositional 3D scene reconstruction framework that replaces sparse pose regression with dense, bounded correspondence recovery. At its core is the Canonical Coordinate Map (CCM), a pixel-aligned field that maps each visible object pixel to a surface coordinate in the object's bounded canonical space. When paired with a scene-space Point Cloud Map (PCM) from monocular geometry estimation, CCM induces dense canonical-to-scene correspondences from which object transformations are recovered through robust geometric alignment. Because CCM operates in bounded canonical space, it provides a stable prediction target that can be trained from scalable object-level 3D data without requiring scene-level layout annotations. Mira-Scene further introduces a multimodal diffusion transformer that jointly generates object geometry and CCMs, using modality-specific expert streams with shared attention and positional encoding to promote geometry-layout consistency. Experiments on indoor, outdoor, synthetic, and in-the-wild scenes show that Mira-Scene substantially outperforms strong baselines in layout accuracy, achieving relative gains of 39.8% in 3D-IoU and 16.5% in 2D-IoU over SAM3D, using limited open-source training data.
著者のコメント
Project Page: https://sunyangtian.github.io/Mira-Scene-web/
arXiv ID: 2609.23796 ／ 要約の誤りについて