室内写真1枚から物体配置を保つ3D空間を作る
HARMONY: Hierarchical Agentic Reasoning for MONocular Image-to-Scene Synthesis
この論文をやさしく読む
ひとことで言うと
室内写真の家具や小物を、互いの位置関係と置く順序を考えながら3D空間に再配置する手法です。画像理解に加えて点群の幾何情報を使い、写真とのずれを直します。
何に役立つ？
考えられる用途は、写真をもとにした室内3Dモデル作成の支援です。要旨では合成画像と実画像で再構成手法を比較しています。
この研究の面白いところ
家具を配置してからその上の小物を置くなど、物体の依存関係に沿って処理します。各配置の後に幾何的な補正を入れ、意味的に自然な配置と画像への一致を両立しようとします。
どこまで分かった？
要旨には具体的な評価指標値や寸法精度の保証はありません。GPT-6 Astraとの比較は定性的であり、数値で性能差を確定した実験とは区別する必要があります。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
構成要素を組み合わせた3D場面の再構成は、近年二つの方向から研究されている。一つは空間関係の意味的な理解を提供するが、入力画像との精密な位置合わせに欠けるエージェントによる推論である。もう一つは、入力画像から密な点マップを予測するが、再構成品質には限界のある視覚幾何の基盤モデルである。そのため、単眼画像1枚から、物体間の関係が正確で再構成品質も高い完全な3D場面を復元することは依然として難しい。 本論文では、エージェントによる推論と視覚幾何の基盤モデルの両方を利用する、階層的な思考連鎖フレームワークHARMONYを提案する。室内画像が与えられると、空の3D間取りから出発し、まず参照画像に対してカメラを較正して、意味的な根拠を持つ空間座標系を確立する。次に、視覚言語モデル（VLM）を使ったエージェントの推論によって3Dの室内配置と初期の配置順を復元する。その後、壁に取り付ける要素、自立する家具、家具の上に置く装飾という階層順で物体を配置する。家具には深さ優先探索も用い、各配置がすでに確定した構造を条件とするようにする。また、振り返りによるフィードバックのループで誤差の蓄積を防ぐ。VLMが各物体を配置した後には、推定点群を使った幾何的な調整を行い、描画画像を入力によりよく一致させる。 HARMONYは参照画像と意味的に整合し、知覚的にも一致する3D場面を生成でき、1枚の画像からの構成的再構成を複雑な室内画像へ拡張する。合成画像と実画像での実験では、評価対象の再構成手法を上回った。またGPT-6 Astraとの定性的な比較では、物体配置がより忠実で、場面の細部もよりよく保持されることが示唆された。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Compositional 3D scene reconstruction has recently been explored from two directions: agentic reasoning that provides semantic understanding of spatial relationships but lacks precise alignment with input images; and visual geometry foundation models that predict dense point maps from input images but the reconstruction quality is limited. Therefore, recovering a complete 3D scene from a single monocular image with accurate inter-object relationships and high-fidelity reconstruction quality remains challenging. In this paper, we present HARMONY, a hierarchical chain-of-thought framework that leverages both agentic reasoning and visual geometry foundation. Given an image of an indoor scene, starting from an empty 3D floorplan, HARMONY first calibrates the camera against the reference image to establish a semantically-grounded spatial frame, then uses agentic VLM reasoning to recover the 3D room layout and an initial placement order. It then places the objects in a hierarchical order, from wall-mounted elements, free-standing furniture, to dependent decorations on top of furniture. We also use depth-first traversal for furniture so each placement conditions on previously resolved structure and a reflective feedback loop to avoid error accumulation. After each object placement by VLM, we use the point cloud estimations to perform geometry-based refinement so that the rendered image aligns better with the input. HARMONY can produce 3D scenes that are semantically consistent and perceptually aligned with the reference image, extending single-image compositional reconstruction to complex indoor scene images. Experiments on synthetic and real-world images demonstrate that HARMONY outperforms the evaluated reconstruction baselines, while qualitative comparisons with GPT-6 Astra suggest more faithful object arrangements and better preservation of scene details.
著者のコメント
Project Page: http://cwchenwang.github.io/harmony
arXiv ID: 2609.26793 ／ 要約の誤りについて