arXiv論文メモ
新着一覧
cs.CV · 査読状況未確認

少量データで単一画像から3D形状を復元する手法

Point Diffusion Mamba: Unified Diffusion-State-Space Modeling for Single-View 3D Reconstruction under Data Scarcity

Wei Zhou, Xinzhe Shi, Xingxing Hao, Xing Hao, Kang Li, Jinye Peng, Ying He

この論文をやさしく読む

ひとことで言うと

拡散モデルとMambaを組み合わせ、少量のデータで1枚の画像から3D形状を復元する手法。

何に役立つ?

学習データが少ない状況での単一画像3D復元に役立つ可能性がある。

この研究の面白いところ

各点の局所形状と全体の意味情報を融合し、生成モデルの事前知識を使って復元する。

どこまで分かった?

ShapeNetとPix3Dで既存手法を上回ったと報告する。要旨に、ほかのデータや実環境での性能数値は示されていない。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

単一画像からの3D復元は進歩しているが、曖昧さを含む2D観測から複雑な3D構造を推定する問題は本質的に解が一意に定まらず、とりわけ研究が不足している少量データの条件では難しい。この課題に対し、拡散モデルの生成能力と状態空間モデルの効率を統合したPoint Diffusion Mamba(PDM)を提案する。PDMは順序のない点群入力を効率よく扱う軽量な復元モジュールを備える。局所幾何集約モジュールとMambaブロックを組み合わせ、全体的な幾何構造と局所的な細部を同時にモデル化する。3D復元では、初期のノイズを含む入力の各点を精確に予測する必要があるが、Mambaが疎な点から抽出する高水準の特徴は抽象的な意味情報にとどまる。この隔たりを埋めるため、各点について高水準の意味特徴と局所幾何特徴を融合する階層的特徴統合ネットワークを導入し、トークンに基づく点群復元の限界に対処する。さらに、生成モデルの事前知識を使って3D生成と単一画像からの復元を適応的に結び付け、品質を高める動的重み付きサンプリングを提案する。ShapeNetとPix3Dでの実験では、PDMが既存の最高水準の手法を上回り、少量データ条件での3D復元に有効であることを示した。コードは著者らのGitHubで公開されている。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-22(UTC)
最新改訂
2026-09-22 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

While single-view 3D reconstruction has seen significant progress, extrapolating complex 3D structures from inherently ambiguous 2D observations remains fundamentally ill-posed, particularly in the critically underexplored data-scarce regime. To address this challenge, we propose Point Diffusion Mamba (PDM), a method that integrates the generative power of diffusion models with the efficiency of state-space model for single-view 3D reconstruction under data-scarce conditions. Specifically, PDM employs a lightweight reconstruction module tailored to handle unordered point-cloud inputs effectively. By combining a Local Geometric Aggregation module with Mamba blocks, our approach jointly models global geometric structures and local details. In 3D reconstruction, each point in the initial noisy input requires a precise prediction, yet the high-level features extracted by the Mamba module capture only abstract semantic information from sparse points. To bridge this gap, we introduce the Hierarchical Feature Integration Network, which fuses high-level semantic and local geometric features for each point, overcoming the limitations of token-based point-cloud reconstruction. Furthermore, we propose a Dynamic Weighted Sampling strategy that adaptively unifies 3D generation with single-view reconstruction by leveraging generative priors to enhance reconstruction quality. Experimental results on the ShapeNet and Pix3D benchmarks demonstrate that PDM outperforms state-of-the-art methods, providing an effective solution for 3D reconstruction under data-scarce settings. Code is available at: https://github.com/NWUzhouwei/PDM.

arXiv ID: 2609.25538 / 要約の誤りについて