知覚情報を使って3次元ガウス表現の領域分割を改善する
PePESeg3D: Perception Prior Enhances Multi-Scale Segmentation for 3D Gaussian Splatting
この論文をやさしく読む
ひとことで言うと
3次元場面の形を作る段階と領域を分ける特徴学習の両方に深度やマスクの情報を使い、分割精度を改善した。
何に役立つ？
3DGSで表現した場面の物体を複数の細かさで分ける処理や、場面再構成の改善に役立つ可能性がある。
この研究の面白いところ
従来は別々だった幾何再構成と特徴学習の両方へ知覚情報を入れ、三つのベンチマークで性能を評価した。
どこまで分かった？
要旨が示す評価対象はSPIn-NeRF、LERF-Mask、NVOSであり、あらゆる場面での性能を示したものではない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
3次元ガウス・スプラッティング（3DGS）は、多段階の領域分割にも使われ始めている。従来法ではガウス要素による場面再構成と多段階分割用の特徴学習を別々に行うため、幾何形状は意味的な構造を反映せず、特徴学習も不完全なマスク教師情報に左右される。本研究は、知覚に関する事前情報を多段階3Dガウス領域分割へ組み込むPePESeg3Dを提案する。事前情報を対照学習だけでなく、その前段の幾何再構成にも入れる。具体的には、PePE Reconstructionで単眼深度とマスクの制約を使い、意味的に一貫した物体形状を得る。これに基づくPePE Contrastive Learningでは、密な深度・色の手掛かりと、視点間で一貫する中心点の教師情報を使い、2次元基盤モデル由来の多段階マスクの不完全さを補う。 SPIn-NeRF、LERF-Mask、NVOSのベンチマークでの広範な実験では、多段階領域分割と場面再構成の双方で既存最高水準の性能を達成した。正確な多段階3D領域分割には、幾何形状の最適化と特徴学習の両方に知覚情報を組み込むことが重要だと示している。コードは著者らが公開している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Recent advancements in 3D Gaussian Splatting (3DGS) have extended its capabilities to multi-scale segmentation. Existing methods reconstruct a scene with Gaussian primitives and learn multi-scale segmentation features separately, which leaves the geometry unaware of semantic structure and the feature learning dependent on incomplete mask supervision. To address these limitations, we present PePESeg3D, a novel framework that injects perception priors into a multi-scale 3D Gaussian segmentation pipeline. To fully exploit perception priors, we integrate them not only into contrastive feature learning but also into the upstream geometry reconstruction. Specifically, PePE Reconstruction incorporates monocular depth and mask constraints to ensure semantically coherent object structures. Building on this aligned geometry, PePE Contrastive Learning leverages dense depth-color cues and view-consistent centroid supervision to compensate for the incompleteness of multi-scale masks obtained from a 2D foundation model. Extensive experiments on the SPIn-NeRF, LERF-Mask, and NVOS benchmarks demonstrate that PePESeg3D achieves state-of-the-art performance in both multi-scale segmentation and scene reconstruction, highlighting the importance of integrating perception priors into both geometry optimization and feature learning for accurate multi-scale 3D segmentation. Our code is available at https://github.com/BeCow5X5/PePESeg3D.
著者のコメント
Accepted to BMVC 2026
arXiv ID: 2609.28645 ／ 要約の誤りについて