複数視点から物体を対応づける3次元領域分割
Hybrid Gaussians for Robust Open-Vocabulary 3D Segmentation with Multi-View Object Association and Boundary Refinement
この論文をやさしく読む
ひとことで言うと
複数の写真に写る同じ物体を3次元空間で結びつけ、文章で指定した物体の領域を見つける方法。
何に役立つ？
撮影した場面を文章で検索し、物体の3次元領域を指定する仕組みの研究に役立つ可能性がある。示された数値はLERFベンチマークでの結果である。
この研究の面白いところ
物体が視点をまたいで同じかどうかと、文章の意味との対応を一緒に扱い、輪郭の補正も別途加えている。LERFでは平均交差率59.1％を報告した。
どこまで分かった？
要旨に具体的な数値があるのはLERFでの平均交差率と相対改善率である。3D-OVSでの数値や、未評価の実画像列での性能は記されていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自由な文章で指定された物体を3次元空間内で見つけるオープン語彙の領域分割は、実際の画像列では難しい。2次元画像から得られる教師情報が不完全だったり雑音を含んだりすると、複数視点にまたがる物体の同一性の割り当てが不安定になる。また、シーン全体の意味情報を学習すると、個々の物体を区別する能力が弱まる。 著者らは、物体の対応づけと言語に整合する意味情報を同時にモデル化する統一的な3次元表現Hybrid Gaussiansを導入する。複数視点の物体対応づけ機構では、観測の統合と意味的な対比学習を組み合わせ、同一性の一貫性と意味による識別能力を改善する。さらに境界再構成の最適化によって、局所的な境界構造を細かく整え、輪郭の品質を高める。LERFと3D-OVSでの実験は、定量・定性の両面で高い性能を示した。LERFでは平均交差率が59.1％となり、基準手法に対して相対的に13.4％改善した。著者らはプロジェクトページも公開している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Open-vocabulary 3D segmentation localizes objects from free-form text queries, but remains challenging in real image sequences: incomplete or noisy 2D supervision destabilizes multi-view identity assignment, while full-scene semantic learning weakens object-level discriminability. We introduce Hybrid Gaussians, a unified 3D representation jointly modeling object association and language-aligned semantics. Its Multi-View Object Association mechanism combines Observation Fusion and Semantic Contrastive Learning to improve identity consistency and semantic discrimination. Boundary Reconstruction Optimization further refines local boundary structure to improve contour quality. Experiments on LERF and 3D-OVS demonstrate strong quantitative and qualitative performance. Our method achieves 59.1\% mIoU on LERF, yielding a 13.4\% relative gain over the baseline. Project page: https://nora202.github.io/hybridgaussians.
arXiv ID: 2609.27462 ／ 要約の誤りについて