画像と立体形状をラベルなしで統合し物体を識別する
SenseFuse: Label-Free Fusion of Image and Shape Encoders for Open-Vocabulary 3D Instance Segmentation
この論文をやさしく読む
ひとことで言うと
3Dシーンの物体名を付ける際、画像の見た目と三次元形状の特徴を、正解ラベルなしで適応的に組み合わせます。
何に役立つ？
既存の3D物体分割のうち、マスクへのラベル付けを改善する手法です。ロボットの物体理解につながる用途が考えられます。
この研究の面白いところ
画像と形状は誤り方が異なるため補完しやすいことを利用します。一つのシーンだけから重みをミリ秒で選び、三つのデータセットで評価します。
どこまで分かった？
インスタンスAPの改善は22設定中21設定です。理想的な重みが得る改善の中央値93％を回収するという値は、分類正解率93％という意味ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自由な語彙によるシーン理解はロボティクスの基礎であり、空間推論や物体操作の土台となる。固定語彙による3次元インスタンスセグメンテーションが3次元形状情報を大いに活用する一方、最先端の自由語彙手法でも、マスクにラベルを付ける段階では、主として2次元画像特徴または画像から蒸留した表現に依存している。 本稿では、既存の処理系のマスクラベル付け段階だけを改良する、ラベル不要の融合手法SenseFuseを提案する。2次元画像と3次元形状のエンコーダを適切に組み合わせ、頑健な自由語彙3次元インスタンスセグメンテーションを目指す。2次元画像エンコーダと3次元形状エンコーダの失敗パターンは大部分が異なり、同じ誤ラベルを共有することはまれなのに対して、2つの2次元画像エンコーダは同じ誤りを頻繁に繰り返すことを明らかにする。この相違により、2次元と3次元の組は本質的に相補的となる。 単一シーンのラベルなし候補からミリ秒単位で直接推定する、ラベル不要の感度指標を最大化するよう、シーン単位の融合重みを選ぶ適応機構を導入する。SenseFuseはScanNet200、Replica、ScanNet++のすべての評価設定でラベル付け精度を改善し、最適な重みを知るオラクルで達成可能な改善の67〜100%（中央値93%）を回収した。また、報告した22設定中21設定でインスタンスAPを向上させた。コードはhttps://github.com/hanes1207/SenseFuseで公開している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Open-vocabulary scene understanding is fundamental for robotics, laying the groundwork for spatial reasoning and object manipulation. While closed-vocabulary 3D instance segmentation heavily leverages 3D shape information, state-of-the-art open-vocabulary methods remain predominantly restricted to 2D image features or image-distilled representations during mask labeling. In this paper, we propose SenseFuse, a label-free fusion method that balances 2D image and 3D shape encoders for robust open-vocabulary 3D instance segmentation, refining only the mask-labeling stage of existing pipelines. We reveal that 2D image and 3D shape encoders exhibit largely disjoint failure patterns and rarely share identical wrong labels, whereas two 2D image encoders frequently repeat the same errors. This distinct behavior makes the 2D and 3D pair inherently complementary. We introduce an adaptive mechanism that selects a scene-level fusion weight to maximize a label-free sensitivity measure, estimated directly from a single scene's unlabeled proposals in milliseconds. SenseFuse improves labeling accuracy in every evaluated setting across ScanNet200, Replica, and ScanNet++, recovering 67-100% (median 93%) of the gain achievable with an oracle weight, and it raises instance AP in 21 of 22 reported settings. Code is available at https://github.com/hanes1207/SenseFuse.
著者のコメント
8 pages, 6 figures. Code: https://github.com/hanes1207/SenseFuse
arXiv ID: 2609.20475 ／ 要約の誤りについて