深度整合を使いDINOv3の特徴を三次元検出へ移す
DIFTA-3D: Depth-Consistent Instance-Level Feature Transfer and Adaptation of DINOv3 for 3D Detection
この論文をやさしく読む
ひとことで言うと
二次元画像の基盤モデルが持つ特徴を、深度との整合を確認しながら三次元物体検出に取り込む設定を評価しています。
何に役立つ？
別途学習した二次元検出器への依存を減らし、既存の視覚基盤モデルを三次元検出で利用する設計の参考になります。
この研究の面白いところ
性能差だけを報告するのでなく、同じ系内の対照との比較と、処理の違う既存手法の参考値を明確に分けています。
どこまで分かった？
0.44と1.23はmAPのポイント差です。既報のIIFNet3Dとの直接的な優劣や、VAID・深度フィルタリングそれぞれの因果効果を確定した結果ではなく、著者も設定全体の比較として解釈しています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
RGB-Dによる三次元インスタンス検出は視覚的な意味情報の恩恵を受けるが、IIFNet3Dで用いられる課題専用のFaster R-CNN/ResNet分岐は、特徴抽出を別途学習された二次元検出器とその画像領域のラベルに結び付けている。この分岐を凍結した視覚基盤モデルへ置き換えると、その課題固有の依存を取り除けるが、遮蔽によるノイズや、パッチ特徴と幾何を考慮した検出特徴との不一致が生じ得る。 本研究では、DINOv3をIIFNet3Dのインスタンス単位融合処理に適応させ、この置換を調べる。中心となるのは、シーンの点を較正済みRGB-Dフレームへ投影し、実距離の単位で深度残差を確認し、採用したDINOv3特徴を平均してオフラインの点キャッシュに格納し、候補に位置合わせしたRoIグリッド内でキャッシュ特徴を集約する、深度整合型の特徴処理である。幾何の処理経路と双方向のインスタンス融合経路は維持する一方、Conservative VAIDを、正のRoIだけに適用する、支持情報で重み付けした弱い意味蒸留の設定として評価する。 提案した特徴転用の設定を評価するため、ScanNetV2で広範な評価を行う。DINOv3の対照設定は、IoU閾値0.25と0.50でそれぞれmAP 76.15と60.93を達成する。Conservative VAID設定では76.59と62.16となり、このチェックポイント単位の設定比較において、対照設定より数値上0.44ポイントと1.23ポイント高い。IIFNet3Dの既報値75.7/63.8は、視覚分岐と処理手順が異なるため、外部参照としてのみ用いる。したがって、結果は制御された転用設定を支持する根拠と解釈し、VAIDや深度フィルタリングの個々の寄与についての因果的な推定とは解釈しない。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
RGB-D 3D instance detectors benefit from visual semantics, but the task-specific Faster R-CNN/ResNet branch used by IIFNet3D couples feature extraction to a separately trained 2D detector and its image-domain labels. Replacing that branch with a frozen vision foundation model removes this task-specific dependency, but may introduce occlusion noise and a mismatch between patch features and geometry-aware detection features. In this work, we investigate this replacement through an adaptation of DINOv3 to the instance-level fusion pipeline of IIFNet3D. At the core of our approach is a depth-consistent feature pipeline that projects scene points into calibrated RGB-D frames, applies a metric depth-residual check, averages the accepted DINOv3 features into an offline point cache, and aggregates the cached features inside proposal-aligned RoI grids. The geometric and bidirectional instance-fusion paths are preserved, while Conservative VAID is evaluated as a low-strength, support-weighted semantic distillation recipe applied only to positive RoIs. We conduct extensive evaluations on ScanNetV2 to assess the proposed transfer recipes. On ScanNetV2, our DINOv3 control achieves mAP scores of 76.15 and 60.93 at IoU thresholds of 0.25 and 0.50, respectively. The Conservative VAID setting achieves mAP scores of 76.59 and 62.16, corresponding to numerical gains of 0.44 and 1.23 points over the control, respectively, in this checkpoint-level recipe comparison. The reported IIFNet3D result of 75.7/63.8 is used only as an external reference because the visual branch and processing protocol differ. Accordingly, we interpret these results as evidence for a controlled transfer recipe rather than as a causal estimate of the individual contributions of VAID or depth filtering.
著者のコメント
9 pages, 6 figures, conference paper
arXiv ID: 2609.26702 ／ 要約の誤りについて