arXiv論文メモ
新着一覧
cs.CV · 査読状況未確認

深度に基づく対照学習で2D画像表現に3D空間情報を加える

Depth-Guided Contrastive Learning for 2D Representations with 3D Spatial Awareness

Liang Zeng and Maarten Vergauwen

この論文をやさしく読む

ひとことで言うと

画像内の画素どうしの三次元的な近さを使い、二次元画像の表現学習を改善する方法です。

何に役立つ?

場面理解に使う視覚モデルへ空間構造の情報を加える補助的な学習目標として利用が考えられます。

この研究の面白いところ

絶対的な深度値ではなく画素間の相対距離を比較するため、深度の尺度に依存しません。

どこまで分かった?

要旨は複数データセットとモデルでの改善を述べていますが、改善幅や実際の三次元計測精度は示していません。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

標準的な対照学習の枠組みは主に意味情報を重視して設計されているが、場面を理解するには三次元の空間構造を保つ二次元視覚表現も重要である。著者らは、二次元の対照表現学習へ三次元の空間認識を組み込む単純な補助目標として、Depth-Guided Contrastive Learning(DGCL)を提案する。中心となる考えは、深度を使って局所的な三次元空間の近さを、対照学習における表現の類似性へ変換することである。三次元空間で近い画素の表現を、遠い画素の表現より似せるように学習する。絶対的な深度値には依存せず、無作為に選んだ画素間の相対的な三次元距離の比較で教師信号を作る。このため深度の尺度に依存せず、計算効率がよく、既存の対照学習枠組みに組み込みやすい。異なるデータセットとモデルを用いた実験では、DGCLは二次元表現学習を一貫して改善し、空間・幾何の理解が強まることで意味情報に関する後段のタスクにも利益をもたらした。コードは公開されている。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-23(UTC)
最新改訂
2026-09-23 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Standard contrastive learning frameworks are mainly designed from a semantic perspective, yet learning 2D visual representations that preserve 3D spatial structure is also important for scene understanding. In this work, we propose Depth-Guided Contrastive Learning (DGCL), a simple auxiliary objective that injects 3D spatial awareness into 2D contrastive representation learning. Our key idea is to use depth to convert local 3D proximity into contrastive similarity: pixels that are closer in 3D space are encouraged to have more similar representations than pixels that are farther apart. Instead of relying on absolute depth values, DGCL formulates supervision through relative 3D distance comparisons among randomly sampled pixels, making the objective invariant to depth scale, efficient to compute, and easy to integrate into existing contrastive frameworks. Experiments across different datasets and models show that DGCL consistently improves 2D representation learning and benefits semantic downstream tasks by stronger spatial and geometric understanding. The code is available on https://github.com/LeungTsang/DGCL.

arXiv ID: 2609.28159 / 要約の誤りについて