視覚言語モデルの距離や方向の判断を幾何ツールで改善
Seeing Is Not Measuring: Tool-Augmented Metric Spatial Reasoning for Vision-Language Models
この論文をやさしく読む
ひとことで言うと
視覚言語モデルに三次元検出と距離計算のツールを組み合わせ、距離や方向の判断を大きく改善した。
何に役立つ？
画像から物体までの距離や相対方向を答えるシステムの設計に役立つ。
この研究の面白いところ
正解の境界箱との比較で、ツールの連携による誤差と物体検出による誤差を分けている。
どこまで分かった？
物体の大きさは実際の検出器の境界箱誤差に制約され、改善は小さかった。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
視覚言語モデルは場面の説明は得意だが、絶対距離、物体の実寸、自分から見た方向など、尺度を伴う三次元構造の推論は苦手である。本研究は、小型の視覚言語モデルQwen3.5-4Bに、三次元物体検出、実寸を伴う奥行き推定、距離・大きさ・方位を求める決定的な計算器を加える、予測器に依存しないモジュール型の枠組みを提示する。各物体を最も見やすい視点のカメラ座標系で検出し、その視点の姿勢を使って、すべての検出結果を共通の世界座標系に移す。 尺度を伴う計算をモデルの重みから明示的な計算器に移すと、ReVSI-Benchの4課題中3課題で大きく改善した。強力な単眼検出器WildDet3Dを使うと、絶対距離の平均相対正確度は0.46から0.74、相対距離の正解率は39.1%から67.4%、相対方向は偶然以下の25.9%から73.4%へ上がった。ツールの接続部分で検出器を交換できるため、実際の検出器と正解の境界箱を比較し、知覚誤差と推論誤差を分けられる。ツールの連携自体による損失は平均相対正確度で0.03にとどまった。一方、物体の大きさは検出器に制約される。正解の境界箱を使うとツールはほぼ正確な0.97に達するが、最良の実検出器はツールなしの基準値0.58をわずかに上回る0.61だった。大きさを、単眼検出器が誤りやすい境界箱の広がりから直接求めるためである。手順を事前に指定しなくても、モデルは自分でツールを適切な順序で使い、4課題中3課題で定型的な処理工程と同等だった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Vision-Language Models (VLMs) describe scenes well but reason poorly about metric 3D structure such as absolute distances, physical sizes, or egocentric directions. We present a modular, predictor agnostic, tool-augmented framework that equips a small VLM (Qwen3.5-4B) with geometric tools: 3D object detection, metric depth estimation, and deterministic solvers for distance, size and bearing. Each object is detected in the camera frame of its own best view, and the tools use that frame's pose to lift every detection into one shared world frame. Moving metric computation out of the model's weights and into explicit solvers yields large gains on three of four ReVSI-Bench tasks: with a strong monocular detector (WildDet3D), absolute distance rises from 0.46 to 0.74 Mean Relative Accuracy (MRA), relative distance from 39.1% to 67.4%, and relative direction from a below-chance 25.9% to 73.4%. Because any detector can be swapped in behind the tool interface, comparing real detectors against ground-truth boxes separates perception error from reasoning error: orchestration costs only 0.03 MRA. Object size is bounded by the detector: the tools are near-exact on groundtruth boxes (0.97) yet the best real detector barely beats the no-tool baseline (0.61 vs. 0.58), because size reads straight off a box extent monocular detectors get wrong. Without a predefined recipe, the model already sequences the tools correctly on its own, matching a scripted pipeline on three of four tasks.
arXiv ID: 2609.29073 ／ 要約の誤りについて