時空間推論ベンチマークの座標・時刻・正解を原資料から修正
ReSTI: A Source-Grounded Audit and Repair of STI-Bench
この論文をやさしく読む
ひとことで言うと
動画の位置や時間を問う評価問題について、正解の座標・時刻が元データと合っているかを調べ、直せる問題を修正しています。
何に役立つ？
モデルの誤答と、評価データ側の誤りを切り分けるために役立ちます。対象と単位を明示した問題を使い、評価結果を元資料へたどれるようにします。
この研究の面白いところ
単純なラベルの変更だけでなく、座標系の整合や回転を測る平面まで再構成しています。修復できない282問を根拠付きで除外したことも記録します。
どこまで分かった？
対象はSTI-Benchの2064問で、保持された1782問は原資料から復元できた範囲です。要旨には修正前後のモデル順位や性能値の比較はありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
空間・時間に関するベンチマークが妥当であるためには、質問、元の注釈、解答の選択肢が同じ物理量を指していなければならない。本研究では、STI-BenchをScanNet、Waymo、Omni6DPoseの公式資料と照合して監査し、座標系と時刻の系統的な誤り、対象や時刻の指定不足、正解として指定された選択肢と解答の詳細の不一致を見いだす。 そこで、対象、時刻、座標系、物理量、単位を明示した上で、復元可能なすべての解答を再構成する、原資料に基づく改訂版ReSTIを導入する。原資料からの再構成により、課題単位の幾何学的な問題が明らかになる。ScanNetのGroundingでは、注釈の座標系と生のカメラ座標系の必要な整合が欠けており、Orientationではカメラの回転を誤った平面で測っている。 ReSTIはこれらのラベルを、明示的で原資料と整合した幾何学的定義に置き換える。また、誤った時刻で評価されたWaymoの姿勢など、原資料によって検証できる他の不備も修正する。従来の2064問のうち1782問を残し、282問について証拠に基づく除外を記録する。これによりReSTIは、動画の精密な空間・時間推論を評価するための、慎重で原資料まで追跡可能な基盤を提供する。プロジェクトページはhttps://github.com/pengzhansun/ReSTIである。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Spatial--temporal benchmarks are valid only when their questions, source annotations, and answer options identify the same physical quantity. We audit STI-Bench against the official ScanNet, Waymo, and Omni6DPose sources and find systematic coordinate-system and timestamp errors, under-specified targets and times, and disagreements between keyed options and answer details. We introduce ReSTI, a source-backed revision that reconstructs every recoverable answer under an explicit target, time, coordinate system, physical quantity, and unit. Source reconstruction reveals task-level geometric failures: ScanNet Grounding omits the required alignment between annotation and raw camera coordinate systems, while Orientation measures camera rotation on the wrong plane. ReSTI replaces these labels with explicit, source-consistent geometric definitions and corrects other source-verifiable defects, including Waymo poses evaluated at the wrong timestamp. Across 2,064 legacy questions, ReSTI retains 1,782 questions and records 282 evidence-backed exclusions. ReSTI therefore provides a conservative and source-traceable basis for evaluating precise video spatial--temporal reasoning. Project page: https://github.com/pengzhansun/ReSTI.
arXiv ID: 2609.24727 ／ 要約の誤りについて