凍結映像特徴から実環境へ人を検索するSCOUT
SCOUT: Sim-to-Real Text-Based Person Retrieval by Embedding-Space Prediction over Frozen Video Features
この論文をやさしく読む
ひとことで言うと
合成画像で学び実画像から人物を探す課題で、画像・文章エンコーダを固定したまま両者の埋め込みを橋渡しする方法です。重い全体調整なしでどこまで検索できるかを調べます。
何に役立つ？
計算費用を抑えて文章による人物検索を構築するための比較材料です。合成から実画像への移行時に、どの調整が検索上位の精度へつながるかも検証しています。
この研究の面白いところ
エンコーダ同士の埋め込み空間の相性を測り、予測器を学習して対応付けます。追加の軽量調整と属性別再順位付けも調べ、固定モデルの上位精度の弱点を補います。
どこまで分かった？
最終mAP@10の84.25は融合・再順位付けを含む全体で、固定モデル単独は60.63です。全体には16 GPU日で学習した既存CMPも含まれ、95 GPU時間だけで全性能を得たと解釈できません。相性指標の有効性も指標に依存します。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
合成データで学習し実画像ギャラリーを検索するテキストベース人物検索では、シミュレーションから実環境への隔たりを埋めるため高価なクロスエンコーダが使われる。本研究は、エンコーダを凍結したシステムで競争力を得るSCOUTを提案する。学習可能な予測器が、凍結V-JEPA映像エンコーダのパッチトークンを凍結EmbeddingGemmaテキストエンコーダの埋め込み空間へ写像し、双方向InfoNCEで学習する。予測器はQwen3.5-0.8Bデコーダから初期化し、基本モデルではエンコーダを更新しない。 映像特徴と最もよく一致する幾何を持つテキストエンコーダが最良だった。学習不要の整列指標は候補3個の順位を検索精度と同じ順序に並べた（Spearman ρ=1.0）。LLMベースの第4エンコーダでは、近傍重複指標でρ=0.8、線形プローブでρ=−0.2となり、指標依存性があった。ExPLoRA適応と視覚言語モデルによる属性分解再ランキングは上位適合率を改善し、R@1を2.2ポイント上げた。AI City Challenge 2026 Track 4では、検索・融合・再ランキング全体がmAP@10=84.25、凍結モデル単体が60.63だった。学習コストは約95 GPU時間である。16 GPU日学習のCMPは全体システムの融合メンバーであり、代替比較対象ではない。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Text-based person retrieval under a sim-to-real gap (synthetic training data, a real-image gallery) is usually tackled with costly fine-tuned cross-encoders. We ask whether a frozen-encoder system can compete. We present SCOUT, which casts cross-modal retrieval as prediction in embedding space. A trainable predictor maps the patch tokens of a frozen video encoder into the embedding space of a frozen text encoder under a bidirectional InfoNCE objective, and no encoder is fine-tuned in the base model. The video encoder is V-JEPA, the text encoder is EmbeddingGemma, and the predictor is initialized from a Qwen3.5-0.8B decoder. We make three findings. First, the best frozen text encoder is simply the one whose geometry best matches the video features. A training-free alignment score ranks three candidate text encoders in the same order as their retrieval accuracy on our held-out split (Spearman $\rho = 1.0$); a fourth, LLM-based encoder shows the rule is metric-dependent, holding for a neighborhood-overlap score ($\rho = 0.8$) but not for a linear probe ($\rho = -0.2$). Second, two precision-targeted levers, parameter-efficient ExPLoRA adaptation of the video encoder and a training-free attribute-decomposed reranker built on a vision-language model, improve the top-rank precision that otherwise limits the frozen system, adding 2.2 points of leaderboard R@1. Third, a local-versus-public calibration study explains which interventions transfer to the real domain. On AI City Challenge 2026 Track 4 the full retrieve-fuse-rerank system reaches 84.25 mAP@10 on the final leaderboard, while a single frozen model submitted alone reaches 60.63. Our trained components cost about 95 GPU-hours. CMP, the dataset authors' fine-tuned cross-encoder that trains for sixteen GPU-days, is one fusion member of the full system, not an alternative. Code and annotations: https://github.com/abtraore/SCOUT-ECCV
著者のコメント
16 pages, 4 figures, 3 tables. Accepted at the ECCV 2026 Workshop on AI City Challenge (Track 4). Code and annotations: https://github.com/abtraore/SCOUT-ECCV
arXiv ID: 2609.19483 ／ 要約の誤りについて