画像検索の特徴空間がCLIPの適応性能を左右する
Retrieval Geometry Shapes Cache-Based Clip Adaptation
この論文をやさしく読む
ひとことで言うと
CLIPが過去の画像を参照して予測を直すとき、保存内容よりも画像の探し方が改善幅を大きく左右する場合がある。
何に役立つ？
分布の変化する画像環境で、追加学習なしにキャッシュを使った予測を改善する設計に役立つ。
この研究の面白いところ
同じ記憶でも検索器を変えるとImageNet-Aの改善が最大0.44ポイントから19.7ポイントまで変わった。
どこまで分かった？
数値は指定されたImageNetの変化と比較条件による結果であり、遠隔探査や科学画像での性能値は要旨にない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
キャッシュを使うテスト時適応は、対象の画像の流れから例を保存・検索し、CLIP本体を固定したまま予測を改善する。しかし従来法は、画像同士の検索に使う特徴空間をほぼ固定し、適応の効果が検索空間にどれほど依存するかを十分調べていなかった。記憶する例を固定して検索用の符号器だけを変えると、同じ記憶でも改善幅が大きく変わった。16種類の検索空間でImageNet-Aのキャッシュによる改善は、CLIPとMAEでは最大でも0.44ポイントだった一方、DINOv2-Lでは19.7±0.4ポイントだった。ラベルを使わずに検索空間を選ぶ方法でも、ImageNet-V2で最良の選択を知る場合の改善幅の98％を保った。この知見から、学習不要のMARCを提案する。予測には固定したCLIP、検索にはDINOv2-Bを使い、融合の重みを一つだけ用いる。一視点のキャッシュは基準モデルの誤りを1,074±21件修正し、64視点のアンサンブルの878±4件を上回り、費用は約7分の1だった。四つのImageNet分布変化でMARCの分布外平均は67.91％に達した。DINOv2-Bの規模と8視点を合わせると、グラフ型キャッシュの62.75±0.15％に対し64.17±0.31％で、実行速度は2.6倍だった。キャッシュによる頑健な適応では、何を保存するかと同様に、どの特徴空間で取り出すかが重要な設計選択となる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Cache-based test-time adaptation improves CLIP predictions by storing and retrieving examples from the target stream while keeping the model frozen. However, existing methods largely treat the feature space used for image-image retrieval as fixed, leaving open how much adaptation depends on the retrieval space itself. We study this question by fixing the memory and changing only the retrieval encoder, finding that the same memory can yield very different gains: across sixteen retrieval spaces, ImageNet-A cache gain ranges from at most +0.44 points for CLIP and MAE to +19.7 +/- 0.4 for DINOv2-L, while label-free retrieval-space selection retains 98% of oracle gain on ImageNet-V2. These results show that memory quality depends not only on which examples are stored, but also on how they are retrieved. Motivated by this finding, we propose MARC (Memory Augmented Retrieval for CLIP), a training-free system that uses frozen CLIP for prediction and DINOv2-B for retrieval with a single fusion weight. A single-view cache repairs 1074 +/- 21 baseline errors, compared with 878 +/- 4 for a 64-view ensemble, at roughly one seventh of the cost. Across four ImageNet distribution shifts, MARC reaches a 67.91% OOD average and, at matched DINOv2-B scale and eight views, achieves 64.17 +/- 0.31% versus 62.75 +/- 0.15% for a graph-based cache system while running 2.6 times faster. Overall, our results establish retrieval space as a first-order design choice for robust cache-based adaptation in remote sensing, scientific imaging, and changing visual environments.
著者のコメント
Under Review at ICLR
arXiv ID: 2609.23409 ／ 要約の誤りについて