CLIPをラベルなし画像で分布変化に適応させる
Domain Recentering and Confidence-Weighted Prior Calibration for Vision-Language Models
この論文をやさしく読む
ひとことで言うと
ラベルのない新しい画像群にCLIPを合わせるため、画像特徴のずれとクラスごとの偏りを学習なしで補正します。
何に役立つ？
配備先の画像分布が学習時と違う場合に、追加のラベル付けやモデル再学習をせず分類を調整する方法として参考になります。
この研究の面白いところ
一つのクラスタへ確定的に割り当てず、混合モデルの所属確率で平均を重み付けしてずれを補正します。
どこまで分かった？
示された改善は比較したドメイン横断データセットとImageNetの分布変化での結果です。別の分布変化での効果は要旨から分かりません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
CLIPなどの視覚言語モデルは、追加学習なしの分類で強い性能を示す。しかしデータの分布が変わると、画像の埋め込み表現が固定された文章の埋め込み表現からずれる。学習を要しない較正は、プロンプト学習のような画像ごとの最適化を避けられるが、従来の特徴較正は一つの確定的なクラスタの偏りを各画像に丸ごと与えていた。 本研究は、ラベルのない対象画像の集合からCLIPを適応させる、学習不要のDomain Recentering with Confidence Calibration（DRC）を提案する。DRCはガウス混合モデルを一度当てはめ、各埋め込みから、所属確率で重み付けした成分平均を差し引く。その後、予測の信頼度で重み付けして事前確率を推定し、その対数による補正で残ったクラスの好みを取り除く。比較した方法の中でDRCは、ドメインをまたぐデータセットで平均正解率が最も高かった。追加学習なしのCLIPに比べ、ViT-B/16で4.13ポイント、ResNet-50で5.07ポイント上回り、ImageNetの分布変化でもCLIPより良い結果が続いた。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Vision-language models such as CLIP achieve strong zero-shot classification, yet under distribution shift, visual embeddings drift from fixed text embeddings. Training-free calibration avoids the per-sample optimization of prompt learning, but prior feature calibration gives each image the full bias of one hard cluster. We propose Domain Recentering with Confidence Calibration (DRC), a training-free method adapting CLIP from a set of unlabeled target images. DRC fits a Gaussian mixture once and subtracts from each embedding a posterior-weighted average of component means. It then removes residual class preference with a log-prior correction, estimating the prior from confidence-weighted predictions. Among compared methods, DRC achieves the highest average accuracy on cross-domain datasets, exceeding zero-shot CLIP by 4.13 and 5.07 points with ViT-B/16 and ResNet-50, with gains over CLIP also holding under ImageNet distribution shifts.
arXiv ID: 2609.29358 ／ 要約の誤りについて