arXiv論文メモ
新着一覧
cs.CV / cs.AI · 査読状況未確認

既知クラスと未知クラス向けプロンプトを統計で選択

PETR: Prompt Ensembling with Training-free Routing for Vision-Language Models

Weihan Cai, Hao Tan, Xinping Gao, Shibiao Xu, and Jun Wan

この論文をやさしく読む

ひとことで言うと

学習済みのクラスに強いプロンプトと、未見のクラスへの汎化を重視するプロンプトを用意し、入力の統計的な似かたで選び分ける方法です。

何に役立つ?

視覚言語モデルの適応で、既知クラスの精度と未知クラスへの対応力を両立させるための手法です。11データセットで両方のクラスに対する比較が行われています。

この研究の面白いところ

ルーティング用のニューラルネットを別に学習する代わりに、訓練時のロジットの統計を使います。入力をどちらへ送るかの信号を解釈しやすい設計です。

どこまで分かった?

学習不要なのはルーティングであり、二つのプロンプト自体は微調整します。要旨にはデータセットごとの精度や改善幅は示されておらず、初の方式という説明は著者の認識です。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

プロンプト学習は視覚言語モデル(VLM)を下流タスクへ効率よく適応させるが、既知クラスでの改善が未知クラスへの汎化を犠牲にする場合が多い。この制約に対処するため、学習不要のルーティングによるプロンプトアンサンブルPETRを提案する。中心となる工夫は、慎重に設計した二重プロンプト構造である。相補的な二つのプロンプトを異なるデータと目的で学習し、それぞれ既知クラスの識別と未知クラスへの汎化を重視させる。学習時には、共通の固定CLIP基盤モデルを用いて両方のプロンプトを微調整し、訓練集合のロジットから統計情報を収集する。推論時には、各テスト標本と既知データの類似性を判定し、最も適切なプロンプト分岐へ振り分ける。著者らの知る限り、これは統計的類似性に基づいて学習不要の適応的ルーティングを行う、初のプロンプト調整の枠組みである。この設計は解釈可能なルーティング信号を提供し、ルーター学習の不安定性や負荷の不均衡といった、一般的なMoE型ルーティングの問題を避ける。11のベンチマークデータセットでの広範な実験により、既知クラスと未知クラスの双方で従来手法を一貫して上回り、新たな最先端の結果を達成することを示す。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-20(UTC)
最新改訂
2026-09-20 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Prompt learning efficiently adapts vision-language models (VLMs) to downstream tasks, but gains on seen classes often come at the expense of generalization to unseen classes. To address this limitation, we propose prompt ensembling with training-free routing (PETR), whose key innovation is a carefully designed dual-prompt architecture: two complementary prompts are learned from different data and objectives to emphasize seen class discrimination and unseen-class generalization, respectively. During training, both prompts are fine-tuned using a shared frozen CLIP backbone, and statistical information is collected from the training set logits. At inference time, we determine the similarity of each test sample to seen data, and route the sample to the most appropriate prompt branch. To the best of our knowledge, this is the first prompt tuning framework that performs training-free adaptive routing based on statistical similarity. This design provides an interpretable routing signal and avoids common MoE-style routing pathologies, such as router training instability and load imbalance. Extensive experiments on 11 benchmark datasets demonstrate that our framework consistently outperforms previous methods on both seen and unseen classes, achieving new state-of-the-art results.

arXiv ID: 2609.23600 / 要約の誤りについて