画像と候補一覧から選択肢を返す視覚判断モデル
From Text Decisions to Pixels: An Study of Jev-Style Visual Choice Model
この論文をやさしく読む
ひとことで言うと
画像について自由文の説明ではなく、渡された候補から選び確率も返す小型モデルの仕組みです。
何に役立つ?
画像認識や選択肢式の視覚質問応答を、実行時に渡される候補で扱う設計の参考になります。
この研究の面白いところ
64例での適応によりPetsの正解率は60.13%から92.40%へ上がりましたが、専用モデルの方が強い課題や、より大きな未適応モデルの方が強い課題も示しています。
どこまで分かった?
正解率の改善は転移先での確率の較正を保証しません。要旨も出力形式の頑健性、モデル系列をまたぐ転移、視覚的根拠の利用を今後の課題に挙げています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
画像を扱うソフトウェアでは、説明文を生成するより、与えられた候補の中から一つを選ぶ必要があることが多い。著者らは、画像、課題の指示、実行時に渡される候補集合から、構造化された選択結果と各候補に応じた確率を返す、画像を直接扱う判断インターフェースPixelJevを提示する。最初の実装では、小型の公開マルチモーダルモデルに元からある言語モデルの出力を利用し、認識と選択肢式の視覚質問応答を統一する。学習せずそのまま推定する場合、言語側だけを適応させる場合、別に取っておいたデータで較正する場合を、それぞれ評価する。 7種類のベンチマーク評価では、元の課題で64例を使った適応により、Petsの正解率は最適化の乱数設定を通じて60.13%から92.40%へ上がり、評価対象に合わせた学習をせず、自然な再標本化、新しいテクスチャのラベル、A-OKVQAへ転移した。学習しない推定でも、二つの視覚質問応答課題に対応した。PetsとScienceQAで条件をそろえ、プロンプトだけを使う追加評価では、Petsの大きな改善は適応によるもので、適応後の視覚質問応答で候補から読み出すことによる利点は、出力の妥当性についての限定的なものだと分かった。一方、元の認識課題では専用のDINOv2プローブの方が強く、DTDとScienceQAでは、学習しない40億パラメータのモデルが適応させた20億パラメータのモデルを上回った。また正解率の上昇は、転移先での確率の較正を保証しない。これらの結果は、汎用的な視覚判断モデルの出発点を示す一方、出力形式の頑健性、異なるモデル系列への転移、視覚的根拠の確実な利用という課題を残す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24(UTC)
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Visual software often needs a decision over supplied alternatives rather than a generated explanation. We present PixelJev, a native-image decision interface that maps an image, a task instruction, and a runtime candidate set to a structured choice and candidate-conditioned probabilities using small open multimodal models. Its initial realization unifies recognition and multiplechoice visual question answering through an existing language-model readout, with separately evaluated options for frozen inference, language-side adaptation, and held-out calibration. Across seven benchmark evaluations, 64-shot source adaptation raises Pets accuracy from 60.13% to 92.40% across optimization seeds and transfers to natural resampling, new texture labels, and A-OKVQA without target fitting, while frozen inference already supports both VQA tasks. A matched prompt-only follow-up on Pets and ScienceQA attributes the large Pets gain to adaptation and identifies a narrower output validity benefit of candidate readout in adapted VQA. Specialist DINOv2 probes remain stronger on source recognition, frozen 4B is stronger than adapted 2B on DTD and ScienceQA, and accuracy gains do not ensure calibrated target probabilities. These findings establish a working starting point for general-purpose visual decision models and identify the remaining requirements: schema robustness, cross-family transfer, and reliable use of visual evidence.
arXiv ID: 2609.29283 / 要約の誤りについて