質問に必要な視覚情報を残してトークンを削減する
QCPruner: Query-Conditioned Population Coverage for Visual Token Pruning
この論文をやさしく読む
ひとことで言うと
画像トークンを減らすとき、質問に重要な情報を残しつつ似た情報の重複を抑える方法です。
何に役立つ？
画像や動画を読む大規模モデルの後段計算を、学習し直さず減らす用途に役立ちます。
この研究の面白いところ
残す代表トークンと、代表される画像情報の両方に質問に応じた重みを付けます。劣モジュラ目的関数の性質により、貪欲選択に標準的な近似保証が残ります。
どこまで分かった？
LLaVA-1.5では576個中32個で元の性能の96.1%を保持したなど、特定予算での評価です。近似保証は選択目的関数についてで、全質問の回答正確性や情報の無損失を保証するものではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
マルチモーダル大規模言語モデル（MLLM）では視覚トークンの負荷が大きく、後段の層の計算を減らすため、学習を要しない枝刈りが求められる。ただし、固定されたトークン予算の下では、冗長性を避けながら質問に関係する根拠を保持しなければならない。既存手法は、トークンの順位付け、選択部分集合の多様化、被覆の最適化を行うが、視覚要素ごとに共通して定義した質問への有用度を、被覆対象と代表候補の双方の重み付けに用いていない。 本研究は、両側の有用度による重み付けを通じて、この双方の役割を質問に条件付けるQCPrunerを導入する。キーワード照合で得た質問アンカーを用いて、モダリティ間の2つの手掛かりを有用度へ統合する。そして、視覚的な親和性に基づく被覆の中で、視覚的な対象と代表候補の双方に適用する。得られる非負の施設配置目的関数は単調かつ劣モジュラであり、標準的な貪欲法の1−1/e保証を保持し、モデル学習やパラメータ更新を必要としない。 LLaVA-1.5、LLaVA-NeXT、LLaVA-Video、Qwen2.5-VLにわたり、QCPrunerは、報告したすべてのトークン予算で、評価したシステム全体としての枝刈り手法の中で最高の平均相対性能を達成する。LLaVA-1.5-7Bで576トークン中32を残す場合、枝刈り前の性能の96.1%を保持し、評価した最強の比較手法の93.9%を上回る。Qwen2.5-VL-7Bで1296トークン中256を残す場合、対応する値は96.7%と92.5%である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
The high visual-token load in multimodal large language models (MLLMs) motivates training-free pruning to reduce later-layer computation, but under a fixed budget, pruning must preserve query-relevant evidence while avoiding redundancy. Existing methods rank tokens, diversify selected subsets, or optimize coverage without using a shared per-visual query utility to weight both visual targets and candidate representatives. We introduce QCPruner, which makes both roles query-conditioned through bilateral utility weighting. Using keyword-matched query anchors, QCPruner fuses two cross-modal cues into utility and applies it to both visual targets and candidate representatives within visual-affinity-based coverage. The resulting nonnegative facility-location objective is monotone and submodular, retains the standard (1-1/e) greedy guarantee, and requires no model training or parameter updates. Across LLaVA-1.5, LLaVA-NeXT, LLaVA-Video, and Qwen2.5-VL, QCPruner achieves the highest average relative performance among evaluated complete-system pruning methods at every reported token budget. At 32 of 576 tokens on LLaVA-1.5-7B, it retains 96.1% of unpruned performance, versus 93.9% for the strongest evaluated baseline. At 256 of 1296 tokens on Qwen2.5-VL-7B, the corresponding values are 96.7% and 92.5%.
arXiv ID: 2609.19990 ／ 要約の誤りについて