大規模視覚言語モデルの視覚トークンを学習なしで削減
VPRune: Efficient Training-free Pre-LLM Visual Token Pruning
この論文をやさしく読む
ひとことで言うと
視覚言語モデルに渡す画像トークンを、追加学習なしで減らす方法。
何に役立つ？
考えられる用途は計算資源の限られた端末での推論。要旨ではFastVLM-1.5Bとエッジ端末での性能・遅延を評価している。
この研究の面白いところ
トークンを選ぶだけでなく、捨てた情報の再利用と位置の保持も組み合わせ、圧縮による劣化の要因ごとに対処する。
どこまで分かった？
要旨には圧縮率、遅延、精度の具体的な数値はない。評価対象として明記されるモデルはFastVLM-1.5Bである。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
視覚トークンの削減は、大規模視覚言語モデルの推論費用を減らす有望な方法だが、削減を強く行うと性能が大きく落ちることが多い。著者らは、その原因として、テキストに導かれた選択の偏り、捨てたトークンに含まれる情報の損失、系列を詰めることで生じる位置の歪みという3点を挙げる。 これらを踏まえ、モデル本体に入力する前に、追加学習なしで視覚トークンを間引く枠組みVPRuneを提案する。視覚情報だけを用いた多様性に基づく選択、類似性に基づくトークンの再利用、位置を保った復元から構成される。FastVLM-1.5Bを用いた複数の視覚言語ベンチマーク実験では、精度と圧縮率の良好な兼ね合いを実現し、特に強い圧縮で利点が顕著だった。さらにエッジ端末での評価では、課題の性能を高く保ちながら、端から端までの推論遅延を減らした。著者らは、資源に制約のある環境への適用可能性を示す結果だとしている。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-22 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Visual token pruning is a promising approach to reducing the inference cost of large vision-language models (LVLMs), yet aggressive token reduction often causes substantial performance degradation. We identify three key factors behind this degradation: text-guided selection bias, information loss from discarded tokens, and positional distortion caused by sequence compaction. Based on these observations, we propose \textbf{VPRune}, a training-free pre-LLM pruning framework consisting of visual-only diversity selection, similarity-guided token recycling, and position-preserving restoration. Experiments on FastVLM-1.5B across multiple vision-language benchmarks demonstrate that VPRune achieves a favorable accuracy--compression trade-off, with particularly pronounced advantages under aggressive compression. Furthermore, evaluations on edge-device show that VPRune effectively reduces end-to-end inference latency while maintaining superior task performance, demonstrating its practicality for resource-constrained LVLM deployment.
arXiv ID: 2609.24485 ／ 要約の誤りについて