画像言語モデルの層に合わせた画像トークン削減
Shallow to Deep: Aligning Token Pruning with Stage-wise Roles in LVLMs
この論文をやさしく読む
ひとことで言うと
画像言語モデルの画像トークンを削る際、浅い層と深い層で異なる役割に合わせて選ぶ方法を提案した。
何に役立つ？
画像言語モデルの推論コストを抑える方法の設計に役立つ。要旨で示された高速化は入力の事前処理段階についての値である。
この研究の面白いところ
浅い層では輪郭を残し、中間層では空間的なまとまりを保ち、深い層では意味が安定してから削減する。LLaVA-NeXT-7Bでは94.4%のトークン削減と事前処理3.9倍の高速化を報告した。
どこまで分かった？
性能比較は要旨に挙げられたLLaVA-1.5-7BとLLaVA-NeXT-7Bなどの実験条件に基づく。すべての画像言語モデルで同じ効果が出るとは示されていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模画像言語モデル（LVLM）は、重複した画像トークンのために計算負荷が高い。画像エンコーダーの複数層で、学習を要しない注意機構に基づく削減が有効な方法として研究されてきたが、浅い層でトークンを削ると性能が一貫して低下することを見いだした。本論文はその原因を調べ、解決策を探る。ネットワークの深さに沿って注意のパターンを分析すると、浅い層は主に輪郭の検出を担い、注意マップは不規則である。深い層では、局所的な対象の認識を経て、不安定な意味情報の集約へ移る。そこで各段階の役割にトークン選択方法を合わせる、階層的な削減手法STDを提案する。浅い層では高周波スペクトル解析で構造的な輪郭を決定的に保持し、中間層ではガウス平滑化した注意によって空間的な一貫性を保ち、深い層では安定性に応じたトリガーを導入して、意味表現が安定した段階でのみ削減する。 広範な実験で、STDは画像トークンを88.9%削減したLLaVA-1.5-7Bで、最先端の削減手法を1.1%上回った。ほかの方法と組み合わせても有効で、追加学習なしで組み込める。LLaVA-NeXT-7Bでは94.4%の削減で2.1%上回り、入力の事前処理段階で3.9倍の高速化を達成した。コードは公開予定である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large Vision-Language Models (LVLMs) incur high computational costs from redundant visual tokens. Although training-free attention-based multi-layer pruning in the vision encoder stage has been explored as an effective strategy, we find that pruning in shallow layers consistently degrades performance. In this paper, we aim to understand this problem and seek a solution. By analyzing attention patterns across network depth, we find that shallow layers primarily function as edge detectors with chaotic attention maps, while deeper layers transition through local subject recognition and unstable semantic aggregation. To address the misalignment between pruning strategies and network stages, we propose STD, a hierarchical token pruning framework that adapts token selection mechanisms to the functional role of each network stage. STD employs High-Frequency Spectral Analysis in shallow layers to deterministically preserve structural edges, uses Gaussian-Smoothed Attention in intermediate layers to maintain spatial coherence, and introduces a Stability-Adaptive Trigger in deep layers to execute pruning only during semantically stable phases. Extensive experiments show that STD outperforms state-of-the-art pruning methods by 1.1% on LLaVA-1.5-7B with 88.9% token reduction, while also being plug-and-play and highly effective when combined with other methods, and by 2.1% on LLaVA-NeXT-7B with 94.4% reduction, delivering a 3.9x speed-up in the prefilling stage. Our code will be released at https://github.com/Twilight03/STD.
著者のコメント
Accepted to EMNLP 2026. 17 pages, 10 figures, 10 tables
arXiv ID: 2609.25635 ／ 要約の誤りについて