TransformerのKVキャッシュをテンソル分解して圧縮する比較
Tensor Decomposition of Transformer Key-Value Caches: Spectral Structure and Format Comparison
この論文をやさしく読む
ひとことで言うと
大規模言語モデルのKVキャッシュを四つの軸から分析し、どのテンソル分解が保存容量に対して誤差を抑えられるかを比較した。
何に役立つ？
KVキャッシュのメモリー削減法を設計するとき、キーとバリューで異なる圧縮表現を選ぶ参考になる。
この研究の面白いところ
注意ヘッドと層は圧縮しにくく、トークンと特徴量は圧縮しやすい。RoPEを適用するとキーの圧縮可能性も下がった。
どこまで分かった？
測定はMistral-7B-v0.3とLLaMA-2-13B、2～5倍の圧縮率で行われた。推論速度や下流タスクの品質は要旨に記載されていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自己回帰Transformerのキー・バリュー（KV）キャッシュは、注意ヘッド、トークン、特徴量、グループ化された層にまたがる4階テンソルとして見られる。本研究は、Mistral-7B-v0.3とLLaMA-2-13Bについて、四つの軸それぞれで展開した行列の特異値スペクトルを測り、同じ保存容量の条件でTucker分解、CP分解、テンソルトレイン、t-SVDの四種類を比較する。 スペクトルによると、四つの軸は二種類に分かれる。トークン軸と特徴量軸には、特にキーで低ランク構造がある。一方、ヘッド軸と層軸はほぼフルランクであり、実用的な誤差水準では圧縮に向かない。四種類のうちTucker分解は、2倍から5倍のすべての圧縮率で最も低い再構成誤差を得た。フルランクの軸をそのまま残せるためである。二次元展開を使う基準手法との比較では、キーとバリューで好ましい表現が異なり、同じ保存容量ではキーの誤差は二次元手法の方が低く、バリューの誤差は四方向Tucker分解の方が低い。 軸固定定理によって、測定したスペクトルだけからフルランクの軸を維持すべきことを保証する。さらに、圧縮可能な軸に関わる二つの性質を示す。すべての圧縮率でバリューの誤差の下限はキーより高く、両モデルのRoPE適用後のキーは適用前と比べて圧縮可能性を41～64%失う。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
The key-value (KV) cache of autoregressive transformers can be viewed as a fourth-order tensor spanning attention heads, tokens, features, and grouped layers. We measure the singular-value spectra of all four mode unfoldings on Mistral-7B-v0.3 and LLaMA-2-13B and compare four standard tensor decompositions: Tucker, CP, tensor train, and t-SVD, at matched storage. The spectra partition the four axes into two classes. The token and feature modes carry low-rank structure, particularly for keys. The head and layer modes are nearly full-rank and resist compression at any practical error level. Among the four decompositions, Tucker achieves the lowest reconstruction error at every compression ratio from $2\times$ to $5\times$, because it can leave the full-rank modes untouched. Comparisons with two-dimensional unfolding baselines show that the preferred representation differs between keys and values: 2D methods achieve lower key error, while four-way Tucker achieves lower value error at matched storage. A mode-pinning theorem certifies the full-rank preservation from the measured spectra alone. Two further spectral properties affect the compressible modes without touching the full-rank ones: values reach a higher error floor than keys at every ratio, and post-RoPE keys lose $41\%$ - $64\%$ of their pre-RoPE compressibility on both models.
著者のコメント
18 pages, 3 figures, 8 tables. Submitted to SIAM Journal on Matrix Analysis and Applications (SIMAX)
arXiv ID: 2609.28029 ／ 要約の誤りについて