共有KVキャッシュに層ごとの局所履歴を残す効果
Shared Global KV with Layer-Specific Local History
この論文をやさしく読む
ひとことで言うと
言語モデルの層間でKVキャッシュを共有する際、層ごとに残す局所履歴の効果とコストを調べた研究。
何に役立つ？
推論時のメモリ量、生成遅延、予測性能の兼ね合いを設計する際に役立つ可能性がある。性能改善と引き換えにキャッシュ量と長い要求の遅延が増えている。
この研究の面白いところ
局所履歴の内容と、その履歴を作る入力の出所を分けて検証し、8シードによる約1.4％のパープレキシティ低下を示した。8K文脈への適応も比較している。
どこまで分かった？
主な測定は1億2600万パラメータ、2K文脈での結果である。外部書籍データの効果は不確実で、下流タスクの結果も一定ではない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
デコーダー専用Transformer言語モデルは、生成中に過去の計算を再利用するためキーと値（KV）をキャッシュする。層をまたいでKVを共有すると保存量は減るが、深さ方向で使える表現の多様性も減る。本研究は、共有された大域KVと並べて局所メモリに何を残すべきかを、履歴内容と、その内容を作る入力の出所とに分けて調べる。パラメータ数1億2600万、文脈長2Kのモデルで8種類の乱数シードを使った研究では、現在のトークンだけを使う局所分岐と比べ、局所履歴を持つ場合に未使用テストデータのパープレキシティが約1.4％低かった。容量、項目数、学習計算量をそろえた比較も、履歴内容の価値を支持した。 2種類のシードによる比較では、隣接層が局所入力を共有しても、射影を独立に保てばこの効果は続いた。入力の出所を共有すると、正確なキャッシュ構築に必要な依存関係も短くなる。GQAおよび隣接層間のKV共有との比較では、上限をそろえた学習率探索と新しいシードでの確認により、同じ入力元での尤度が良くなった一方、キャッシュは大きくなり、長い要求での遅延も増えた。隣接層間共有に対する優劣の順序は、同じトークン数で8K文脈に適応させた後も続いたが、短い文脈ではコストがあった。外部の書籍データに対する8シードの履歴効果は不確実で、下流タスクの結果もタスクによって異なる。最後に、厳密演算で完全なキャッシュを保ちながら上層の構築作業を減らす、十分条件となる接尾辞スケジュールを導く。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Decoder-only Transformer language models cache keys and values (KV) to reuse past computation during generation. Sharing KV across layers saves storage but reduces the diversity of representations available across depth. We study what local memory should retain alongside shared global KV, separating historical content from the input source used to form it. At 126M parameters and 2K context, an eight-seed study finds about 1.4% lower held-out test perplexity with local history than with a current-token local branch. Capacity, entry-count and training-compute controls support the value of historical content. In a two-seed comparison, this value persists when adjacent layers share local inputs while retaining independent projections; source sharing also shortens exact cache-construction dependencies. Against GQA and adjacent-layer KV sharing, equal bounded learning-rate searches and new-seed confirmation yield better same-source likelihood with larger caches and higher long-request latency. The ordering against adjacent-layer sharing persists after equal-token adaptation to 8K, with a short-context cost. The eight-seed external-book history effect remains uncertain, and downstream outcomes vary by task. We derive a sufficient suffix schedule that reduces upper-layer construction work while preserving the complete cache in exact arithmetic.
著者のコメント
41 pages, including supplementary material
arXiv ID: 2609.28006 ／ 要約の誤りについて