多数例の文脈学習でKVキャッシュを半分に圧縮するMILO
MILO: Efficient Many-shot In-Context Learning with Block-wise Low-rank Compression
この論文をやさしく読む
ひとことで言うと
LLMに多数の例を渡すと増える作業用メモリを、例のまとまりごとに圧縮する方法です。
何に役立つ？
多数例の文脈学習をオンラインや端末上で効率よく動かす用途が考えられます。要旨ではQwen2.5でメモリ最大50%減、処理量1.8倍を報告しています。
この研究の面白いところ
情報量が多いブロックには圧縮後の次元を多く残し、冗長なブロックを強く圧縮します。
どこまで分かった？
性能評価はQwen2.5モデルと記載された分類・推論ベンチマークに関するものです。最大50%削減はすべての設定での値ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
多数の例を文脈に与えるin-context learning（ICL）は、大規模言語モデルが何千もの実例を条件として複雑な課題に適応することを可能にする。一方、推論効率の律速要因はkey-value（KV）キャッシュのメモリへ移る。KVキャッシュは長さに比例して増えるため、これらの中間テンソルの保存はオンライン提供と端末上での利用の双方で大きな課題である。本研究は、多数例を含む文脈の低ランクな冗長性を利用する圧縮方式MILOを提案する。MILOは、複数の例を含むブロック単位でKVキャッシュを低ランク圧縮する。さらに、ブロックごとに情報密度が異なることに対応し、情報エントロピーに基づいてランクの予算を動的に割り当てる。重要なブロックの忠実度を保ちつつ、冗長なブロックを強く圧縮する。Qwen2.5モデルでの実験では、分類と推論のベンチマークで性能低下を無視できる程度に抑えながら、KVキャッシュのメモリを最大50%削減し、処理量を1.8倍に高め、従来の比較手法を大きく上回った。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Many-shot in-context learning (ICL) enables large language models (LLMs) to adapt to complex tasks by conditioning on thousands of demonstration examples, but this paradigm shifts the inference efficiency bottleneck to the key-value (KV) cache memory. Due to the linear scaling behavior of the KV cache, storing these intermediate tensors has become a paramount challenge for both online serving and on-device deployment. To address this issue, we propose a novel compression framework, termed MILO, that exploits the low-rank redundancy inherent in many-shot contexts. Specifically, MILO features a block-wise low-rank compression strategy that compresses the KV cache at the block granularity, where each block contains multiple many-shot examples. Furthermore, to handle the heterogeneous context density across different blocks, MILO dynamically allocates rank budgets based on the information entropy, preserving the fidelity of critical blocks while aggressively compressing redundant ones. Experimental results on Qwen2.5 models demonstrate that our method achieves up to 50% reduction in KV cache memory and 1.8x throughput improvement, with negligible performance degradation on classification and reasoning benchmarks, significantly outperforming prior baselines.
著者のコメント
Technical Report
arXiv ID: 2609.29913 ／ 要約の誤りについて