固定サイズの学習可能な記憶で言語モデルの情報保持を改善
ARM: Attention with Routed-Memory for Learnable Sparse Control
この論文をやさしく読む
ひとことで言うと
言語モデルの過去の情報を、一定サイズの記憶に混ぜながら保存する方法です。どの保存場所を使い、推論時にどれだけ参照するかも学習します。
何に役立つ？
長い入力を扱う言語モデルで、記憶容量と生成時間を抑える用途が考えられます。常識推論と長文脈推論のベンチマークでは、既存の固定的なKVキャッシュとの比較を行っています。
この研究の面白いところ
古い情報を単純に削除する代わりに、新旧の情報をゲートで混合します。固定サイズの記憶と、入力に応じて変わる参照量を組み合わせています。
どこまで分かった？
要旨にはモデル規模、個別ベンチマークのスコア、速度やメモリ削減量の数値がありません。情報損失を減らす設計ですが、すべての情報を完全に保持する保証は述べられていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
長い文脈に対する推論が進歩しているにもかかわらず、大規模言語モデル（LLM）は、安定した計算に必要なキー・バリュー（KV）キャッシュの仕組みによって依然として根本的な制約を受けている。トークンの選択的な追い出しや枝刈りといった技術は問題を大きく軽減してきたが、増大するキャッシュを管理するために重要な情報まで捨ててしまうことが多い。 本論文では、階層的なルーターとして構成された、完全に微分可能な固定サイズの記憶システムを導入する新しいKVキャッシュ構造、Attention with Routed Memory（ARM）を提案する。ARMはGumbel–Softmaxを通じて記憶スロットの選択を学習し、シグモイドゲートによる更新で新しい情報と保存済み情報を緩やかに混合する。これにより、情報を完全に追い出す処理を避け、情報損失を減らす。さらに、推論時に利用する記憶量を動的に選ぶ方策を学習することで、単純な文脈にも、より深い推論が必要な入力にもアクセスを適応させる。これにより、短い文脈と長い文脈の双方で、より拡張性が高く効果的な情報検索を可能にする。 標準的な常識推論と長文脈推論のベンチマークにおける実験結果は、ARMが固定的なKVキャッシュ手法より優れた性能と効率を達成し、メモリと生成遅延の両面でも効率性と拡張性を保つことを示している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Despite advances in long-context inference, large language models (LLMs) remain fundamentally limited by the key-value (KV) caching mechanisms that are necessary for stable computation. Techniques such as selective token eviction and pruning have vastly mitigated these issues, but often discard core information to manage the growing cache. In this paper, we propose Attention with Routed Memory (ARM) a novel KV caching structure that introduces a fully differentiable, fixed-size memory system organized as a hierarchical router. Via a Gumbel-Softmax, ARM learns to select memory slots and perform sigmoid-gated updates that softly combine new and stored information, avoiding hard eviction and reducing information loss. By further training a policy to dynamically select varying amounts of memory at inference, ARM adapts its accesses for both simple contexts and inputs that require deeper reasoning, enabling more scalable and effective retrieval on both short- and long-contexts. Experimental results on standard commonsense and long-context reasoning benchmarks demonstrate that ARM achieves superior performance and efficiency compared to fixed KV-caching approaches, while remaining efficient and scalable in terms of both memory and generation latency.
著者のコメント
Accepted to the Forty-third International Conference on Machine Learning (ICML) 2026. First two authors contributed equally
arXiv ID: 2609.24417 ／ 要約の誤りについて