再帰型言語モデルで重要文脈だけを再利用し計算を減らす
Attention Routing Stabilizes Early: Working-Set Inference for Recurrent Language Models
この論文をやさしく読む
ひとことで言うと
文章を繰り返し処理する言語モデルで、初期に見つけた重要な文脈だけを後の計算に使う方法です。
何に役立つ？
再帰型言語モデルの長い文脈での注意計算を減らし、推論を高速化する用途が考えられる。
この研究の面白いところ
注意を向ける場所は隠れ状態より早く安定するという観察を利用し、対象集合だけを再利用して集合内の計算は続ける。
どこまで分かった？
要旨では多段階質問応答での評価を示す。品質は2Kまでおおむね保たれるが、4Kでは低下し、速度の数値は最適化した実装に依存する。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
再帰型言語モデルは共有するネットワークブロックを繰り返し適用して潜在表現を改善するが、通常の推論では再帰の各段階で全体に対する注意計算をやり直す。著者らは再帰の深さ方向の注意の動きを調べ、注意を向ける対象とその分布が、隠れ状態や注意の出力よりかなり早く安定することを見いだした。これは、初期の段階で関連する文脈の疎な作業集合を見つけ、後の段階ではほぼ同じ経路の上で表現を改善するという二段階の構造を示唆する。この構造に基づき、学習不要の方法WISEを提案する。初期の再帰では制限のない全体注意を使い、後の段階では直接発見したブロック構造の対象集合を再利用する。一方、再帰の深さと、その集合内の注意計算は動的なまま保つ。制御した介入実験では、再帰的に対象を発見する過程が重要であり、対象集合だけを再利用する方が、より厳しい注意再利用法よりモデルの振る舞いを保てることを示した。多段階質問応答ベンチマークでは、WISEは全体注意の性能をおおむね保ち、文脈が長くなるほど作業集合が疎になり、効率の改善が大きくなった。品質は文脈長2Kまではおおむね維持されたが、4Kでは測定できる低下があった。最適化した疎注意の実装は、4Kで標準のFlashAttentionに対して注意計算を最大1.76倍高速化し、32段階すべての注意計算では1.36倍高速化した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Recurrent language models repeatedly apply shared network blocks to refine latent representations, but standard inference recomputes global attention at every recurrent step. We study attention dynamics across recurrent depth and find that attention support and distributions stabilize substantially earlier than hidden states and attention outputs. This suggests a two-stage structure: early steps discover a sparse working set of relevant context, while later steps refine representations over largely the same routing support. Motivated by this structure, we introduce WISE (Working-set Inference with Support Exploitation), a training-free method that uses unrestricted global attention during early recurrence and later reuses directly discovered block-structured support while keeping recurrent depth and within-support attention computation dynamic. Controlled interventions show that recurrent discovery is important and that support-only reuse better preserves model behavior than more restrictive attention-reuse alternatives. Across multi-hop QA benchmarks, WISE largely preserves full-attention performance, while context scaling reveals increasingly sparse working sets and greater efficiency gains. Quality is largely preserved through 2K context, with a measurable loss at 4K. An optimized sparse-attention implementation achieves up to a 1.76x attention speedup over native FlashAttention at 4K and a 1.36x speedup for the full 32-step attention trajectory. Our code is available at https://github.com/tbn5pj/WISE_code.
著者のコメント
Code: https://github.com/tbn5pj/WISE_code
arXiv ID: 2609.27373 ／ 要約の誤りについて