トークン記憶と文脈情報を組み合わせる注意機構
Memory Attention
この論文をやさしく読む
ひとことで言うと
注意機構の値ベクトルを、トークンごとの記憶と文脈情報の組み合わせで作る方法を提案した。
何に役立つ？
考えられる用途は、言語モデルの値計算とGPUメモリ使用量の改善である。要旨では複数の注意構成で実験した。
この研究の面白いところ
推論時の値計算を表引きと加算にでき、CPUへの記憶の退避と事前読み込みが可能になる。
どこまで分かった？
同じ学習トークン予算だが追加の記憶パラメータを使う条件で性能改善を報告した。具体的な速度やメモリ削減量は要旨にない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
言語モデルは通常、文脈の中で得た隠れ状態から注意機構の値ベクトルを作るが、その内容の一部は異なる文脈でも再利用できるかもしれない。本研究は、文脈情報を補うことで、トークンごとの記憶が専用の値射影を置き換えられるかを調べる。提案するMemory Attention（MA）は、層ごとのトークン記憶と文脈依存のキーを組み合わせて値を作る。記憶はトークン固有の表現を与え、キーは文脈への依存性を保つ。 推論時には正規化を記憶表に組み込めるため、値の構築は表引きと加算だけになる。トークンを指定して取り出す仕組みにより、事前読み込みを伴うCPUへのオフロードも可能になり、GPU上に保持するパラメータ量を減らせる。学習に使うトークン数をそろえ、追加の記憶パラメータを設けた条件で、複数の注意機構構成にわたる実験を行い、言語モデルの性能と下流課題の平均性能の改善を示した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Language models typically construct attention values from contextual hidden states, even when some of their content may be reusable across contexts. We investigate whether token-indexed memory can replace the dedicated value projection when complemented by contextual information. We propose Memory Attention (MA), which forms values by combining layer-specific token memory with contextual keys. The memory supplies token-specific representations, while the keys preserve context dependence. At inference, normalization can be folded into the memory tables, reducing value construction to lookup and addition. Token-indexed retrieval also enables CPU offloading with prefetching, reducing GPU parameter storage. Under matched training token budgets and with additional memory parameters, experiments across attention configurations show improved language modeling and average downstream performance.
arXiv ID: 2609.28399 ／ 要約の誤りについて