注意機構のゲートが担う情報の不採用と雑音除去
Abstention and Noise Filtering: Two Missing Primitives of Softmax Attention
この論文をやさしく読む
ひとことで言うと
ゲートの効果を、何も出さない選択と、混ざった不要な情報を除く働きに分けて調べています。
何に役立つ？
言語モデルの注意機構を設計する際の判断材料になります。実験では、すべての評価規模で二つを併用する構成が最良でした。
この研究の面白いところ
小さいモデルでは不採用、大きいモデルでは雑音除去の寄与が強くなる違いを示しています。干渉を意図的に加える実験も行っています。
どこまで分かった？
評価範囲は1,000万〜3億5,000万パラメータです。それ以上の規模への一般化は要旨から確認できません。二種類のゲートには固有の弱点も報告されています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
注意機構のvalue経路へのゲート導入は言語モデルの事前学習を改善すると報告されているが、その理由について先行研究の見解は一致していない。本研究では、こうしたゲートがsoftmax注意機構に欠ける二つの異なる機能、不採用と雑音除去を補うと論じ、実験的な証拠を示す。不採用は、注意重みの合計を1にするという制約を回避し、注意ヘッドが何も出力しないことを可能にする。雑音除去は、残差ストリーム内で重なり合う特徴から生じる干渉を、注意ヘッドのvalue経路で抑えることを可能にする。 パラメータ数1,000万から3億5,000万までの条件を揃えたモデルで、ヘッドごとに学習する吸収先のロジットをsoftmaxに追加して不採用を実現し、各valueのゲートで雑音除去を実現した。実証的な知見は三つある。第一に、条件を揃えたベースラインからの検証損失の減少で測ると、不採用の利点はモデルが大きくなるにつれて減少し、雑音除去の利点は増加する。特に1,000万パラメータではゲートによる改善のほぼすべてを不採用が説明し、3億5,000万では大部分を雑音除去が説明する。第二に、どの規模でも両機能を組み込んだモデルが最良だった。第三に、ヘッドが読むvalueに制御した干渉を注入すると、ゲートが干渉を取り除くことが確認され、調べた二種類のゲートそれぞれに固有の弱点があることも分かった。両機能を導入してもパラメータ増加はごくわずかで、key-valueキャッシュとの互換性も維持される。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Gating the value pathway of attention reportedly improves language model pretraining, and prior studies disagree on why. We argue and provide experimental evidence that such gates supply two different things that softmax attention lacks: abstention and noise filtering. The first is abstention, which allows an attention head to output nothing, bypassing the requirement that attention weights must sum to one. The second is noise filtering, which allows the value pathway of an attention head to suppress interference from superposed features in the residual stream. In our experiments in matched models from 10M to 350M parameters, we supply abstention through a learned per-head sink logit in the softmax and noise filtering through a gate on each value. We report three empirical findings. First, the benefit of abstention, measured as the reduction in validation loss relative to a matched baseline, declines as models grow, whereas the benefit of noise filtering increases with scale. In particular, abstention accounts for nearly all of the gain from gating at 10M and filtering for most of it at 350M. Second, the best model at every scale is the one with both primitives built in. Third, injecting controlled interference into the values a head reads confirms that the gate removes such interference, and reveals that each of the two gate forms we study has a characteristic blind spot. Supplying both primitives adds negligible parameters and remains compatible with the key-value cache.
著者のコメント
21 pages (8 pages main text plus appendices), 5 figures, 12 tables
arXiv ID: 2609.22005 ／ 要約の誤りについて