画像Transformerの注意出力にニュートン・シュルツ変換を適用
NS-ATTENTION: Newton-Schulz Transformations of Attention Outputs in Vision Transformers
この論文をやさしく読む
ひとことで言うと
画像認識Transformerの注意ヘッドの出力を、学習パラメータを増やさずに変換して正解率を改善した。
何に役立つ？
画像モデルの注意表現を調整する方法として参考になる。実験ではCIFAR-10とCIFAR-100で正解率が改善したが、推論速度への負担もある。
この研究の面白いところ
最適化手法で使われていた行列変換を注意出力そのものに適用し、有効ランクの変化と認識精度を対応づけて調べた。
どこまで分かった？
結果はViTとSwinを使った2つの画像データセットと12組の比較に基づく。推論遅延が増えるため、精度と速度の兼ね合いが残る。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ニュートン・シュルツ（NS）反復は近年、Muon最適化手法で、大規模言語モデルの学習時に更新行列を変換するために使われている。本研究はそのスペクトルへの効果に着目し、Transformerの注意表現へNSを直接適用することを調べた。提案するNewton-Schulz Attention（NS-Attn.）は、各注意ヘッドの出力に適用する、学習パラメータを持たない変換である。各ヘッドの出力を特徴量×トークンの行列に並べ、フロベニウスノルムで正規化し、有限回のNS多項式ステップを適用した後、元のノルムへ戻す。通常のヘッドの統合と出力射影の前に、スペクトルの集中を弱め、有効ランクを高めることが目的である。CIFAR-10とCIFAR-100でViTとSwinを評価したところ、乱数種をそろえた12組の比較すべてで最終エポックの正解率が改善し、平均の向上幅は0.25～0.83パーセントポイントだった。ViTの要素別評価では、2回の反復より1回の反復で平均正解率が高かった。スペクトル解析でも、最大固有値への集中の低下と有効ランクの上昇を確認した。ただし、この改善には推論時の遅延増加が伴う。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-24 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Newton-Schulz (NS) iteration has recently been used in the Muon optimizer to transform update matrices during the training of large language models. Motivated by its spectral effect, we investigate applying NS directly to Transformer attention representations. We introduce Newton-Schulz Attention (NS-Attn.), a parameter-free transformation applied to the output of each attention head. Each head output is arranged as a feature-by-token matrix and normalized by its Frobenius norm. We then apply a finite NS polynomial step and restore the original norm. The objective is to reduce spectral concentration and increase effective rank before standard head merging and output projection. Across ViT and Swin on CIFAR-10 and CIFAR-100, NS-Attn. improves final-epoch accuracy in all 12 matched-seed comparisons, with mean gains of 0.25--0.83 percentage points. ViT ablations show higher mean accuracy with one iteration than with two. Spectral analysis further shows reduced leading-eigenvalue concentration and increased effective rank. These gains incur additional inference latency.
著者のコメント
5 pages, 2 figures. Submitted to IEEE ICASSP 2027. Code: https://github.com/039-B/NS-Attention
arXiv ID: 2609.27735 ／ 要約の誤りについて