ゲート付き線形注意とKANを組み合わせた画像認識モデル
Rethinking Vision Architectures with Gated Linear Attention and KAN
この論文をやさしく読む
ひとことで言うと
画像内の領域同士を結ぶ線形注意と、学習可能な関数を使うKANを組み合わせた画像認識モデルです。
何に役立つ？
画像モデルの注意機構とチャネル混合の両方を見直し、中規模データでの表現学習を改善する構成を検討する材料になります。
この研究の面白いところ
注意機構だけを軽くするのではなく、固定活性化のMLPもKANへ置き換え、実装用の融合計算カーネルまで扱っています。
どこまで分かった？
要旨の評価はImageNet-100とCIFAR-10/100です。精度差や実測速度の具体値はなく、線形注意のO(N)をモデル全体の実行速度の保証とみなすことはできません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
Vision Transformerは、チャネル混合のための多層パーセプトロン（MLP）に大半のパラメータを割り当て、トークン間の相互作用には通常、二次の計算量を持つマルチヘッド自己注意（MHSA）を用いる。線形注意は系列に関する計算量をO(N)へ減らすが、softmax Transformerと同じ固定活性化関数のMLPとの組合せは残る。一方、Kolmogorov–Arnold Network（KAN）は辺上に学習可能な1変数写像を置くが、従来の画像向けKANはMHSAを保持するか、注意機構を完全に省略していた。 本研究では、チャンク単位のGated Linear Attention（GLA）と2層のKANフィードフォワードを組み合わせる等方的なViTエンコーダー、Linear Kolmogorov–Arnold Transformer（LKAT）を導入し、動径基底の格子写像に対して、入出力を考慮した融合RBF-KANカーネルを提供する。共通のDeiT型学習手順のもとで、LKATをViT、ViT-5、MLP-Mixerと比較する。 ImageNet-100ではLKAT-BがViT-B/16、ViT-5-B、Mixer-B/16を上回る。Tiny、Small、BaseのLKAT各モデルはCIFAR-10/100上で一貫して規模拡大に応じた性能を示し、ImageNet-100での事前学習はCIFARへの微調整にも転用できる。これらの結果は、中規模の視覚表現学習において、ゲート付き線形注意とKANに基づく動径基底関数が相補的な帰納バイアスとなることを支持する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Vision Transformers allocate most parameters to multi-layer perceptrons (MLPs) for channel mixing, while token interactions usually rely on quadratic multi-head self-attention (MHSA). Linear attention reduces sequence complexity to O(N), but remains coupled with the same fixed-activation MLP as softmax Transformers. Kolmogorov-Arnold Networks (KANs) instead place learnable univariate maps on edges, yet prior vision KANs keep MHSA or omit attention entirely. We introduce LKAT (Linear Kolmogorov-Arnold Transformer), an isotropic ViT encoder that couples chunkwise Gated Linear Attention (GLA) with a two-layer KAN feed-forward, and we provide an I/O-aware fused RBF-KAN kernel for the radial-basis grid maps. Under a shared DeiT-style recipe we compare LKAT with ViT, ViT-5, and MLP-Mixer. LKAT-B exceeds ViT-B/16, ViT-5-B, and Mixer-B/16 on ImageNet-100. Tiny/Small/Base LKAT variants scale consistently on CIFAR-10/100, and ImageNet-100 pretraining transfers to CIFAR fine-tuning. The results support gated linear attention and KAN-based radial-basis functions as complementary inductive biases for mid-scale visual representation learning.
著者のコメント
17 pages, 9 figures. Code available at https://github.com/mehizelali/linear-kan-transformer
arXiv ID: 2609.22506 ／ 要約の誤りについて