高解像度画像の密な予測を効率化する再帰型モデルGTR
GTR: Gated Token Recurrence for Efficient Dense Prediction
この論文をやさしく読む
ひとことで言うと
画像全体の注意計算を使わず、画像中の多数の位置を予測する処理を速くする画像モデルです。
何に役立つ？
考えられる用途は物体検出や領域分割などを機器上で実行することです。要旨では複数の視覚タスクへの転用と、特定のGPU・機器上での速度を評価しています。
この研究の面白いところ
最終層のパッチ表現だけを教師モデルに合わせる蒸留を用いながら、検出精度と実行速度、さらに別の視覚タスクへの転用を示しています。
どこまで分かった？
速度と精度は記載されたデータセット、RTX 4090およびDRIVE AGX Thorなどの条件での結果です。要旨はすべての機器や画像条件での優位性を示してはいません。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自己注意に基づく画像モデルは画素ごとなどの密な予測で高い性能を示すが、大域的なソフトマックス注意の計算量は画像解像度に対して二次的に増え、効率を制限する。本研究は、ゲート付き線形注意、空間方向を交互に変える走査、空間情報を強化したSwiGLUブロックを組み合わせた、ソフトマックスを使わない再帰型画像モデルGTRを提案する。検出に特化したDINOv3の教師モデルから、最終層のパッチトークンだけを線形射影と二乗L2損失で対応づけて蒸留し、マスクトークン予測や中間層の教師信号は使わない。Objects365で検出器を事前学習したGTR-Lは、RTX 4090上でコンパイルしたFP16実行、バッチサイズ1という条件で、COCO val2017において矩形検出のAP 58.9、遅延の中央値1.908ミリ秒を達成した。同じ基盤モデルはインスタンス分割、姿勢推定、向き付き物体検出、意味分割、単眼深度推定にも転用できた。独立したカーネルのベンチマークでは、専用のチャンク単位CUDA演算子がRTX 4090上の1,600トークンでFLA v0.5.0より4.0倍高速だった。DRIVE AGX ThorへのTensorRTによる配置では、評価したモデルのバッチサイズ1での遅延中央値は2.282～8.769ミリ秒だった。これらの結果は、再帰的なトークン混合が、高解像度の密な予測やエッジ機器への配置において、大域的なソフトマックス注意の効率的な代替になり得ることを示す。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-23 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Self-attention-based vision backbones perform well on dense prediction, but the quadratic computational cost of global softmax attention limits their efficiency as image resolution increases. We introduce Gated Token Recurrence (GTR), a softmax-free recurrent vision backbone that combines gated linear attention, alternating spatial scan directions, and spatially enhanced SwiGLU blocks. GTR is distilled from a detection-specialized DINOv3 teacher using only final-layer patch-token alignment through a linear projection and squared $\ell_2$ loss, without masked-token prediction or intermediate-layer supervision. With Objects365 detector pre-training, GTR-L achieves 58.9 box AP on COCO \texttt{val2017} with 1.908\,ms median batch-one latency under compiled FP16 execution on an RTX~4090. The same backbone also transfers to instance segmentation, pose estimation, oriented detection, semantic segmentation, and monocular depth estimation. In an isolated kernel benchmark, our specialized chunkwise CUDA operator is $4.0\times$ faster than FLA v0.5.0 at 1.6K tokens on RTX~4090. TensorRT deployment on DRIVE AGX Thor achieves 2.282--8.769\,ms median batch-one latency across the evaluated models. These results show that recurrent token mixing can provide an efficient alternative to global softmax attention for high-resolution dense prediction and edge deployment. Project page: https://intellindust-ai-lab.github.io/projects/GTR/
著者のコメント
Project page is available at: https://intellindust-ai-lab.github.io/projects/GTR/
arXiv ID: 2609.26590 ／ 要約の誤りについて