冗長な層をまとめて小さくするTransformer
A Smaller Transformer in Your Transformer
この論文をやさしく読む
ひとことで言うと
Vision Transformerの連続した似た働きの層を、一つの学習した代替層へまとめます。
何に役立つ？
既存モデルを後から圧縮し、パラメータ数と推論計算を減らす方法として役立ちます。
この研究の面白いところ
層の冗長性を特定の置換手法から切り離して整理し、その上で複数層を一つの代理層に融合します。自然画像では深さを半分にした評価を示します。
どこまで分かった？
自然画像では元モデルに競争力を保ち、一部の病理画像課題では同等以上と報告します。すべての課題で無劣化との保証ではなく、要旨には実測速度や精度差の内訳はありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
近年の知見から、Vision Transformerは局所的に似通った計算段階に落ち着くことが示されており、深さ方向に計算の冗長性があると考えられる。しかし、その冗長性を利用する既存手法は、推論時の計算量を減らせないか、モデルの表現力を大きく損なう。 本研究では、特定の代替処理による介入から幾何的構造を切り離し、ブロックの冗長性を統一的に捉える見方を定式化する。そのうえで、連続する冗長な層の群を、学習した単一の代替層に統合する事後的手法Transformer-Within-Transformer（TWT）を提案する。TWTはパラメータ数と推論計算量を削減し、自然画像では深さを半分にしても元のモデルに匹敵する性能を保つ。また、いくつかの下流の病理組織学的設定では、元のベースラインと同等、あるいはそれ以上の性能を示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Recent findings indicate that Vision Transformers settle into locally similar computational phases, implying a level of depthwise computational redundancy. However, existing methods to exploit this redundancy either fail to reduce inference compute or severely degrade model expressivity. In this work, we formalise a unified view of block redundancy that decouples the geometry from specific surrogate interventions. We then introduce Transformer-Within-Transformer (TWT), a post-hoc method that fuses contiguous groups of redundant layers into a single learned surrogate layer. TWT reduces parameter count and inference compute while remaining competitive with original models using half the depth on natural images, and in several downstream histopathology settings, TWT matches or even improves on the original baseline.
著者のコメント
22 pages, 6 figures, 6 tables. Accepted at the 37th British Machine Vision Conference (BMVC 2026)
arXiv ID: 2609.20100 ／ 要約の誤りについて