CNN・Mamba・Transformerを組み合わせた画像認識基盤モデル
LiAuto-MindViT: A Hybrid Vision Backbone with Adaptive Bidirectional Mamba
この論文をやさしく読む
ひとことで言うと
画像の局所的な特徴と複数方向の広い文脈を扱うため、三種類のモデル構造を組み合わせる。
何に役立つ？
考えられる用途は画像分類、物体検出、領域分割の共通の特徴抽出器。要旨ではこれら三課題で評価した。
この研究の面白いところ
Mambaの方向バイアスを双方向走査と学習可能な混合で抑え、別の再パラメータ化モジュールで推論負荷も減らす。
どこまで分かった？
要旨には精度、遅延、メモリ削減量の具体値や、比較したモデルの内訳は記載されていない。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
Mambaに基づくモデルは長い系列の処理に高い可能性を示しているが、視覚に適用するには、近くの画素同士の関係と複数方向の空間的な文脈が必要になるため難しい。本論文は、CNN、Mamba、Transformerの長所を組み合わせた新しい視覚基盤モデルLiAuto-MindViTを提案する。 設計の中心は適応的双方向Mamba（ABM）である。学習可能なαによる混合を伴う双方向の選択的走査によって、一方向の状態空間モデルにある方向バイアスを取り除き、あらゆる経路を総当たりで通す負担をかけずに、内容に応じた方向の統合を行う。さらに推論を速めるため、構造的な再パラメータ化によって遅延とメモリアクセスの負荷を減らす、実装しやすいRepConvSEモジュールを提案する。広範な実験では、画像分類、物体検出、意味的領域分割で最先端の性能を達成し、再パラメータ化による効率的な推論も実現したと報告する。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-22 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
While Mamba-based models have shown strong potential for long sequence modeling, adapting them to vision is challenging due to the requirement of local neighborhood correlations and multi-directional spatial contexts for visual understanding. In this paper, we present LiAuto-MindViT, a novel hybrid vision backbone that synergizes the strengths of CNNs, Mamba, and Transformers. The core of our design is the Adaptive Bidirectional Mamba (ABM), which eliminates the directional bias of unidirectional SSMs through bidirectional selective scanning with learnable alpha blending, enabling content-adaptive directional fusion without the overhead of exhaustive multi-path routing. To further accelerate inference, we propose a deployment-friendly Reparameterized ConvSE (RepConvSE) module that leverages structural reparameterization to reduce latency and memory access overhead. Extensive experiments demonstrate that LiAuto-MindViT achieves state-of-the-art performance on image classification, object detection, and semantic segmentation while enabling efficient inference through reparameterization.
著者のコメント
10 pages, 5 figures
arXiv ID: 2609.24337 ／ 要約の誤りについて