MambaとTransformerが学ぶ内部概念を比較する
Comparing Latent Concept Formation in State Space Models and Transformers via Sparse Autoencoders
この論文をやさしく読む
ひとことで言うと
過去の情報を小さな状態に圧縮するMambaと、注意機構を使うTransformerで、内部に学ばれる特徴がどれほど似ているかを調べています。
何に役立つ？
モデル構造の違いが内部表現のどこに現れるかを調べる、解釈可能性の研究に役立ちます。一般的な意味理解の同等性を直接測定した結果とは区別する必要があります。
この研究の面白いところ
比較したMambaの特徴の99.98%はよく対応し、違いが目立つ残り0.02%には書式や構文の例外に関する特徴が見られました。
どこまで分かった？
対象はMamba-130mとPythia-70m、および1,000万トークンのコーパスです。普遍性仮説への支持は予備的とされ、再帰状態の制約が原因だという説明も仮説との整合として位置付けられています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
Transformerの自己注意の計算量が二次的に増大することから、Mambaのような二次未満の計算量を持つ選択的状態空間モデル（SSM）の採用が進んでいる。SSMは過去の文脈を固定サイズの再帰的な隠れ状態へ圧縮する。この厳しい情報のボトルネックは、機構的解釈可能性に関する根本的な問いを生む。SSMとTransformerは、本質的に異なる潜在表現を学ぶのだろうか。 本研究では、スパースオートエンコーダー（SAE）を用い、1,000万トークンのコーパス上でMamba-130mとPythia-70mの大規模な特徴単位の対応分析を行う。アーキテクチャーによって広範な違いが生じるという仮説に反し、アーキテクチャー間に系統的な表現の相違を示す証拠は見つからなかった。観測されたJaccard分布全体で、Mambaの特徴の99.98%が対応度の上側境界付近に集まり、普遍性仮説を特徴レベルで予備的に支持する結果となった。 さらに、相違を示すごくわずかな特徴群（0.02%）を特定して定性的に調べたところ、再帰的なボトルネックは幅広い意味的な概念体系ではなく、厳密な構文の解析を選択的に制限するという仮説と整合するパターンが見られた。Pythiaの制約のない注意機構では、書式の異なる例外的ケースをそれぞれ単一の意味を持つ特徴に分解できる一方、Mambaでは状態容量を保つため、互いに無関係な構文上の異常を、多義的な「雑多なものを入れる引き出し」のようなニューロンへ圧縮する必要があることを示す。総合すると、これらの結果は、アーキテクチャーの情報伝達機構が中核的な意味理解に及ぼす影響はごく小さく、表現の違いは極端な構造上の周辺事例に限られる可能性を示唆する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
The quadratic scaling of Transformer self-attention has driven the adoption of sub-quadratic Selective State Space Models (SSMs) like Mamba, which compress past context into a fixed-size recurrent hidden state. This strict informational bottleneck raises a foundational question for mechanistic interpretability: do SSMs and Transformers learn fundamentally distinct latent representations? In this work, we employ Sparse Autoencoders (SAEs) to conduct a large-scale, feature-level correspondence analysis between Mamba-130m and Pythia-70m over a 10-million token corpus. Contrary to hypotheses predicting widespread architectural divergence, we find no evidence of systematic representational divergence between architectures: across the observed Jaccard distribution, 99.98% of Mamba features cluster toward the upper alignment boundary, providing preliminary feature-level support for the Universality Hypothesis. We further identify and qualitatively characterize this microscopic fraction (0.02%) of diverging features, finding patterns consistent with the hypothesis that the recurrent bottleneck selectively limits the parsing of rigid syntax rather than broad semantic ontology. We demonstrate that while Pythia's unconstrained attention permits the monosemantic decomposition of distinct formatting edge-cases, Mamba is forced to compress unrelated syntactical anomalies into polysemantic "junk drawer" neurons to preserve state capacity. Collectively, these results suggest that architectural routing mechanisms may have negligible impact on core semantic understanding, with representational divergence confined to extreme structural margins.
著者のコメント
Contains about 6 pages
arXiv ID: 2609.24440 ／ 要約の誤りについて