操作の順序を追跡できるMamba-3の状態更新を提案
Non-Commutative State Tracking with Input-Dependent Low-Rank Updates in Mamba-3
この論文をやさしく読む
ひとことで言うと
順序を入れ替えると結果が変わる操作を、Mamba-3が連続観測から追跡できるよう状態更新を拡張した研究。
何に役立つ？
入れ替え操作の履歴など、操作順序を保って追跡する系列モデルの設計・評価に役立つ可能性がある。要旨で確認されたのは群の語の問題とシェルゲームでの性能である。
この研究の面白いところ
入力依存のランク1更新を加えて非対角的な状態遷移を可能にしつつ、Mamba-3の離散化やRoPEを維持した。タイミングが揺らぐ長い入れ替え列で追跡成功率を高く保った。
どこまで分かった？
評価対象は要旨に記された課題であり、ほかの長期追跡課題への一般化は要旨だけでは分からない。数値の成功率や計算量の比較値は要旨に示されていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
連続する観測から状態を追跡するには、情報を保持するだけでなく、観測された操作を合成して状態を更新する必要がある場合がある。本研究はMamba-3の対角的な状態遷移に、入力に依存する低ランクの反射項を加え、操作の順序が重要になる非可換な状態追跡に対応させる。ランク1の更新は、入力に応じた方向に沿って状態の各成分を結び付け、単一のMamba-3ブロック内で非対角的な状態遷移を可能にする。この拡張でも、Mamba-3の指数・台形則による離散化、回転位置埋め込み（RoPE）、読み出し方式は維持する。学習では、チャンク内の提案した漸化式を並列計算できるよう、チャンク単位の計算を調整する。 実験には、離散入力を使う群の語の問題と、連続観測を使うシェルゲームを含めた。シェルゲームでは行動模倣によって方策を学習した。固定されたタイミングの条件で高い性能を示したモデルを選んで比較すると、提案モデルは、連続観測とタイミングの揺らぎを伴うシェルゲームで、入れ替えの列が長くなっても追跡の成功率をより高く保った。これらの実験は、評価した非可換な追跡課題で提案手法が高い精度を達成し、標準のMamba-3を上回ることを示す。この拡張は、Mamba-3に基づく非可換状態追跡の方法となる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
State tracking from sequential observations can require both retaining information and updating it by composing observed operations. We extend Mamba-3's diagonal transition with an input-dependent low-rank reflection term to support noncommutative state tracking, in which the order of operations matters. The rank-one update couples state coordinates along an input-dependent direction, enabling non-diagonal state transitions within a single Mamba-3 block. The extension preserves Mamba-3's exponential-trapezoidal discretization, rotary embeddings (RoPE), and readout. For training, we adapt chunkwise computation to parallelize the proposed recurrence within each chunk. Experiments cover group word problems with discrete inputs and a shell game with continuous observations, in which a policy is trained by behavioral cloning. Among the models selected for their strong performance under fixed timing, the proposed model maintains higher tracking success on longer swap sequences in the shell game with continuous observations and timing jitter. These experiments show that the proposed method achieves high accuracy on the evaluated non-commutative tracking tasks, improving on standard Mamba-3. The extension thus offers a Mamba-3-based approach to non-commutative state tracking.
著者のコメント
10 pages, 4 figures
arXiv ID: 2609.28273 ／ 要約の誤りについて