セルオートマトンで比較する再帰型Transformerの記憶
LSTM-UT and Recurrent-Depth Transformers on Cellular Automata
この論文をやさしく読む
ひとことで言うと
同じ計算を何度も繰り返すTransformerで、過去の情報をどう残すべきかを比較します。履歴を増やし続ける方式より、容量を限定してゲートで管理する記憶が有効かを調べています。
何に役立つ？
反復計算や、後で指定された情報を思い出すモデルの設計を考える材料です。Rule 30セルオートマトンと遅延想起の課題で、記憶機構の違いを切り分けます。
この研究の面白いところ
履歴キャッシュがあるCoTFormerは、現在状態を直しても過去の履歴との相互作用で再び失敗する場合があります。LSTM型の有限な記憶を持つLSTM-UTは、深さの外挿と想起の双方で改善しています。
どこまで分かった？
報告は特定の計算・想起課題における比較です。現在状態だけを持つ方式でも反復を増やすと精度はやがて低下します。有限ゲート記憶が一般のあらゆる言語課題で最善という証拠ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
再帰的深さを持つTransformerは、共有した計算を繰り返し適用するが、各ステップ間で情報を保持する方法は異なる。本研究では、現在の隠れ状態だけを引き継ぐBlock Universal Transformer（BUT）、拡張するアテンションキャッシュも保持するCoTFormer、そして上限付きのゲート付きメモリを持つ新しいLSTM Universal Transformer（LSTM-UT）を比較する。 Rule 30のセルオートマトンでは、BUTはCoTFormerよりも、訓練時に見ていない再帰深さへの外挿を安定して行うが、精度は最終的に低下する。状態とキャッシュへの介入実験から、CoTFormerの失敗は両者の相互作用に依存することが分かった。現在の状態を修正すると一時的に精度を回復できる一方、保持された履歴がその修正を損なうことがある。 遅延想起課題でも、過去の状態へ直接アクセスできないBUTがCoTFormerを上回った。CoTFormerは、要求されたキャッシュ表現を安定して選択できない。LSTM-UTは、これらの基準手法よりも深さの外挿と遅延想起の両方を改善した。 これらの結果は、繰り返し計算と後の検索を行う課題では、上限付きのゲート付きメモリが有効な帰納バイアスになることを支持する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Recurrent-depth Transformers apply shared computation repeatedly, but differ in how they retain information across steps. We compare a Block Universal Transformer (BUT), which carries only its current hidden state; CoTFormer, which also retains an expanding attention cache; and a new LSTM Universal Transformer (LSTM-UT) with bounded gated memory. On Rule 30 cellular automata, BUT extrapolates to unseen recurrent depths more reliably than CoTFormer, although its accuracy eventually degrades. State and cache interventions show that CoTFormer's failure depends on their interaction: correcting the current state can temporarily restore accuracy, while retained history can undermine that correction. In a delayed-recall task, BUT also outperforms CoTFormer despite lacking direct access to past states; CoTFormer does not reliably select the requested cached representation. LSTM-UT improves both depth extrapolation and delayed recall over these baselines. The results support bounded gated memory as an effective inductive bias for repeated computation and later retrieval in these tasks.
arXiv ID: 2609.19521 ／ 要約の誤りについて