arXiv論文メモ
新着一覧
cs.LG / cs.AI / cs.NE · 査読状況未確認

再帰型モデルは何回の計算で問題を解き終えるか

When Recursive Models Finish Computing

Hare Krishna, Shubham Singh, Stephen Ebert, Hao-Yu Sun

この論文をやさしく読む

ひとことで言うと

数独を解く再帰型モデルで、規定回数を超えて計算すると何が起きるかを調べた。

何に役立つ?

推論をいつ止めるか、失敗が単なる計算不足かを調べる際の手がかりになる。

この研究の面白いところ

正解後に状態の動きが減る一方、局所的には拡大方向も残るという、方向依存の安定性を見いだした。

どこまで分かった?

難しい数独1,000問と特定のTiny Recursive Modelでの結果。累積正解率は512回目の一回の正解率とは異なる。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

再帰型モデルは所定の推論回数を超えて潜在状態を更新し続けられる。その回数での出力が誤っていても、計算が未完了なのか、長く失敗が続く状態に入ったのかは分からない。本研究は、注意機構型とMLP型のTiny Recursive Model(TRM)について、難しい数独1,000問を用いて完了までの動きを調べる。再帰の回数を通常の16回から512回に延ばすと、少なくとも一度は完全に解けた問題の累積割合は、注意機構型で59.2%から87.5%へ、MLP型で74.4%から91.9%へ増え、通常の回数で解けなかった問題の3分の2超を解いた。両構成とも、最初に正解へ到達した後は潜在状態の動きが急減する。完了した状態は、同じ局所ヤコビ行列に強く拡大する方向が残っていても、実際の軌道の方向では通常、局所的に収縮する。これを軌道に条件付けられた異方的安定性と特徴付ける。摂動実験でも両モデルでこの方向性のある安定性が確認された。最大に拡大する方向のその後の推移は異なり、注意機構型では16回以内に吸収されるが、MLP型ではより長く残る。異方的安定性のパターンは二つ目の注意機構型チェックポイントでも成立した。これらの結果は、所定回数での失敗と計算の完了を区別し、二つの再帰型構成に共通する完了の動的な特徴を示す。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-22(UTC)
最新改訂
2026-09-22 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Recursive models can continue updating their latent states beyond their nominal inference budget, so an incorrect output at that budget does not show whether computation is unfinished or has entered a persistently unsuccessful regime. We study the dynamics of completion in attention- and MLP-based Tiny Recursive Models (TRMs) on 1,000 hard Sudoku puzzles. Extending recurrence from the nominal 16 steps to 512 steps increases cumulative exact-solve accuracy from 59.2% to 87.5% for the attention model and from 74.4% to 91.9% for the MLP model, solving more than two-thirds of the puzzles unsolved in the nominal budget. Across both architectures, latent-state motion drops sharply after the first exact solution. Completed states are typically locally contractive along the trajectory direction, even though the same local Jacobian retains strongly expanding directions. We characterize this phenomenon as trajectory-conditioned anisotropic stability. Perturbation experiments confirm this directional stability across both models. The multi-step fate of the maximally expanding direction differs: it is absorbed within 16 steps in the attention model but persists longer in the MLP model. The anisotropic-stability pattern also holds for a second attention checkpoint. Together, these results distinguish nominal-budget failure from completed computation and identify a common dynamical signature of completion across two recurrent architectures.

arXiv ID: 2609.26487 / 要約の誤りについて