内部の計算を調べやすい再帰型言語モデルSRM
Stream Recursion Model (SRM)
この論文をやさしく読む
ひとことで言うと
内部の計算の流れを分け、言語モデルの動作を分析しやすくするモデルです。
何に役立つ？
モデル内の情報の流れや各部分の寄与を調べる研究に役立つと考えられます。
この研究の面白いところ
複数の潜在ストリームが異なる役割を示し、パラメータ当たりの性能はGPT-2と同程度でした。
どこまで分かった？
要旨では性能比較と内部分析を述べますが、評価課題やモデル規模の詳細は示していません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
機構的解釈可能性の研究は、大規模言語モデルの内部の振る舞いについて検証できる説明を目指す。しかし、多くの解釈手法はモデルの規模や深さの増大に対応しにくい。そこで、内部を調べやすい構造を持つ、より小さなモデルを導入する。この研究は、階層的推論モデルを改変し、拡張可能性を保ちながら内部の計算構造を見えるようにしたStream Recursion Model（SRM）を提案する。SRMは計算を、相互に作用する複数の潜在ストリームに分け、再帰的な改良を通じて更新する。その結果、ストリームの動き、因果的な寄与、情報の経路を直接分析できる。パラメータ当たりの性能はGPT-2と同程度だった。分析では、各ストリームに一貫して異なる振る舞いが見られ、構造化された役割分担と相互作用が示唆された。これらの結果は、SRMが規模を広げられる機構的解釈可能性の実践的な構造基盤となり、推論性能と解釈可能性の双方の研究につながる可能性を示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Mechanistic interpretability seeks to make verifiable statements about the internal behavior of large language models (LLMs). Many interpretability techniques struggle to scale with the increasing size and depth of architectures. Our solution to this is to introduce smaller models with structures that lend themselves to interpretability. In this work, we introduce the Stream Recursion Model (SRM), a modification of the Hierarchical Reasoning Model (HRM) designed to expose internal computational structure while remaining scalable. SRM organizes computation into multiple interacting latent streams that are updated through recursive refinement, enabling direct analysis of stream dynamics, causal contribution, and routing behavior. SRM achieves performance comparable to GPT-2 on a per-parameter basis. Our analysis reveals consistent and distinct behavior across streams, indicating structured specialization and interaction. These results suggest that SRM provides a practical architectural foundation for scalable mechanistic interpretability and opens up promising avenues for future research in both reasoning performance and interpretability.
著者のコメント
21 pages, 27 figures
arXiv ID: 2609.28809 ／ 要約の誤りについて