一度の推論から注意機構の経路を抽出する方法
Attention as a Routing Graph: Live Circuit Extraction from a Single Forward Pass
この論文をやさしく読む
ひとことで言うと
注意機構を経路図として読み、1回の推論から重要そうな接続を低費用で抽出する方法を調べた。
何に役立つ？
言語モデルの既知の回路を素早く調べ、詳細な介入実験の候補を絞る用途が考えられる。
この研究の面白いところ
抽出した接続の除去が無作為な除去より大きく性能を下げ、因果的な手掛かりがあることを確かめた。
どこまで分かった？
3モデル、各条件100入力を使う既知の帰納・IOI課題で評価した。完全な回路図ではなく、失敗する場合もある低費用の概略図だと著者らは述べる。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
言語モデル内の回路を見つけるには、通常は慎重な介入を何度も実行する。本研究は、1回の順方向計算から注意機構を情報の経路図として扱い、答えへ向かう少数の経路を残して、それらが実際に重要かを調べる、より簡単な方法を試す。多くの場合、経路は重要だった。既に正しい回路が知られている帰納課題とIOI課題では、抽出した接続を除去すると、同じ数の接続を無作為に除去するよりもモデルの性能が大きく下がった。GPT-2 Small、GPT-2 Medium、Pythia-410Mについて、各条件100件の入力を使い、対応を取った差の検定とブートストラップ信頼区間で評価した。抽出は1回の順方向計算で済む一方、ヘッドごとのパッチ適用を総当たりする方法は約2桁多くの計算を要する。著者らは完全な回路図を主張するのではなく、既知の課題で実際の因果的な手掛かりを含み、うまくいかない場合の失敗の形も明確な、低費用の概略図だと位置付ける。コードと評価資料は論文に記載のGitHubで公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Finding circuits in language models usually means running many careful interventions. We try something simpler: treat attention as a routing map from one forward pass, keep a small set of routes that point toward the answer, and ask whether those routes actually matter. They often do. On induction and IOI (tasks where the "right" circuit is already known), ablating our extracted edges hurts the model much more than ablating a random set of the same size. We evaluate n=100 prompts per cell on GPT-2 Small, GPT-2 Medium, and Pythia-410M, with paired gap tests and bootstrap confidence intervals. The extract step costs one forward; a head-by-head patch sweep costs about two orders of magnitude more. We are not claiming a complete circuit atlas. We are claiming a cheap sketch that carries real causal signal on known tasks, with clear failure modes when it does not. Code and evaluation artifacts are at https://github.com/Aquinf03/live-circuit-routing.
著者のコメント
7 Pages, 5 Figures, 1 table, Code: https://github.com/Aquinf03/live-circuit-routing
arXiv ID: 2609.25285 ／ 要約の誤りについて