事実を書き換えた前後の差からモデル内の知識を探す
Circuit-Diff: Factual Edit-based Intervention Method for Localizing Knowledge in Attribution Graphs
この論文をやさしく読む
ひとことで言うと
モデル内の事実を一つ変更し、その前後で内部グラフの役割が変わった特徴を見つけて、知識の所在を探る方法です。
何に役立つ？
ラベルのない大量の内部特徴から、調べたい知識に関係する候補を絞る作業に役立ちます。
この研究の面白いところ
編集した対象の単語だけでなく、その対象の歴史や地理など周辺知識に関わる特徴も抽出されています。編集後のモデルに固定済みCLTを使う信頼性も測っています。
どこまで分かった？
因果的な検証は最大24件のCounterFact編集について行われています。要旨は信頼性を測定したと述べますが、その数値やあらゆる知識への一般化を示してはいません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
機構的解釈可能性では、特徴をニューラルネットワークの基本単位、回路を計算を実行する重み付き部分グラフと定義する。個々のニューロンは複数の意味を持つため、帰属グラフを生成してモデルの回路を近似する手段として、Cross-Layer Transcoder（CLT）が導入された。しかし、そのグラフのノードはラベルのない特徴である。グラフを読むには枝刈りを行い、残った各ノードの意味を手作業で特定しなければならない。 CLTを回路発見に使いやすくするため、Circuit-Diffを導入する。この手法は、低ランクの事実編集によってモデル自体に介入し、編集に伴って帰属グラフ内での役割が変化する特徴を、編集された知識に関連するものとして取り出す。調べた編集では、抽出されたノードは単なる対象トークンの検出器ではなかった。CLTの公開特徴ダッシュボードから読み取ると、編集前後の対象を取り巻く歴史、地理、関連事項の特徴も含まれていた。 手法を定式化し、事実編集後も固定したCLTがどの程度信頼できるかを測定する。最大24件のCounterFact編集について、選んだノードをパッチすることで因果的に検証し、事例研究を示す。さらに、circuit-tracerパッケージを基盤としたオープンソース実装を、複数プロンプトの集約とルールに基づくスーパーノードのラベル付けという2つの追加ツールとともに公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Mechanistic interpretability defines features as the fundamental units of a neural network and circuits as the weighted subgraphs that carry out its computation. Because individual neurons are polysemantic, Cross-Layer Transcoders (CLTs) were introduced as a way to approximate a model's circuits by generating an attribution graph. The nodes of that graph, however, are unlabeled features: reading a graph means pruning it and then working out by hand what each surviving node means. To make CLTs easier to use for circuit discovery, we introduce Circuit-Diff, which intervenes on the model itself with a low-rank factual edit and takes the features whose role in the attribution graph changes under that edit as related to the edited knowledge. On the edits we examine, the flagged nodes are not only detectors of the object token: read off the CLT's released feature dashboards, they include features for the history, geography and associations surrounding the old and new objects. We formalize the method, measure how reliable a frozen CLT remains after a factual edit, test the selected nodes causally by patching them on up to 24 CounterFact edits, give a case study, and release an open-source implementation built on the circuit-tracer package, together with two further tools (multi-prompt aggregation and rule-based supernode labeling).
著者のコメント
26 pages, 12 figures, 3 tables. Code: https://github.com/edwardF8/Circuit-Diff | Data: https://huggingface.co/datasets/edwardF8/Circuit-Diff-paper-data | Demo: https://circuit-diff-paper.vercel.app/
arXiv ID: 2609.23892 ／ 要約の誤りについて