指示調整が言語モデルの知識衝突回路に与える影響
Rewired or Gated? How Instruction Tuning Shapes Knowledge-Conflict Circuits in LLMs
この論文をやさしく読む
ひとことで言うと
指示調整で言語モデルが誤情報を退けるようになる仕組みを、内部のアテンション回路と振る舞いの両面から調べた。
何に役立つ？
モデルの知識と入力文が衝突する場面の評価や、基盤モデル向けに作った解析手法の転用可能性を考える材料になる。転用は著者らの見解であり、要旨に実証結果として書かれているのは回路比較と行動評価。
この研究の面白いところ
3系列で調整前後の回路が大きく重なった一方、短い反事実文を退ける傾向は強まった。しかし同じ誤情報を証拠らしい文章で提示すると、その傾向が消えた。
どこまで分かった？
調べたのは記載された3系列と衝突課題であり、頑健性は入力の提示形式に依存した。基盤モデル用ツールが配備済みの指示調整版へ直接移るという点は、著者らの推論として述べられている。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
言語モデルがプロンプトの記述と重みに蓄えた知識のどちらを信じるかという選択には、識別可能な少数のアテンションヘッドが関わる。指示調整は衝突時の振る舞いを変えるが、基礎にある回路を作り替えるのか、既存の構成要素の働きを切り替えたり重み付けしたりするのかは分かっていなかった。本研究は、Llama-3.2-3B、Qwen-2.5-3B、Gemma-3-4Bの3系列で、基盤モデルと指示調整モデルの衝突解決回路を機構的に比較する。ノードとエッジの寄与解析、重ね合わせた役割の分析、因果的な除去実験、経路パッチングという5つの独立した方法は、回路の置換ではなく働きの調整を支持した。同じ後段層に同じヘッドが見つかり、ノードの重なりは0.60～0.82と高かった。振る舞いでは、調整後のモデルは内部知識をより優先し、短い反事実的な文脈を基盤モデルよりはるかに強く退けた。これは単純にユーザーの記述に従うという予想と逆である。ただし、この懐疑的な振る舞いは提示形式に左右され、同じ誤った主張を一貫した証拠らしい文章で示すと消えた。したがって、短い注入に対して指示調整が与える頑健性は実在するが、範囲は狭い。著者らは、衝突回路が再構築されず維持されるため、基盤モデル用に調整した解釈・制御ツールを指示調整版へ直接移せるはずだと考えている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
In language models, the choice between believing the prompt and believing the weights is made by a handful of identifiable attention heads. Instruction tuning changes how models behave under conflict, but whether it rewires the underlying circuit or merely gates/reweights already present components, remains unknown. We provide the first mechanistic base-vs-instruct comparison of conflict-resolution circuits, across three families (Llama-3.2-3B, Qwen-2.5-3B, Gemma-3-4B). Five independent methods, node and edge attribution, superposition role analysis, causal ablation, and path patching, converge on gating, with the same heads, in the same late-layers, are found to be reweighted rather than replaced with a high node overlap (0.60-0.82). Behaviorally, tuning shifts models toward parametric memory, making instruct models reject a terse counterfactual context far more than base ones, the opposite of a naive user-following expectation. Yet this added skepticism is a factor of framing since it disappears when the same false claim is delivered as a coherent, evidential passage. The robustness that instruction tuning buys against terse injection is therefore real but narrow. More broadly, we believe that because the conflict circuit is preserved rather than rebuilt, interpretability and control tools calibrated on base models should transfer directly to their deployed instruct siblings.
著者のコメント
Accepted at BlackboxNLP 2026, Co-located with EMNLP 2026
arXiv ID: 2609.25602 ／ 要約の誤りについて