言語モデルの構文理解で内部表現と出力の差を測る
Encoded but Not Decoded: Layer-Localized Evidence for a Three-Level Gap in LLM Syntax
この論文をやさしく読む
ひとことで言うと
言語モデルが構文問題に答えられないとき、構文を内部で表現していないのか、表現していても出力に使えないのかを分けて調べた研究です。
何に役立つ？
言語モデルの構文能力を評価する際に、最終回答だけでなく内部表現と出力ヘッドからの読み出しを比較する必要性を示します。
この研究の面白いところ
探査モデル、出力ヘッド、実際の行動という三段階を同じ問題で比較し、差が特定の層と主語制御の課題に集中することを見つけています。
どこまで分かった？
評価は3言語の小規模な制御関係ベンチマークと7モデルに基づきます。表面的な近道を好むデコードは、要旨では結果と整合する解釈として述べられています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
言語モデルが構文のテストに失敗する理由は二つある。関連する構造を内部に符号化していない場合と、符号化しているのに出力に使えない場合である。出力行動の評価だけでは、この二つを区別できない。本研究は、同じ問題と同じ二値の判断を用いて、実際の出力行動、言語モデルの出力ヘッドによる読み出し、探査モデルによる復元可能性という三段階を測る評価枠組みを提案する。 英語、中国語、ドイツ語の制御関係を扱う小規模なベンチマークを用いたところ、7モデルと3言語を集約した結果で、探査による復元可能性は出力ヘッドからの読み出し以上、出力ヘッドからの読み出しは実際の出力行動以上だった。モデルと課題の14条件すべてで、復元可能性の余剰は負にならなかった。差は、最も近い名詞を選ぶ単純な方法では誤答になる主語制御の課題に集中した。最大の差0.653は、質問応答におけるQwen3-0.6B Instructで生じ、Qwen3-14B Instructでも差が残った。指示への適応訓練は、割合で見れば、内部の符号化より実際の出力を強く悪化させた。選択肢の位置による偏り、後半層での情報消去、出力形式による見かけの差、探査モデルの訓練のばらつきは原因から除外した。結果のパターンは、表面的な近道を好むデコードと整合し、出力行動と探査の差はその傾向の強さを測る。活性化の差し替えから、この差が特定の層に局在することが分かった。指示への適応訓練の下では、出力ヘッドが読み出せる層は、探査モデルが読み出せる層より約10層後へ移る。したがって、行動評価だけではモデル内部で符号化された情報を過小評価し、探査だけでは実際に使われる情報を過大評価する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
A language model can fail a syntactic test in two distinct ways: by not encoding the relevant structure, or by encoding it but failing to use it at the output. Behavioral evaluation alone cannot tell these apart. We propose a three-level evaluation framework (behavioral deployment, LM-head readout, and probe recoverability) measured on the same items under the same binary decision. Using a compact trilingual (English, Chinese, German) control-dependency benchmark, we find that probe recoverability exceeds or equals LM-head readout, which in turn exceeds or equals behavioral deployment, across seven models and all three languages in the aggregate. The recoverability surplus is never negative across all 14 (model, task) conditions. The disconnect concentrates in subject-control, where a nearest-noun heuristic gives the wrong answer. The single largest gap (0.653) appears on Qwen3-0.6B Instruct in question answering. The gap persists at Qwen3-14B Instruct. Instruction tuning degrades deployment more than encoding in percentage terms. We rule out option-position bias, late-layer erasure, output-formatting artifacts, and probe-training variance. The pattern is consistent with decoding that favors surface shortcuts, and the behavior-probe gap measures the strength of that preference. Activation patching shows the gap is layer-localized. Under instruction tuning, the LM-head-decoded layer shifts approximately ten layers later than the probe-decoded layer. These findings argue that behavioral evaluation understates what models encode, while probing alone overstates what they deploy.
著者のコメント
Accepted by AACL-IJCNLP 2026
arXiv ID: 2609.29848 ／ 要約の誤りについて