言語モデルの線形表現を回答確率のまとまりから説明する
The Answer-Basin Representation Hypothesis: We Are Not Probing or Steering Concepts
この論文をやさしく読む
ひとことで言うと
モデル内部のある方向が「概念」を表しているように見えるのは、実はどの回答へ進みやすいかという確率のまとまりを反映しているのではないか、という仮説です。
何に役立つ？
内部表現を読み取るプロービングや、内部状態を変えて応答を誘導するステアリングの結果を解釈する際の、別の説明になります。
この研究の面白いところ
同じ回答に至る多様な文章の続きをまとめ、その確率の総和を考えます。概念ラベルとの対応が変わると、同じ操作の効果が反転する現象を説明しようとしています。
どこまで分かった？
提案は仮説であり、実験による関連付けが報告されています。要旨にはモデル名や定量結果はなく、モデルが一切概念を表現しないと一般的に証明したものではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
線形表現仮説は、高次の概念を言語モデル内の方向と対応付けるが、概念に関係する線形構造がモデル内でどのように組織化されているかは明確ではない。本研究では、回答盆地表現仮説を提案する。モデルの続きの生成分布が回答上に誘導する確率測度が、これらの線形構造を組織化し、その統計量が質問間で共有される線形方向に沿って表現される、という仮説である。 同じ回答を生むすべての続きの生成列は1つの回答盆地を形成し、その質量は、それらの確率の総和である。こうした盆地の質量が、回答上の押し出し確率測度を定義する。本研究では、概念に関係する線形構造は、概念ラベルの変化によって決まるのではなく、回答測度の違いから生じると仮定する。複数のモデルとタスクで行った実験は、プロービングやステアリングで見られる概念と整合する効果、およびその反転を、概念ラベルと回答測度の間の整合関係に結び付ける。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
The Linear Representation Hypothesis associates high-level concepts with directions in language models, but it remains unclear how these concept-related linear structures are organized within the model. We propose the Answer-Basin Representation Hypothesis: the probability measure induced over answers by the model's continuation distribution organizes these linear structures, with its statistics represented along linear directions shared across questions. All continuations yielding the same answer form an answer basin, whose mass is their total probability. These basin masses define the pushforward probability measure over answers. We posit that concept-related linear structure emerges from differences in the answer measure rather than being determined by changes in concept labels. Experiments across models and tasks link concept-consistent effects and their reversals in probing and steering to the alignment between concept labels and the answer measure.
著者のコメント
19 pages, 7 figures
arXiv ID: 2609.24821 ／ 要約の誤りについて