対話モデルの人物属性をコサイン類似度が捉え損ねる場合
When Cosine Similarity Fails to Reflect Linearly Accessible Structure in Dialogue Models
この論文をやさしく読む
ひとことで言うと
対話モデルの内部に人物属性を読み出せる情報があっても、通常のコサイン類似度では見つけにくい場合があるという研究です。
何に役立つ？
モデルの内部表現を分析するとき、類似度が低いことを情報の欠如と取り違えないための検討材料になります。
この研究の面白いところ
同じ隠れ状態でも測り方で結果が大きく違い、教師あり部分空間は改善する一方、同じ次元数のPCAは改善しません。
どこまで分かった？
3つの対話モデルでの結果で、単文感情分類では同じ不一致は見られませんでした。また、一部モデルが事前登録の不変性基準を満たさず、時間的に完全不変という結論ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
コサイン類似度はTransformerの表現を分析するために広く使われ、類似度が課題に関係する構造を反映することを暗黙に仮定している。本研究は、対話で条件付けられた大規模言語モデルにおいて、この仮定が成り立たない場合を調べる。 70億〜80億パラメータの対話調整済みモデル3種で、元の表現空間におけるコサイン類似度は、同じ隠れ状態から線形に読み出せるペルソナ構造を大きく過小評価した。数値では、30クラス課題における線形プローブのAUCが0.73〜0.97だったのに対し、コサインk近傍法は0.56〜0.77だった。教師ありの低次元部分空間はこの差の多くを回復したが、同じランクの主成分分析（PCA）部分空間では回復せず、場合によっては性能が悪化した。 この不一致は条件に依存する。単文の感情分類SST-5では生じず、属性の種類数を一致させた対照実験から、属性数が交絡要因である可能性は除かれた。差は対話ターンを通じて系統的に拡大せず、課題に沿った部分空間は時間が経っても安定していた。ただし、3モデル中2モデルは事前登録した部分空間内の分離可能性の不変基準|ΔAUC| ≤ 0.03を満たさず、1モデルは事前登録したターン不変性の基準|ΔL| ≤ 0.05を満たさなかった。これらの結果は、対話表現の課題に沿った構造が線形に利用可能でも、コサイン類似度がそれを反映できない場合があることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Cosine similarity is widely used to analyze transformer representations, implicitly assuming that similarity reflects task-relevant structure. We study when this assumption fails in dialogue-conditioned large language models. Across three 7-8B chat-tuned models, ambient cosine similarity substantially underestimates linearly decodable persona structure on the same hidden states; numerically, linear probe AUC is in the 0.73-0.97 range while cosine kNN is in the 0.56-0.77 range on a 30-class task. A low-dimensional supervised subspace recovers much of this gap, whereas a matched-rank PCA subspace does not and in some cases degrades performance. This mismatch is regime-dependent: it is absent in single-sentence sentiment classification (SST-5), and a matched-cardinality control rules out attribute cardinality as a confound. The gap does not systematically increase across dialogue turns, and the task-aligned subspace remains stable over time. However, two of three models violate a pre-registered within-subspace separability invariance criterion (|Delta AUC| <= 0.03), and one model violates a pre-registered turn-invariance criterion (|Delta L| <= 0.05). These results show that cosine similarity can fail to reflect task-aligned structure in dialogue representations even when that structure is linearly accessible.
arXiv ID: 2609.22522 ／ 要約の誤りについて