言語モデルの単語表現にどの関係が線形に埋め込まれるか
Analysing the Linearity of Linguistic Relations in Language Model Embedding Spaces
この論文をやさしく読む
ひとことで言うと
単語を数値ベクトルにした空間で、語形変化や知識上の関係が、単純な線形操作としてどれほど表せるかを調べています。
何に役立つ？
モデルがどの種類の単語間関係を取り出しやすく持っているかを比較するのに役立ちます。埋め込み表現を分析するための評価手段です。
この研究の面白いところ
屈折や派生は非常に線形的でも、百科事典的な関係や一対多の関係ではそうならないという違いを示しています。関連しない単語ペアも含む制約付き近似で測っています。
どこまで分かった？
拡張BATSと3種類のモデルでの評価です。線形に取り出しにくいことは、その知識がモデルに全く存在しないことを意味しません。要旨には関係ごとの具体的な誤差値はありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
本研究では、言語モデルの埋め込み空間に、異なる言語的関係がどれほど強く線形に符号化されているかを解析する枠組みを提案する。関連する単語ペアと関連しない単語ペアに対する制約付き線形近似によって線形符号化を定式化し、屈折、派生、辞書的、百科事典的な関係を含む拡張BATSデータセットを使って、GloVe、RoBERTa、ModernBERTに適用する。 実験では、屈折と派生の関係はほぼ完全に線形に符号化される一方、辞書的・百科事典的関係では、特に一対多や多対多の対応で誤差が大幅に高いことが示された。また、RoBERTaとModernBERTは一般に、GloVeより関係を線形に符号化していることが分かった。これらの結果は、本枠組みが、埋め込みの中でどの関係構造が線形に取り出しやすいかを明らかにでき、モデル間で関係の幾何を調べて比較する簡潔な道具となることを示している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We propose a framework to analyse how strongly different linguistic relations are linearly encoded in language model embedding spaces. We formalise linear encoding via a constrained linear approximation over related and unrelated word pairs and apply this to an extended BATS dataset covering inflectional, derivational, lexicographic, and encyclopedic relations in GloVe, RoBERTa, and ModernBERT. Our experiments show near-perfect linear encodings for inflectional and derivational relations, but substantially higher errors for lexicographic and encyclopedic relations, especially for one-to-many and many-to-many associations. We also find that RoBERTa and ModernBERT generally encode relations more linearly than GloVe. These results indicate that our framework can reveal which relational structures are most linearly accessible in embeddings, offering a compact tool for probing and comparing relational geometry across models.
著者のコメント
6 pages. Accepted at the Workshop on Scientific Methods for Understanding Deep Learning (Sci4DL) at ICLR 2026
arXiv ID: 2609.21655 ／ 要約の誤りについて