文脈中の語義判定で大規模言語モデルが迷う理由
WiC is Not WSD: A Study on LLMs and Lexical Ambiguity Resolution
この論文をやさしく読む
ひとことで言うと
文中の単語が同じ意味かを判定する課題では、意味の区切り方を明示しないことが難しさを生むと調べます。
何に役立つ？
言語モデルの語義評価で、理解の失敗とラベルの曖昧さを区別する助けになります。
この研究の面白いところ
候補語義を与えると全設定で改善し、人手評価では細かすぎる意味区分が見かけの誤りを生む場合があると示します。
どこまで分かった？
評価した公開モデルと設定での結果です。WiCのすべての誤りがラベル側の問題で、語義理解の失敗がないという結論ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
語彙意味論の課題では近年進歩が見られるものの、文脈中の単語の意味を比較するWord-in-Context（WiC）は、依然として言語モデルにとって難しい。本研究では、この難しさは二つの文脈での単語の使われ方を比較することだけでなく、適切な意味の細かさを指定する明示的な語義一覧がないことにも由来すると仮説を立てる。 公開LLMを、類似した条件でWiCと従来の語義曖昧性解消（WSD）について評価する。従来のWSDと同様に候補となる語義を提示すると、すべての設定でWiCの性能が改善することが分かった。概して、明示的な語義情報は、モデルがより一貫性があり、焦点の定まった判断を行うのに役立つ。 人による評価では、見かけ上のWiCの誤りの多くが、単純な語彙理解の失敗ではなく、ラベルの曖昧さや、モデルと注釈者との語義境界の不一致を反映していることも分かった。特に、LLMは語義の違いを考え過ぎる傾向があり、過度に細かな区別に基づいて誤ることが多い。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Word-in-Context (WiC) remains challenging for language models, despite recent progress on lexical-semantic tasks. We hypothesise that this difficulty arises not only from comparing two contextual uses of a word, but also from the absence of an explicit sense inventory that specifies the relevant level of semantic granularity. We evaluate open LLMs on WiC and traditional Word Sense Disambiguation (WSD) under similar settings. We find that providing candidate senses, similar to what is done in traditional WSD, improves WiC performance in all settings. In general, explicit sense information helps models make more consistent and targeted judgements. Human evaluation further shows that many apparent WiC errors reflect label ambiguity or mismatches between model and annotator sense boundaries rather than simple failures of lexical understanding. In particular, results show that LLMs overthink the sense distinction often leading to errors based on overly fine-grained distinctions.
著者のコメント
Accepted to AACL 2026 (main)
arXiv ID: 2609.20593 ／ 要約の誤りについて