言語モデルが記憶と矛盾する文脈のどちらを選ぶか再検証
Memory vs. Context? Influential Factors of Factual Recall in Language Models
この論文をやさしく読む
ひとことで言うと
モデルが学習中に覚えた事実と、入力に書かれた矛盾する説明のどちらを信じるかを、31モデルで再検証しています。
何に役立つ？
検索結果や外部文書を与えるシステムで、モデルがその情報を採用するか、記憶を優先するかを評価する際の注意点になります。
この研究の面白いところ
知識そのものだけでなく、質問の言い回しで記憶への依存度が最大80ポイント変わり、無関係な文章でも裏付け文脈に似た効果を持つと報告しています。
どこまで分かった？
元の傾向は多く再現しますが、系列やモデル規模によって例外があります。80ポイントは依存度の変化であり、一般的な正解率が80%改善したという意味ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
本研究では、言語モデル（LM）が記憶した知識と、それに矛盾する文脈内の記述の間でどのように判断するかを特徴付けたYuら（2023）の研究を再現し、条件を変えて検証する。Pythia、GPT-2、Qwen3、Ministralの系列に属する31モデルを対象に、基盤モデルと事後学習済みモデルを含め、世界の首都に関する実験を再現する。さらに、ParaConflictデータセットの5種類の追加的な知識関係へ評価を拡張する。 元の知見の大部分を実証的に確認した。より大きいモデルや出現頻度の高いエンティティでは記憶した回答を選びやすいが、モデル系列間のばらつきは大きい。ただし、いくつかの結論はそのまま一般化できない。Qwen3-14Bと32Bではエンティティ頻度の効果が消失する。事後学習による記憶と文脈のトレードオフの変化は系列間で一貫しない。質問の言い回しだけで、記憶した知識への依存度が最大80ポイント変化し得る。また、意味的に無関係な文章でも、整合的な裏付け文脈に似た効果を生み得る。本結果は、Yuらの主張がどこで成り立ち、別のプロンプトへどの程度一般化するかを明確にする。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We reproduce and stress-test the work of Yu et al. (2023), who characterize how language models (LMs) arbitrate between memorized knowledge and contradictory in-context statements. We replicate their world-capitals experiments on 31 models spanning Pythia, GPT-2, Qwen3, and Ministral families, including base and post-trained variants, and extend evaluations to five additional knowledge relation types from the ParaConflict dataset. We empirically confirm most of their original findings: larger models and higher-frequency entities tend to favor memorized answers, with substantial family-level variance. However, several conclusions do not generalize cleanly: entity-frequency effects disappear on Qwen3-14B and 32B; post-training shifts the memory-context trade-off inconsistently across families; question phrasing alone can change a model's reliance on memorized knowledge by up to 80 percentage points; and semantically unrelated prose can mimic coherent supporting context. Our results clarify where Yu et al.'s claims hold and to what extent they generalize to other prompts.
著者のコメント
Accepted to the BlackboxNLP 2026 Reproducibility Challenge (Special Track), EMNLP 2026
arXiv ID: 2609.24238 ／ 要約の誤りについて