対話AIは後からの明確化でも初期の誤解を修正しにくい
Clarification Is Not Correction: LLMs Fail to Let Go
この論文をやさしく読む
ひとことで言うと
対話AIは最初の曖昧な依頼を早く決めつけると、後から説明を受けても誤った解釈を引きずりやすいという研究。
何に役立つ?
対話AIの評価や設計で、情報の提示順序と未確定の意図をどう扱うかを検討する材料になる。
この研究の面白いところ
最後に同じ情報がそろっていても、提示順序で結果が変わり、特にプログラミング課題で影響が大きかった。
どこまで分かった?
実験対象はGemini-2.5-ProとGemini-2.5-Flashの統制された課題である。他のモデルや実際の全利用場面で同じ程度に起こるかは要旨からは分からない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
言語モデルの対話上の失敗は、文脈が長すぎる、要約で情報が失われる、制約を忘れるといった記憶の問題として説明されることが多い。著者らは、それだけではより深い問題を捉えられないと論じる。多くの対話では、モデルは忘れるのではなく、早すぎる段階で一つの解釈に決めてしまう。初期の曖昧な発言が内部で単一の解釈に固定され、その後の明確化もその解釈を通して処理される。著者らはこれを「初期の事後分布の崩壊」と呼び、曖昧さが解消する前に未確定のユーザー意図が確定したタスク状態へ縮約される現象と定義する。 Gemini-2.5-ProとGemini-2.5-Flashを使い、文章作成、計画、プログラミングの統制された対話課題で調べた。数千回の試行では、最終的な対話に含まれるタスク関連情報が同等でも、同じ情報を示す順序が異なると結果が変わった。この順序の効果は、後からの明確化が訂正信号ではなく追加の文脈として扱われ、古くなったタスク状態を無効にせずに補足していることを示唆する。プログラミング課題は特に影響を受けやすく、初期の仮定がインターフェースや制御フローなど構造化された成果物に埋め込まれると考えられる。標準的なプロンプトや記憶の工夫は安定した改善をもたらさず、要約は曖昧さを縮約し得る。また思考過程の記述は、推論記録に現れる明示的な誤った決めつけを減らしても、最終的なタスク成功率を改善しないことがある。 この結果から著者らは、不確実性を保持するタスク状態管理を提案する。事後の訂正だけに頼らず、初期の曖昧な発言を一つの状態に固定しないこと、重大な曖昧さが残る場合は実行前に尋ねること、後の証拠で初期の解釈が否定された場合は修正後の状態から組み直すことが必要だとする。単一のプロンプト上の対策よりも、より多くの文脈を保持する研究から不確実性を保つ研究へ方向を変えることを目指す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21(UTC)
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Dialogue failures in language models are usually framed as memory failures: context too long, summaries lossy, a constraint forgotten. We argue this misses a deeper problem: in many conversations the model does not forget, it commits too early. An ambiguous early turn collapses into a single hidden interpretation, and later clarification is filtered through that commitment. We call this early posterior collapse: unresolved user intent collapsing into a committed task state before ambiguity is resolved. We study it with controlled dialogue tasks in writing, planning, and coding using Gemini-2.5-Pro and Gemini-2.5-Flash. Across thousands of trials, the same information in different orders yields different outcomes, even when the final dialogue contains equivalent task-relevant information. This order effect suggests later clarification is treated as extra context rather than a corrective signal: it refines a stale task state without invalidating it. Coding tasks are especially vulnerable, suggesting early assumptions get embedded in structured artifacts such as interfaces and control flow. Standard prompting and memory strategies do not reliably help: summaries can collapse ambiguity, and chain-of-thought can reduce explicit wrong commitment in reasoning traces without improving final task success. These findings motivate uncertainty-preserving state management. If assistants cannot let go of early interpretations, robustness cannot rely on post hoc correction alone; it must keep ambiguous early turns from hardening into one task state. Assistants should hold tentative hypotheses while ambiguity remains, ask before executing when high-impact ambiguity persists, and rebuild from a revised state when later evidence invalidates an earlier reading. Rather than one prompting fix, we aim to redirect research for interactive LLMs from retaining more context toward preserving uncertainty.
著者のコメント
17 pages
arXiv ID: 2609.25337 / 要約の誤りについて