利用者の誤った解決案にAIエージェントは対処できるか
XYEval: Agents say yes to bad advice
この論文をやさしく読む
ひとことで言うと
利用者が誤った解決策を提案した際、AIが目的に合う別案を判断し、説明できるかを調べます。
何に役立つ？
指示の実行能力に加え、問題の取り違えを見つけて説明する能力をエージェント評価へ取り入れるために役立ちます。
この研究の面白いところ
誤誘導の認識だけでなく、別案の承認に詳しい説明を求められる場面も調べています。注意書きを追加するだけでは十分に改善しませんでした。
どこまで分かった？
最大46.7%は対象ベンチマークでの相対的な性能低下で、パーセントポイントではありません。5モデルと6組の評価課題の結果です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
利用者とAIエージェントの効果的な意思疎通は、人とAIの協働に不可欠である。XY問題は、本当に解決したい問題ではなく、自分が試そうとしている解決策について質問する、よく知られた意思疎通上の落とし穴である。本研究は従来の迎合性評価をエージェント環境のXY問題へ拡張し、もっともらしいが誤った方向へ導く利用者の提案に抵抗し、その理由を説明できるかを評価する。既存のベンチマークをXY問題の評価へ変換できるメタ評価の枠組みXYEvalを導入する。 多様な6組のベンチマークで5モデルを評価する。XY問題を生じさせる変更により、各ベンチマークで性能が大きく低下し、相対的な低下率は最大46.7%に達する。τ²-benchでは、よりよい解決策を承認する前に詳細な説明を要求する、細部にこだわる利用者に直面すると、性能がさらに低下することも示す。これらは、現在のエージェントが誤誘導する提案に対して効果的に推論し意思疎通する能力を欠くことを示唆する。XY問題への注意を促す単純なシステム指示の比較手法は、部分的な緩和しかもたらさない。広範な実行記録の分析から、処理の経過全体でこうした低下がどのように、なぜ生じるかについて行動面の知見を得る。XY問題の緩和はなお難しく、利用者による誤誘導の認識と、本来の問題の明確な説明の両方が必要である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Effective communication between users and AI agents is essential for human-AI collaboration. The XY problem is a well-known communication pitfall where a person asks about their attempted solution rather than their actual problem. We extend prior sycophancy evaluation to the XY problem in agentic settings, evaluating whether agents can resist plausible but misleading suggestions from users and communicate their reasoning. We introduce XYEval, a meta-evaluation framework that can transform an existing benchmark into an XY problem evaluation. We evaluate five models across six diverse benchmark suites. Agents suffer large XY drops under XY mutation across benchmarks, with relative drops reaching up to 46.7%. With $\tau^2$-bench, we further show that agent performance drops more when encountering a pedantic user who requires detailed explanations before approving a better solution. Our findings suggest that current agents lack the ability to effectively reason and communicate when facing misleading suggestions. A simple system instruction baseline that encourages awareness of XY problems only offers partial mitigation. Extensive trace analyses provide behavioral insights into how and why these XY drops occur across execution trajectories. Our results show that mitigating the XY problem remains challenging, requiring agents to both recognize user misdirection and clearly communicate the underlying problem.
著者のコメント
33 pages, 11 figures
arXiv ID: 2609.23939 ／ 要約の誤りについて