言語モデルに確認質問のタイミングと内容を学習させる
When and How Should an Agent Clarify? CIGAsk: Teaching LLMs to Clarify via Counterfactual Information Gain
この論文をやさしく読む
ひとことで言うと
情報不足なら質問し、情報が足りていれば答えるという判断と、必要な情報を引き出す質問の作り方を同時に学習します。
何に役立つ？
曖昧な依頼を扱う対話システムで、不要な確認と見当違いの回答を減らす方法として使うことが考えられます。実証は質問応答ベンチマークです。
この研究の面白いところ
ユーザーの返答が正解の予測にどれだけ役立ったかを、返答がない場合と比較して報酬化します。質問するタイミングには別の報酬を用います。
どこまで分かった？
学習には正解回答や曖昧性の正解ラベルを使っています。3種類のベンチマークでの優位性と転移を報告していますが、具体的なスコアや実利用者との評価は要旨に示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
指示調整された大規模言語モデル（LLM）は、情報が十分でない質問に対して、確認を求めるよりも一つの解釈に決めつけ、自信を持って誤った回答を出すことが多い。本研究の実験では、プロンプトだけでは不十分であり、モデルはすべての質問で確認を求めるか、欠けた情報を得られない曖昧な質問をする。この失敗への対処には、回答する代わりにいつ質問するかと、曖昧さを解消する情報を得るためにどう質問するかという、結び付いた2つの能力の学習が必要である。既存の学習方法は、一方の能力しか扱わないか、別途学習した評価モデルを必要とする。 提案するCIGAskは、複数ターンのGRPOループ内で相補的な2つの報酬信号を用い、両方の能力を教える強化学習法である。反実仮想情報利得（CIG）は、固定した参照モデルで、ユーザーの返答がある場合とない場合の正解回答の対数尤度を比較し、各ターンに与える評価を通じて質問の仕方を導く。非対称曖昧性ボーナスは、正解の曖昧性ラベルに基づいて終端トークンに正または負の報酬を割り当て、質問すべきタイミングを導く。表、文章、オープンドメインの質問応答にまたがる3つの確認質問ベンチマークで、CIGAsk-7Bは、より小さい基盤モデルを使いながら最も強い外部ベースラインを上回った。また、データセットごとの調整なしに別データセットへ転移し、分布外ベンチマークでの単一ターン質問応答性能も維持した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Instruction-tuned LLMs faced with underspecified queries often commit to a single interpretation rather than ask for clarification, producing confidently wrong answers. In our experiments, prompting alone is insufficient: models either ask for clarification on every query or ask vague questions that fail to recover the missing information. Addressing this failure requires learning two coupled skills: when to ask rather than answer and how to ask a question that recovers the disambiguating information. Existing recipes either address only one of these skills or require a separately trained critic. We propose CIGAsk, an RL recipe that teaches both skills through two complementary reward signals within a multi-turn GRPO loop. Counterfactual Information Gain (CIG) compares the gold-answer log-likelihood under a frozen reference model with and without the user response, providing per-turn credit that guides how to ask. The Asymmetric Ambiguity Bonus assigns a signed reward at the terminal token based on the gold ambiguity label, guiding when to ask. Across three clarification benchmarks spanning table, passage, and open-domain QA, CIGAsk-7B outperforms the strongest external baseline despite using a smaller backbone. It also transfers across datasets without per-dataset tuning while preserving single-turn QA performance on out-of-distribution benchmarks.
著者のコメント
Accepted to EMNLP 2026 (Findings)
arXiv ID: 2609.24290 ／ 要約の誤りについて