対話AIの不確実性表現と訂正記録を行動層で検証
Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance
この論文をやさしく読む
ひとことで言うと
回答の確信度や出典、訂正履歴を管理する層をAIに追加し、設計上の保証と実際の挙動のどこまでが成立するかを検証しています。
何に役立つ？
対話AIに訂正履歴や不確実性の表現を実装する際、どの保証がプログラムの構造によるもので、どの性能が評価で確認されたものかを分ける参考になります。
この研究の面白いところ
肯定的な結果だけでなく、事前基準の不達や、平均トークン確率による制御のAUCが0.41だったことを明示しています。一貫性による制御も、分析単位を変えると結論が未確定です。
どこまで分かった？
人工ベンチマークと小規模な実モデルによる評価で、人の信頼やもっともらしさは測っていません。100%の承認健全性は構成上の保証で、回答の正確性100%を意味しません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
対話エージェントは、しばしば一様に自信のある調子で回答する。本研究では、不確実性の表明、情報の来歴を考慮した主張、明示的な信念の修正を、固定した言語モデルの上に置く行動層として実装できるかを検証する。もっともらしさや信頼は検証しない。この層は、三つの認識状態、主張ごとの確信度と型付きの来歴、来歴によって表現を制御する規則、監査可能な承認記録と誤訂正への部分的な抵抗性を備えた永続的な修正ストアを組み合わせる。合成モデルとQwen2.5-0.5B-Instructを使い、人工的に構成して機械的に採点する複数セッションのベンチマークで評価する。合成の検証用モデルは五つの検査すべてに合格する。実モデルでは、構成によって保証される承認の健全性が100%のケースで成り立ち、正しい訂正は誤った訂正より多く受け入れられた。保持済みの信念では0.44対0.15、保持していない事実に対して規則により受け入れた訂正も含めると0.875対0.420だった。しかし、事前に定めた表現の忠実度、矛盾の分離、来歴に関するマージンは満たされなかった。開示した事後解析では、回答トークンの平均確率で表現を制御すると、一連の処理全体で正しさを順位付けする性能が偶然水準を下回った（会話単位でクラスタ化したAUCは0.41）。一方、サンプリングの一貫性による制御では識別ができた（AUC 0.66）。この結果を基に選択し、別途事前確定した手順で評価した一貫性制御の設定は、会話レベルの操作と能力同等性の基準を満たし、新たに抽出した会話集合でも再現した。ただし、操作の結果は設定の選択に依存し、不確実性を60個の事実単位でクラスタ化すると、どちらの基準も結論が出ていない。支持される結論は、構成による監査保証、ストアに依存する訂正の部分的な識別、そして特定のベンチマークとモデルにおけるトークン確率制御の失敗に限られる。人を対象にした評価へ進む前に、事実ベースを拡大する必要がある。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Conversational agents often express answers in a uniformly confident register. We test whether expressed uncertainty, provenance-aware assertion, and explicit belief revision can be implemented as a behavior layer over a fixed language model; we do not test believability or trust. The layer combines three epistemic states, per-claim confidence and typed provenance, a provenance-gated expression rule, and a persistent revision store with auditable acknowledgments and partial resistance to false corrections. We evaluate it on a constructed, mechanically scored multi-session benchmark using a synthetic model and Qwen2.5-0.5B-Instruct. The synthetic instrument passes all five checks. On the real model, acknowledgment soundness, a by-construction guarantee, holds in 100% of cases, and true corrections are accepted more often than false ones (0.44 vs. 0.15 on held beliefs; 0.875 vs. 0.420 including rule-accepted corrections of unheld facts), but the pre-specified expression-fidelity, contradiction-separation, and provenance margins fail. A disclosed post hoc analysis shows that expression gated on mean answer-token probability ranks correctness below chance end to end (AUC 0.41, conversation-clustered), whereas gating on sampling consistency discriminates (AUC 0.66). A consistency-gated configuration selected from this finding and evaluated under a separately committed protocol meets the conversation-level manipulation and capability-equivalence criteria and replicates on a redrawn conversation set. The manipulation result is selection-dependent, and both criteria remain unresolved when uncertainty is clustered over the 60 facts. The supported conclusions are limited to the by-construction audit guarantee, store-dependent partial correction discrimination, and a benchmark- and model-specific failure of token-probability gating; scaling the fact base is required before human evaluation.
著者のコメント
17 pages, 4 figures, 3 tables. Companion framework paper: arXiv:2607.15883. Code, benchmark, cached model outputs, and result files archived at doi:10.5281/zenodo.21462986 (code and results) and doi:10.5281/zenodo.21462988 (benchmark dataset)
arXiv ID: 2609.26035 ／ 要約の誤りについて