自然な文脈の追加で意思決定モデルの選択が変わる
JevOut: Natural Context Can Flip Decision Models
この論文をやさしく読む
ひとことで言うと
意思決定モデルの入力に自然な短い文を足すだけで、正解が同じでも誤った選択へ誘導できるかを調べた研究。
何に役立つ？
言語モデルの確率出力をツール選択や要求の振り分けに使う際の評価に役立つ。要旨は防御方法の効果を実証していない。
この研究の面白いところ
Jevでは最初に正答した508件のうち312件、61.4％で狙った誤答に変わった。別の三つのシステムでも七データセットで64.9～73.2％の変更率が報告された。
どこまで分かった？
結果は、設定した誤答と追加文を選択肢の確率を使って最適化した評価条件で得られた。実運用での発生頻度や、すべての意思決定モデルへの一般化は要旨からは分からない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
Jevのような意思決定専用モデルは、構造化されていない言語を有限個の選択肢上の確率分布に変換し、その出力を要求の振り分け、ツール選択、動作の実行に直接用いることができる。しかし実際の入力には、背景情報や周辺の文脈が付くことが多い。本研究は、正解が変わらない場合でも、周辺の文脈に自然に収まる短い追加文によって、もともと正しかった判断を別の選択肢へ誘導できることを見いだした。この挙動を調べるため、最初に正答した各問題について誤った目標選択肢を一つ固定し、元の資料、質問、選択肢、正解を保ったまま、モデルが各選択肢に割り当てる確率を利用して流暢な文脈追加文を改良した。受理された目標評価を64回以内に限ると、この最適化によって、Jevが最初に正答した508件中312件（61.4％）で判断が目標の誤答へ変わった。229件では、固定した誤答に0.7以上の確率を割り当てた。七つのデータセットにわたり、別の三つの意思決定システムでも、最初に正答した問題で狙った誤答への変更率が64.9～73.2％だった。これらの結果は、現在の意思決定モデルが、普通に見える短い文脈によって、正しい選択から高い確信度を伴う誤った選択へ移り得るという顕著な脆弱さを示す。こうしたモデルは言語を下流の選択に直接変換するため、その確率出力を信頼できる意思決定の窓口として扱うことには懸念がある。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Dedicated decision models such as Jev map unstructured language to probability distributions over finite choices, allowing their outputs to directly route requests, select tools, and trigger actions. Yet real-world inputs rarely arrive in isolation: they come with background details and surrounding context. We find that short additions that fit naturally into this context can nevertheless redirect an otherwise correct decision, even when the correct answer remains unchanged. To study this behavior, we fix a wrong target option for each initially correct item and use the model's option probabilities to refine fluent context additions while preserving the source, question, choices, and gold answer. Within 64 accepted target evaluations, the optimizer identifies contexts that redirect Jev on 312 of 508 initially correct decisions (61.4%); in 229 cases, Jev assigns at least 0.7 probability to the fixed wrong option. Across seven datasets, three additional decision systems show targeted flip rates of 64.9%-73.2% on decisions they initially answer correctly. Taken together, these results expose a pronounced fragility in current decision models: short, ordinary-looking context can shift a correct choice to a high-confidence wrong one. Because these models turn language directly into downstream choices, this sensitivity raises concerns about treating their probability outputs as reliable decision interfaces.
著者のコメント
32 pages, 5 figures, 23 tables. Homepage: https://xzx34.github.io/jevout/ ; Code: https://github.com/xzx34/JevOut
arXiv ID: 2609.30243 ／ 要約の誤りについて