arXiv論文メモ
新着一覧
cs.AI · 査読状況未確認

型が正しくても選択肢の名前で判断が逆転する

Type-Safe Is Not Error-Free: A Constrained Decision Head Follows the Option Name, Not the Rubric Bound to It

Yu Sun, Junhao Xu, Jiajia Shi, Zijin Yang

この論文をやさしく読む

ひとことで言うと

出力形式が常に正しい判断モデルでも、選択肢の名前を変えるだけで判断が大きく逆転することを示した。

何に役立つ?

モデルの出力を業務システムが直接使う際、形式の検証に加えて、選択肢名と説明の対応を変える評価の必要性を考える材料になる。

この研究の面白いところ

質問や選択肢の説明を固定したまま名前だけを入れ替え、中立的な名前や無作為な文字列との比較で、名前の意味が原因であることを調べた。

どこまで分かった?

評価はJevとJev型のモデル、1,200件の業務判断が中心である。別の判断モデルすべてが同じ大きさの影響を受けるとは示していない。

v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

型付きの判断モデルは、出力をソフトウェアが直接使う場面向けに作られ、自由な文章の代わりに、あらかじめ決められた選択肢から判断を返す。出力が必要な形式に従うことは構造上保証できるが、各選択肢の意味を意図どおり解釈しているとは限らない。本研究は、公開された重みを持つJevとJev型の2モデルについて、選択肢の名前と、その意味を定める文章の対応を変えて調べる。質問、状態、説明文の文言、選択肢名の集合はそのままで、どの名前をどの説明に割り当てるかだけを変更した。 課題ごとの説明文を持つ1,200件の業務判断で、2つの選択肢名を0/1からno/yesに変えると、100件当たり70.4件多く答えが変わった(95%信頼区間67.6~73.1)。AUCも0.94から0.23へ動き、単なる不確実さではなく、判断の順位が系統的に逆転したことが分かる。中立的な名前ではこの操作の影響は小さかった。この傾向は4種類すべての判定条件で見られ、中立の対照条件より影響が少なくとも7.4倍大きく、選択肢が増えるほど強くなった。効果は読み出し方法にも依存し、選択肢の全範囲を平均プーリングする別のモデル系列では逆転が4.1分の1の頻度だった。ホストされたモデルでも同じ振る舞いがあり、入れ替えによりAUCは0.8146から0.5806に変わり、答えの反転は再試験時の基準値の24倍だった。一方、選択肢名を無作為な文字列にすると、すべてのモデル系列で精度を落とさず、中立の対照条件と同じ領域に戻った。したがって失敗は名前の付け替え自体ではなく、選択肢名が持つ肯定・否定の意味に依存する。すべての条件で型の誤り率は0%だったが、判断の精度は大きく低下しうる。

v2の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-22(UTC)
最新改訂
2026-09-23 · v2
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Typed decision models are built for settings where model outputs are consumed directly by software. Instead of generating free-form text, they return a decision over a predefined set of options. By construction, every output conforms to the required schema. Yet this guarantee does not tell us whether the model interprets the options as intended. We study Jev and two Jev-like models with open weights by changing how option names are assigned to rubrics. Each option consists of an option name and a textual rubric that defines what the option means. We change only which option name is assigned to each rubric; the question, state, rubric wording, and set of option names remain exactly the same. On 1200 workflow decisions with task-specific rubrics, renaming the two options from 0/1 to no/yes changes 70.4 more answers per hundred (95% CI: [67.6, 73.1]) and shifts AUC from .94 to .23, revealing a systematic reversal in the decision ranking rather than simple uncertainty. The same operation has little effect with neutral option names. This pattern holds across all 4 predicates, where the effect is at least 7.4x larger than under the neutral control, and becomes stronger as the number of options increases. The effect also depends on the read-out geometry: a second model family that mean-pools over the full option span flips 4.1x less often. The hosted model exhibits the same behavior: the swap changes AUC from .8146 to .5806 and produces 24x as many answer flips as its test-retest floor. In contrast, replacing the option names with random character strings returns all model families to the neutral-control regime without reducing accuracy. The failure therefore depends on the semantic polarity of the option names rather than on the renaming operation itself. Across all conditions, the type-error rate remains 0%, even when decision accuracy degrades substantially.

arXiv ID: 2609.26758 / 要約の誤りについて