エージェントを総合点ではなく主張ごとの証拠で検証
Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents
この論文をやさしく読む
ひとことで言うと
エージェントの総合点が上がったかだけでなく、各部品の効果や検査の意味を、根拠と適用範囲を付けて確かめる監査手順です。
何に役立つ？
部品を改修した際に、改善余地がないのか、別の部品が効果を隠しているのかを区別する評価に役立ちます。実例は合成市場での配分エージェントです。
この研究の面白いところ
完全な部品に置き換えて効果が出なくても、直ちにその部品が不要とは判断せず、下流で効果が隠れる可能性を未解決として残します。
どこまで分かった？
実証結果を他のエージェントや実市場へ一般化してはいません。要旨は監査手順そのものを主な貢献とし、結果が調査対象に固有であると明記しています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
開発者がエージェントの制御器、学習済みモデル、検証器などの一要素を変更するとき、通常はタスク全体の集約スコアで変更を判断する。しかし、そのスコアからは、改善が達成可能だったのか、どの要素が価値を失わせたのか、エージェント自身の検査が何を保証するのかは分からない。本研究は、計画・行動・検査・改良を行うモジュール型エージェントに対して、主張ごとに検証する監査を導入する。エージェントを採点する代わりに証拠を評価し、各結論に、その根拠、4種類の判定（支持される、支持されない、未解決、未評価）のいずれか、および結論が成立する範囲を記録する。 証拠は3つの道具で得る。オラクル方策は、明示された行動集合の下で達成可能な改善を測り、低い価値の原因を環境ではなく評価方法に帰属できるようにする。次に、一度に一要素を完全な対応物へ置換して、価値が失われる箇所を特定する。ただし、下流の要素が効果を隠し得る場合、効果が見られない結果は未解決と扱う。別の検査では、検証器のスコアが、上限または下限を与えると解釈されている量を実際に同定しているかを問う。 既知の潜在レジームを持つ合成市場で、制約付きポートフォリオ配分エージェントに監査を適用した。その結果、完全なレジーム情報の価値は測定に使う行動集合に依存すること、シナリオ生成器がレジームの信号の大部分を捨てる一方で局所的忠実度の改善は意思決定を改善しないこと、実行時検証器を迂回しても結果に目に見える変化がないことが分かった。本研究の貢献は、この手順と、それが強制する証拠上の区別にある。実証的な知見は、調べたエージェントと環境に固有である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
When developers change one component of an agent, such as its controller, a learned model or its verifier, they usually judge the change by an aggregate task score. That score cannot tell whether improvement was attainable, which component lost value, or what the agent's own checks certify. We introduce a claim-specific verification audit for modular agents that plan, act, check and refine. Instead of scoring the agent, the audit scores the evidence: each conclusion is recorded with the evidence behind it, one of four verdicts (supported, unsupported, unresolved or not evaluated) and the boundary within which it holds. Three tools supply that evidence. Oracle policies measure attainable improvement under an explicitly stated action set, so that a low value can be traced to the evaluation rather than to the environment. Replacing one component at a time with a perfect counterpart locates lost value, with null results read as unresolved whenever a downstream component could mask them. A separate test asks whether the verifier's score identifies the quantity it is read as bounding. Applied to a constrained portfolio-allocation agent in a synthetic market with known hidden regimes, the audit shows that the value of perfect regime information depends on the action set used to measure it, that the scenario generator discards most of the regime signal while better local fidelity does not improve decisions, and that the runtime verifier can be bypassed with no visible change in outcomes. The contribution is the protocol and the evidential distinctions it enforces; the empirical findings are specific to the agent and environment studied.
著者のコメント
32 pages, 4 figures, 15 tables
arXiv ID: 2610.01348 ／ 要約の誤りについて