各段階は規則を守っていてもAIの作業全体で違反が起きる
Compositional Policy Violations: When Step-Level Compliance Fails In Agentic AI Workflows
この論文をやさしく読む
ひとことで言うと
AIの各操作が個別には許されていても、積み重ねた結果として権限や累積上限を超える問題を整理しています。
何に役立つ？
複数段階で動く業務AIの監視で、単発の出力検査に加え、実行全体の履歴や累積量を確認する設計に役立ちます。
この研究の面白いところ
監視器の分類精度ではなく、見ている範囲が足りないことを原因として捉え、元の来歴情報から判断量を再計算する構成を提案しています。
どこまで分かった？
要旨は違反の定義、4分類、実行時の構成を述べていますが、導入実験の検出率や処理負荷は示していません。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
エージェント型の作業手順は、規制のある環境でも重大な意思決定を行うようになっているが、その周囲に設けられる統制は、入出力分類器、各ターンの制約、テキスト区間単位の評価器など、ほぼすべて個々の段階を対象としている。一方、組織が実際に定める方針、たとえば上位への照会のしきい値、権限の上限、レビュー要件は、どれか1段階ではなく実行全体の性質である。この不一致により、個々の段階がそれぞれの検査に合格しても、組み合わされた実行が全体を規律する方針に違反するという失敗が生じる。これを合成的な方針違反（CPV）と呼ぶ。 単一段階に対する述語では、その段階だけでは決まらない性質を評価できないため、段階単位の監視器の精度をいくら改善しても、この種の違反は検出できない。CPVを、段階ごとの適合性が組み合わせたときには成立しないこととして定義し、権限の漸増、しきい値のロンダリング、累積合計の違反、文脈の崩壊という4種類の分類を示す。それぞれの種類に対する適切な修正は、監視対象の量がどこで変わるかによって決まることを示す。さらに、処理系が加工した表現ではなく、未加工の来歴情報から監視対象量を再計算し、実行トレース全体に対して方針を評価する、来歴を考慮した実行時アーキテクチャを提案する。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-17 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Agentic workflows now make consequential decisions in regulated settings, and the governance placed around them is almost entirely step-scoped: input-output classifiers, per turn rails, and span-level evaluators. The policies organizations actually hold, such as referral thresholds, authority limits, and review requirements, are properties of the whole execution rather than of any one step. This mismatch admits a failure mode we call a Compositional Policy Violation (CPV): every individual step passes its own check while the composed execution violates the governing policy. A predicate over a single step cannot evaluate a property that step does not determine, so no improvement in the accuracy of the step-scoped monitors detects this class. We define CPVs as the failure of step-level compliance to compose, and present a taxonomy of four types: Authority Creep, Threshold Laundering, Cumulative Sum Violation, and Context Collapse. We show that the correct repair for each class is dictated by where the guarded quantity mutates. We then introduce a provenance-aware runtime architecture that evaluates policies over complete execution traces, recomputing guarded quantities from raw provenance rather than the pipeline's derived representation.
著者のコメント
11 Pages, 6 Figures, 2 Tables
arXiv ID: 2609.18820 ／ 要約の誤りについて