LLMエージェントのツール操作を実行前に認可ポリシーで検証
ActGov: Governing LLM Agent Actions via Policy-Constrained Validation
この論文をやさしく読む
ひとことで言うと
AIエージェントの各ツール操作を、外部に影響を与える前に認可ルールと照らし合わせる枠組み。
何に役立つ？
考えられる用途は、長い作業を行うエージェントがユーザーの許可範囲を越えないよう検証すること。要旨では間接的な指示注入への耐性を評価した。
この研究の面白いところ
ツール呼び出しごとに実行時検証し、ポリシー更新にはSMTによる反例検査を使うため、作業の分岐にも対応する設計。
どこまで分かった？
要旨での実証はAgentDojoとAgentDynのベンチマーク。攻撃成功率の具体値や全てのツール環境での保証は記載されていない。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）のエージェントは、外部ツールを使って長い作業手順を実行することが増えている。その過程で信頼できない出力が後の操作に影響し、ユーザーの許可範囲を超える恐れがある。既存の防御策は、注入された内容を隔離するか、事前の計画や固定的なポリシーで実行を制限するが、動的な作業手順には壊れやすく、拡張可能なツール群全体への適用も難しい。 本研究は、LLMが提案した各ツール操作を外部に作用する前に検証する実行時の強制枠組みActGovを提案する。認可、操作、実行時の文脈、セキュリティ制約を統一して表す意味モデルの上で、ActGov-Policyはツール仕様、正常な課題、観測された失敗の履歴からポリシー集合を反復的に構築する。各更新は、SMTによる反例検査で検証する。実行時にはActGov-Runtimeが各ツール呼び出しを有限個のポリシー記録に抽象化し、その操作が課題に限定された認可の境界内にあり、適用されるすべてのポリシーを満たす場合にだけ許可する。この操作単位の強制により、長く分岐が変化する作業中も認可を維持する。 AgentDojoとAgentDynのベンチマークで、複数のモデルと攻撃設定を使って評価した結果、ActGovは課題の有用性を保ちながら間接的なプロンプトインジェクション攻撃の成功率を一貫して下げ、既存の防御策を大きく上回ったと報告する。著者らは、基盤となるLLMが悪意ある命令を正しく見分けることに依存せず、動的なエージェント実行に細かな認可を適用できると結論付ける。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-22 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large language model (LLM) agents increasingly execute long-horizon workflows through external tools, allowing untrusted outputs to influence subsequent actions and exceed user authorization. Existing defenses isolate injected content or constrain execution with predefined plans and static policies, but these approaches are brittle under dynamic workflows and scale poorly across extensible tool ecosystems. In this work, we present ActGov, a runtime enforcement framework that validates each LLM-proposed tool action before it causes external effects. Built on a unified semantic model of authorization, actions, runtime context, and security constraints, the ActGov-Policy component iteratively constructs a policy set from tool specifications, benign tasks, and observed failure traces, with each update verified through SMT-based counterexample checking. At runtime, ActGov-Runtime abstracts each tool call into finite policy records and permits it only if it remains within the task-scoped authorization boundary and satisfies all applicable policies. This per-action enforcement preserves authorization throughout long-horizon, dynamically branching workflows. We evaluate ActGov on the AgentDojo and AgentDyn benchmarks across multiple models and attack configurations. It shows that ActGov consistently reduces the success rate of indirect prompt-injection attacks while preserving task utility, significantly outperforming existing defenses. These results demonstrate that ActGov can enforce fine-grained authorization over dynamic agent executions without relying on the underlying LLM to correctly identify malicious instructions.
arXiv ID: 2609.24446 ／ 要約の誤りについて