条件成立まで潜伏するプロンプト注入と検出器の評価
Defusing Explosive Prompts: Understanding and Preventing Trigger-Based Prompt Injections in LLM Agents
この論文をやさしく読む
ひとことで言うと
外部文書の不正な指示がすぐには動かず、後の条件成立時に動く攻撃を評価し、読込み時に検出する防御を検討した研究です。
何に役立つ？
外部文書を読むAIエージェントの防御評価で、直ちに発動する注入だけでなく条件付きの注入も試験対象に含める必要性を示します。
この研究の面白いところ
攻撃を読んだ時点と実行する時点を分けると、単純な命令を拒否するモデルでも失敗する場合があると報告しています。防御側は条件構造の検出に注目します。
どこまで分かった？
成功率はそれぞれ異なる評価設定の値で、9エージェントの試行は各30回です。DeFuseでも残存成功率は3.0%で、長さ別の閾値調整が必要とされています。要旨にある25倍の遅延差の比較相手は明示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
LLMアプリケーションが外部ツールと統合されるにつれ、検索で得た内容に敵対的な指示を埋め込む間接プロンプト注入（IPI）への露出が増している。従来のIPIは接触時に発動し、エージェントが内容を読み込んだ時点で指示を実行する。本研究では、攻撃者が選んだ条件が満たされるまで休眠する条件付きペイロード「explosive prompt」を導入する。これは実質的に、単一の検索コンテンツに埋め込まれる、学習を必要としない推論時のバックドアである。 この時間的な分離は、通常のIPIが届かない場面に届く。単純な命令をほぼ全面的に拒否する最先端モデルでも、同じ目的を休眠する条件付き指示に言い換えると、稼働中のエージェント基盤に対して、実際に状態を変えるツール実行が起きる。対応付き平均は16.5%で、命令形の2.4%を上回り、ある非公開モデルでは34.2%に達した。 9つの実運用エージェント、OpenAI Codex、Google Gemini CLI、Anthropic Claude Code CLI、Cursor CLI、GitHub Copilot、Devin AI CLI、Amazon Kiro CLI、Qwen Code、Google Assistantに対する各30試行では、成功率は43〜83%で、命令形ベースラインは最大3%だった。導入済みの防御もすり抜ける。既製の注入分類器はこの種の入力で較正が合わず、命令形の注入を完全に防ぐ選好最適化済みモデルでも11.8%を実行し、そのすべてが条件の成立したターンで起きた。 継続的に有効な防御の手段は、この種のデータで検出器を学習したうえで、読込み時に条件構造を検出することである。以前のベンチマークにはそのデータがなく、本研究の生成器が供給する。再学習により、実環境でのツール実行攻撃の成功率は、無防御の34.3%からエンコーダ型ベースラインでは7.5〜8.1%に低下した。提案検出器DeFuseは、偽陽性率の許容枠を5%に較正した条件で成功率を3.0%に抑え、検証した手法中で最高の検出品質（AUC 0.9994）と25分の1の遅延を達成した。ただし、入力長を考慮した閾値が必要である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
As LLM applications integrate with external tools, they are increasingly exposed to indirect prompt injection (IPI), where adversarial instructions are embedded in retrieved content. Conventional IPIs fire on contact: the moment an agent ingests the content, it carries out the instruction. We introduce the explosive prompt, a conditional payload that stays dormant until an attacker-chosen trigger is met, in effect a training-free, inference-time backdoor planted in a single piece of retrieved content. This temporal separation reaches where ordinary IPI cannot. On frontier models that refuse the bare imperative almost entirely, rephrasing the same goal as a dormant conditional drives real, state-changing tool execution against a live agent backend (a paired mean of 16.5% vs. 2.4% for the imperative, reaching 34.2% on a proprietary model). In trials on nine production agents (OpenAI Codex, Google Gemini CLI, Anthropic Claude Code CLI, Cursor CLI, GitHub Copilot, Devin AI CLI, Amazon Kiro CLI, Qwen Code, Google Assistant; n=30 each), explosive prompts succeed in 43-83% of cases versus at most 3% for an imperative baseline, and they slip past deployed defenses: off-the-shelf injection classifiers are miscalibrated on them, and a preference-optimized model that closes imperative injection entirely still executes 11.8% of explosive prompts, every one at the trigger turn. The durable defensive lever is ingestion-time detection of the conditional structure, once detectors are trained on explosive-prompt data, which no prior benchmark supplied and our generator does. Retraining cuts live tool-execution attack success from an undefended 34.3% to 7.5-8.1% for the encoder baselines. Our detector, DeFuse, reaches 3.0% at a calibrated 5% false-positive budget with the best detection quality of any method tested (AUC 0.9994) and 25x lower latency, though it needs length-aware thresholds.
著者のコメント
First two authors contributed equally
arXiv ID: 2609.22510 ／ 要約の誤りについて