偽の手掛かりがセキュリティAIの調査をどう乱すか
AgentLSD: Evaluating AI Security Agents Under Adversarial Task Contamination
この論文をやさしく読む
ひとことで言うと
調査用AIが、命令文ではない偽の証拠やおとりにも惑わされるかを、解法を保ったCTF環境で比較しています。
何に役立つ？
セキュリティAIの評価で、正答率だけでなく、紛らわしい情報による時間や推論量の増加を測るための基盤になります。
この研究の面白いところ
プロンプトインジェクションより広く、偽の結果なども対象にします。最終的に正解できても、途中の負担が増えることを測っています。
どこまで分かった？
評価は6モデルと11のウェブCTF課題です。解決率への影響はモデルと課題によって異なり、現実のあらゆるセキュリティ調査へ同じ数値を適用できるとは述べていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
セキュリティ分野のAIエージェントは、ウェブページ、ソースコード、ログ、設定ファイル、コマンド出力を調べる。これらの環境には、エージェントの行動に影響する欺瞞的な資料が含まれることがある。本研究ではこれを敵対的タスク汚染と呼ぶ。プロンプトインジェクションが攻撃者の与える指示に依存するのに対し、タスク汚染には偽の結果やおとりのエンドポイントなど、指示ではない証拠も含まれる。 敵対的タスク汚染を研究するための統制された枠組みAgentLSDを提示する。AgentLSDはCapture the Flag（CTF）課題を実験環境として用いる。本来の解法を保ったまま、偽のフラグ、誤解を誘うヒント、おとりのエンドポイント、隠れた手掛かりなどの罠を挿入する。決定論的な罠の生成、実行時の挿入、テレメトリー、配信確認を備え、汚染のない条件と罠を加えた条件を対にした実験を支援する。 11個のウェブCTF課題で6モデルを評価する。汚染のない条件では、エージェントはフラグの41％を取得し、全課題を解いたモデルはない。そのうえでタスク汚染の影響を測る。最終的にフラグを取得できた場合でも、罠によってターン数は20、推論トークン数は約2,000増える。解決率への影響はより不均一であり、モデルと課題の組み合わせによってはほとんど影響されない一方、おとりを追ったり誤ったフラグを提出したりするものもある。 これらの結果は、汚染のないCTFでの性能だけでは、欺瞞的なタスク証拠への脆弱性を過小評価することを示す。AgentLSDはこの効果を分離し、研究のための再現可能なベンチマークを提供する。枠組み、設定、罠の仕様、生の実行記録を公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
AI agents for security inspect web pages, source code, logs, configuration files, and command outputs. These environments may contain deceptive artifacts that influence the agent's behavior. We call this adversarial task contamination. Whereas prompt injection relies on attacker-supplied instructions, task contamination also includes non-instructional evidence, such as fake results and decoy endpoints. We present AgentLSD, a controlled framework for studying adversarial task contamination. AgentLSD uses Capture the Flag (CTF) challenges as its experimental environment. We inject trap artifacts, such as fake flags, misleading hints, decoy endpoints, and hidden cues, while preserving the intended CTF solution. The framework supports paired clean and trap-augmented experiments with deterministic trap generation, runtime injection, telemetry, and delivery verification. We evaluate six models on 11 web CTF challenges. In the clean condition, agents capture 41% of the flags, and no model solves every challenge. We then measure the impact of task contamination. Even when the agent still recovers the flag, traps increase the number of turns (+20) and reasoning tokens (+2k). Solve-rate effects are more heterogeneous, as some model-challenge pairs are largely unaffected while others follow decoys or submit wrong flags. These results show that clean CTF performance understates vulnerability to deceptive task evidence. AgentLSD isolates this effect and provides a reproducible benchmark for studying it. We release the framework, configurations, trap specifications, and raw traces.
著者のコメント
To be published in the 19th ACM Workshop on Artificial Intelligence and Security (AISec 2026) co-located with CCS 2026
arXiv ID: 2609.19140 ／ 要約の誤りについて