カーネル脆弱性の悪用手段を作るコーディングエージェントの評価
Evaluating Coding Agents on Kernel Exploit Generation
この論文をやさしく読む
ひとことで言うと
カーネルの脆弱性を見つけるだけでなく、悪用に必要な基本操作をAIエージェントが構築できるかを測るベンチマーク。
何に役立つ？
AIを使ったセキュリティ研究で、バグ発見と悪用操作の構築を区別して評価するために役立つ。課題は隔離された仮想マシンで実行される。
この研究の面白いところ
参考コードがないと最良構成でもWindowsは20件中1件、Linuxは25件中14件だったが、参考コードがあると全45件中31件を解いた。
どこまで分かった？
結果は45課題、固定したツール呼び出し予算、評価したエージェントとモデルの組み合わせに対するもの。実環境での侵害能力をそのまま示すものではない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
コーディングエージェントは実運用ソフトウェアの脆弱性を見つけるようになった。しかし、バグ発見の成績だけでは、悪用に必要な基本的な操作を構築できるかは分からない。本研究は、実在するオペレーティングシステムのカーネルを対象に、コーディングエージェントがそのような操作を作れるかを評価するベンチマークKEX-benchを導入する。KEX-benchはLinuxとWindowsの40件のCVEにまたがる45件の課題から成り、カーネルアドレスの漏えい、命令ポインタの制御、ヒープの読み取り・書き込み、任意アドレスへの書き込みを扱う。各課題は隔離された仮想マシンで動き、利用できるツールは管理され、操作ごとの成功は決定的な検証器で確認する。最先端のコーディングエージェントと高性能モデルまたは公開重みモデルを組み合わせ、ツール呼び出し回数を固定して評価した。参考となる概念実証コードがない場合、最も成績のよい構成はWindowsの20課題中1件（5.0％）、Linuxの25課題中14件（56.0％）を解いた。参考コードがある場合は、45課題中31件（68.9％）を解いた。これは、エージェントがカーネルをクラッシュさせるところまでは到達しても、悪用に必要な操作を得られる状態にカーネルを整えられない場合があるという差を示す。AIによる悪用研究を再現可能にするため、KEX-benchを公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Coding agents now find real vulnerabilities in production software. However, bug discovery results do not measure whether agents can construct exploit primitives. We introduce KEX-bench, a benchmark for evaluating coding agents on exploit primitive generation against real operating-system kernels. KEX-bench contains 45 task instances across 40 Linux and Windows CVEs, covering kernel address leak, instruction-pointer control, heap read, heap write, and arbitrary address write. Each task runs in an isolated virtual machine, exposes controlled tools, and uses a deterministic verifier to check primitive-specific success. We evaluate state-of-the-art coding agents paired with frontier and open-weight models under fixed tool-call budgets. Without a reference proof of concept (PoC), the strongest configuration solves 1 of 20 Windows tasks (5.0%) and 14 of 25 Linux tasks (56.0%). With a reference PoC, the strongest configuration solves 31 of 45 tasks (68.9%). This highlights the gap where agents reach kernel crashes but fail to shape kernel state into exploit primitives. We release KEX-bench for reproducible research on AI-assisted exploitation at https://kex-bench.github.io.
arXiv ID: 2609.25591 ／ 要約の誤りについて