自律型侵入テストの判定を補助する軽量モデルを検討
Calibrated Decision Models for Autonomous Penetration-Testing Harnesses: JEV and Laya as System One Decision Layers for LLM-Driven Pentest Agents
この論文をやさしく読む
ひとことで言うと
自律型侵入テストで、発見事項や深刻度の判断を軽量な分類モデルで補助する構成を検討した。
何に役立つ？
侵入テストの自動化で、誤検知や過大評価を減らすための評価項目と設計案を考える参考になる。
この研究の面白いところ
LLM に全判断を任せず、型付きの判定を返す非生成モデルを複数の決定点へ置く構成を提案している。
どこまで分かった？
比較は脆弱性13件の対象について各条件1回の探索的事例研究で、統計的有意性は示していない。Rave の効果は提案段階である。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自律型侵入テストの実行基盤は、偵察、悪用、報告に大規模言語モデル（LLM）を用いるが、発見事項の確認、深刻度の評価、担当エージェントの選択にも同じモデルを頼ることが多い。このため誤検知、深刻度の過大評価、計算資源の浪費が起こり得る。本研究は、型付きで校正された判定を返す軽量な非生成分類器である System One 決定モデルが、これらの判断をどう支援できるかを検討する。貢献は5つある。第一に、発見事項の判定、深刻度の再校正、エージェントの絞り込み、確認ループという4つの決定点を定義する。第二に、13件の脆弱性を含むウェブ対象に対して、TypeSafe System One（Jev）を用いた NeuroSploit の実行1回と用いない実行1回を比較する探索的事例研究を示す。深刻度の分布、実行時間、露出したデータの種類による評価の違いは構成の動機となるが、統計的有意性は確立しない。第三に、他のベンチマークの結果が侵入テストへ移るとは仮定せず、Jev、Jev-Ultrafast、オープンソースの Laya の公開仕様を確認する。第四に、訓練法として RLHF、RLAIF、RLCD、RLHV と、それらがセキュリティ判断の信頼性に持つ意味を論じる。最後に、分野に適応させた System One モデル Rave を提案し、訓練データ、評価手順、実行基盤の保証への潜在的な効果を概説する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Autonomous penetration-testing harnesses use large language models (LLMs) for reconnaissance, exploitation, and reporting, but often rely on those same models to confirm findings, grade severity, and select agents. This can lead to false positives, inflated severity, and wasted compute. We examine how System One decision models, lightweight non-generative classifiers that return typed, calibrated verdicts, can support these decisions. We make five contributions. First, we define four decision points: finding adjudication, severity recalibration, agent pruning, and confirmation loops. Second, we present an exploratory NeuroSploit case study comparing one run with TypeSafe System One (Jev) and one without it against a web target containing 13 vulnerabilities. Differences in severity distribution, runtime, and grading by exposed data type motivate the architecture but do not establish statistical significance. Third, we review published specifications for Jev, Jev-Ultrafast, and the open-source Laya without assuming that results from other benchmarks transfer to penetration testing. Fourth, we discuss RLHF, RLAIF, RLCD, and RLHV as training approaches and their implications for trust in security decisions. Finally, we propose Rave, a domain-adapted System One model, and outline its training data, evaluation protocol, and potential effect on harness assurance.
著者のコメント
21 pages, 5 figures, 11 tables, 4 code listings
arXiv ID: 2609.28940 ／ 要約の誤りについて