AI生成のRTL検証計画を評価する仕組み自体の監査
Trust, but Validate the Instrument: Auditing AI-Generated RTL Verification Plans on Authored Security-Regression Proxies
この論文をやさしく読む
ひとことで言うと
AIがつくったハードウェア検証計画を評価する前に、評価装置そのものが正しく受け付けて実行できるかを点検した報告です。
何に役立つ？
AI性能の失敗と、入力仕様・実行系の不整合を混同しない検証手順づくりに役立ちます。
この研究の面白いところ
1,860回の呼び出しのうち提供側が1,857応答を受理しても、本番の意味検証を通ったのは9件でした。生成と実行の規則が不一致だったため、モデルの指示効果を推定せず事故記録として残しています。
どこまで分かった？
この実行からAIの検証能力やプロンプトの優劣は結論していません。追加実行も事前登録した証拠の完全性条件を満たさず、結果の主張から除外しています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
AIが生成したRTL検証計画は、提供者のスキーマを満たしても、信頼された実行環境へ渡す境界で失敗することがある。本研究は、31タスクと人手で作成した124件のハードウェアセキュリティ回帰テストを対象とする、監査可能な枠組みSecTB-RTLを提示する。AIを用いない決定論的なベースラインは、リソース上限を増やした条件で、それぞれ36、75、78個のミュータントを検出した。 最初の確認的な実行（C1-R2）は、提供者が応答スキーマを拒否したため、モデルの実行前に失敗した。結果を見ずにスキーマだけを修正した後、別途条件を固定した追試（C1-R3）で1,860回の呼び出しを完了した。提供者は1,857件の応答を受理したが、本番の意味的検証器を通過したのは9件だけだった。生成時と実行時の規則が一致していなかった。したがって、この実行は評価装置の妥当性確認に関するインシデントとして保存し、プロンプト効果の推定値は報告しない。 この事例は、提供者やスキーマによる受理が実行の妥当性を保証しないことを示す。コンパイルとカバレッジは診断指標にすぎず、保存したそのものの成果物が本番の全処理経路を通過しなければならない。その後の追試は、事前登録した証拠の完全性に関する判定条件を満たさなかったため除外し、今後の課題としてのみ扱う。インフラの挙動をモデルの挙動として誤って報告することを防ぐため、ベンチマーク、失敗を保持する契約、インシデントの来歴、およびガバナンス上の制御を公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
AI-generated RTL verification plans can satisfy a provider schema yet fail at the boundary to trusted execution. We present SecTB-RTL, an auditable framework covering 31 tasks and 124 authored hardware-security regressions. A deterministic non-AI baseline killed 36, 75, and 78 mutants at increasing resource limits. The first confirmatory run (C1-R2) failed before model execution because the provider rejected its response schema. After a schema-only repair made without viewing outcomes, a separately frozen follow-up run (C1-R3) completed 1,860 calls. The provider accepted 1,857 responses, but only nine passed the production semantic validator. The generation and execution rules did not match. We therefore preserve the run as an instrument-validation incident and report no prompt-effect estimate. This incident shows that provider or schema acceptance does not establish execution validity. Compilation and coverage are only diagnostics; the exact saved artifact must pass the full production path. A subsequent follow-up is excluded because it did not satisfy the preregistered evidence-completeness gate and is treated only as future work. We release the benchmark, failure-preserving contract, incident provenance, and governance controls needed to prevent infrastructure behavior from being misreported as model behavior.
著者のコメント
Cyber-AI
arXiv ID: 2609.19844 ／ 要約の誤りについて