スマートコントラクト監査用スキルの効果を調べる
Demystifying Agent Skills for Smart Contract Auditing: Design, Effectiveness, Behavioral Impact
この論文をやさしく読む
ひとことで言うと
監査用スキル83件が、コーディングエージェントの脆弱性検出と作業手順にどう影響するか調べた。
何に役立つ?
監査スキルの設計と、必要な場面で起動する仕組みを改善する材料になる。
この研究の面白いところ
7種類の組み合わせで比べ、効果は実行基盤よりモデルに左右され、スキルの起動自体が問題になると示した。
どこまで分かった?
改善率はEVMBenchの特定の組み合わせでの結果。他の監査対象やモデルで同じ効果とは限らない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
Claude CodeやOpenAI Codexなどの大規模言語モデルのエージェントは、コード作成以外にも使われ始めている。エージェントは、領域知識、作業手順、道具の使い方をまとめた再利用可能なスキルによって強化できるが、スキルの設計や実際の効果・行動への影響は十分に分かっていない。本研究は、エージェントが有望視されるスマートコントラクトの安全性監査でこれらを調べる。公開されている監査スキル83件を系統的に収集し、7種類のエージェントとモデルの組み合わせでEVMBenchにより評価した。構造、知識の表し方、作業手順、道具への依存を含む設計上の特徴、脆弱性検出への効果、実行過程への影響という3つの側面を調べる。監査スキルの多くは軽量だが設計はさまざまで、広い種類の脆弱性を扱うものの分布には偏りがある。効果はエージェントの実行基盤より主にモデルに左右され、Codex/GPT-5.5の組み合わせで最大の改善が見られ、検出スコアは22.8%、得られた報奨額は43.2%増えた。さらに、スキルが適切なときに起動するかどうかが主要なボトルネックだと分かった。起動した場合は共通の6段階監査手順を保つ一方、読み込み方と行動への影響は組み合わせによって異なった。今後の研究のため、スキルの集合と関連資料を公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24(UTC)
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
LLM agents, notably Claude Code and OpenAI Codex, are emerging as versatile tools beyond coding agents only. These agents can be enhanced with skills---reusable artifacts that package domain knowledge, workflows, and tool-use instructions. To date, however, little is known about how such skills are designed or how they affect agent effectiveness and behavior in practice. In this paper, we investigate these questions in smart contract security auditing, a domain in which agents have shown substantial promise. We systematically collect 83 smart contract audit skills from the wild and evaluate them on EVMBench across seven agent--model configurations. Our study examines three dimensions: (i) the design characteristics of audit skills, including their structure, knowledge representations, workflows, and tool dependencies; (ii) their effectiveness in improving vulnerability detection; and (iii) their influence on agent execution trajectories. We find that audit skills are mostly lightweight but heterogeneous in design, covering a broad yet imbalanced range of vulnerability types. Their effectiveness is determined primarily by the model rather than the agent harness: Codex/GPT-5.5 achieves the largest gains, improving detection score by 22.8% and captured award by 43.2%. We further find that skill triggering is a key bottleneck. When triggered, skills preserve a shared six-stage audit workflow while exhibiting distinct loading patterns and differential effects on agent behavior across configurations. We release our skill corpus and artifacts to support future research.
arXiv ID: 2609.29454 / 要約の誤りについて