arXiv論文メモ
新着一覧
cs.AI / cs.MA · 査読状況未確認

エージェントの完了宣言を仕様と証拠で検証するSpecHarness

Who Holds the Pen? Let Specifications, Not Agents, Sign Off

Haiqing Li, Xin Ma, Yinhao Wu, Wenliang Zhong, Feng Jiang, Thao M. Dang, Xiao Hu, Hehuan Ma, Yuzhi Guo, Junzhou Huang

この論文をやさしく読む

ひとことで言うと

AIエージェントが「終わった」と言うだけでは済ませず、仕様に対応する証拠で完了を判定する仕組みです。

何に役立つ?

エージェントの作業結果を監査し、要件が実際に満たされたか確認する設計に役立つと考えられます。要旨ではSkillsBenchの509指示を分析しています。

この研究の面白いところ

七モデルで完了宣言率と公式評価の合格率に28.7~37.9ポイントの差があり、見える仕様を出典付きの義務へ変換して検証します。

どこまで分かった?

曖昧または主観的な要件は助言として残し、すべてを自動判定するものではありません。評価は記載されたガイドライン遵守と成果物生成の課題です。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

大規模言語モデルのエージェントは、生成、意思決定、実行、自己評価を一つのループにまとめることが増えている。課題の指示、ガイドライン、出力形式、再利用可能なスキルといった外部仕様に従って動くものの、通常は同じモデルがその仕様を文脈として読み、行動し、完了を宣言するため、独立した仕様上の権限境界がない。本研究は二つの隔たりを指摘する。理解と実行の隔たりは、要件を理解しても実行で満たさない場合に生じる。状態と権限の隔たりは、エージェントの解釈や完了宣言が必要な状態を証明しない場合に生じる。 SkillsBenchで、エージェントから見えるプロンプト、作業空間の情報、注入されたスキル仕様だけを使い、根拠となる出典を持つ509件の課題指示を抽出した。七つのモデルでは、その79.6~86.4%しか満たされず、完了宣言の割合は公式評価器の合格率を28.7~37.9パーセントポイント上回った。そこで、エージェントの提案と権限のある状態判定を分離する。エージェントは計画、実行、完了の申請はできるが、仕様に基づく状態を確立できるのは、適格な提供者から得た採用可能な証拠だけとする。SpecHarnessは、見える仕様を出典と結び付いた義務に変換し、版管理された義務の状態で実行と完了を統制する。検証可能な要件は実行時に仲介または検証し、曖昧あるいは主観的な要件は助言として扱う。ガイドライン遵守と成果物生成の課題での実験は、仕様が行動の指針だけでなく、適合した実行と完了を判定する権限にもなり得ることを示した。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-24(UTC)
最新改訂
2026-09-24 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Large language model agents increasingly combine generation, decision-making, execution, and self-evaluation within a single agentic loop. Although they operate under external specifications such as task instructions, guidelines, output schemas, and reusable skills, these specifications typically remain context for the same model that acts and declares completion, leaving no independent specification authority boundary. We identify two resulting gaps. The understanding--execution gap arises when a requirement is understood but not satisfied in execution; the state--authority gap arises when an agent's interpretation or completion claim does not establish the required state. On SkillsBench, using only agent-visible prompts, workspace information, and injected skill specifications, we extract 509 source-grounded task directions. Across seven models, only 79.6%--86.4% are satisfied, while completion-claim rates exceed official evaluator pass rates by 28.7--37.9 percentage points. We therefore separate agent proposals from authoritative state. Agents may plan, act, and request completion, but only admissible evidence from qualified providers may establish specification-governed state. SpecHarness operationalizes this principle by compiling visible specifications into source-linked obligations and governing execution and finalization through versioned obligation state. Verifiable requirements are mediated or validated at runtime, while ambiguous or subjective requirements remain advisory. Experiments on guideline-following and artifact-generation tasks show that specifications can serve not merely as behavioral guidance, but as authority over compliant execution and completion.

arXiv ID: 2609.29921 / 要約の誤りについて