LLMエージェントの計画支援と完了判定の効果を比較する
How Do Agent Harnesses Create Value? Planning Information and Release Control in Stateful LLM Agents
この論文をやさしく読む
ひとことで言うと
エージェントを支える事前計画と完了検査が、成功率・誤った合格判定・費用にどう効くかを分けて調べます。
何に役立つ？
どの支援機能へ運用費用をかけるべきかを、誤った処理を通す損失に応じて判断する材料です。
この研究の面白いところ
同じ文章量の無関係な説明と計画を比較し、情報内容の効果を測ります。読取り専用の検査器は誤った実行の61％を拒否する一方、正しい実行の17％も保留しました。
どこまで分かった？
Retail実験とAirlineの予備研究という評価範囲です。検査器を付ければ必ず得という結論ではなく、誤受入れの損失をどう設定するかで相対的な価値が変わります。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
エージェントの実行基盤は、計画の指針を与え、実行を組み立て、完了を確認する。本研究ではτ²-benchの小売業務に関する2つの実験と、航空業務の予備実験で、これらの構成要素が成功、誤った受理、費用に与える影響を調べる。主要な比較では、あらかじめ記述したタスク別の計画（Fixed）と、単語数をそろえて並べ替えた方針文（Sham）を対応させ、指針の内容そのものの寄与を切り分ける。 対応づけた265の実験セル全体で、Fixedはオラクルで確認された成功率を7.17パーセントポイント改善した。タスクをクラスタ単位とするブートストラップによる90%区間は1.15〜13.36ポイントであり、改善は複雑度の高いタスクに集中していた。読み取り専用の終端検証器は、小売業務でオラクルが無効と判定したエピソードの61%を拒否した一方、正しいエピソードの17%も受理しなかった。追加費用は1エピソード当たり1セント未満だった。 どちらの構成要素がより重要かは、誤った受理に割り当てる損失によって変わる。責任負担が小さい場合は計画による改善が支配的であり、大きい場合は検証器が誤った合格を回避する効果が支配的となる。さらに、検証器だけでも、計画と検証を組み合わせた全体構成が持つ誤合格の抑制効果のほぼすべてを、はるかに低い費用で得られる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Agent harnesses supply planning guidance, organize execution, and check completion. We study how these components affect success, erroneous acceptance, and cost in two Retail experiments and an Airline pilot in $\tau^2$-bench. The primary comparison pairs prewritten task-specific plans (Fixed) with shuffled policy text matched in word count (Sham), isolating the contribution of guidance content. Across 265 matched cells, Fixed improves oracle-verified success by 7.17 percentage points (90\% task-clustered bootstrap interval, 1.15--13.36 points), with gains concentrated in higher-complexity tasks. A read-only terminal verifier rejects 61\% of Retail oracle-invalid episodes while withholding 17\% of correct ones, at less than one cent of additional cost per episode. Which component matters more depends on the loss assigned to erroneous acceptance: at low liability the planning gain dominates; at high liability the verifier's avoided false passes dominate---and a standalone verifier captures nearly all the false-pass benefit of the full planning-plus-verification stack at a fraction of its cost.
arXiv ID: 2609.20474 ／ 要約の誤りについて