失敗から操作コードを育てる再利用可能なエージェント
Grow the Harness, Not the Context: From Strategy-Free Scaffolds to Reusable Specialist Agents
この論文をやさしく読む
ひとことで言うと
似た作業で繰り返す操作を、失敗履歴から修正する共通コードに蓄積し、言語モデルの呼び出しを減らす方法を評価した。
何に役立つ？
ブラウザー操作などの反復的なエージェント作業で、制御の再利用と運用費用の削減を検討する助けになる。報告値は評価したベンチマークとモデルでの結果である。
この研究の面白いところ
失敗箇所を関数単位で特定し、複数の失敗をまとめて修正し、以前の成功を損なう変更を巻き戻す仕組みを組み合わせた。
どこまで分かった？
BrowseComp-Plus、WebArena-Verified、3モデルで評価した。別の作業群で同じ成功率や費用削減率が得られるかは要旨では示されていない。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデルのエージェントは、関連する作業を続けて処理することが多い。しかし通常の実行基盤では、同じ操作上の判断を作業ごとの文脈の中で繰り返しモデルに組み立てさせる。本研究は、作業からのフィードバックを使って反復的な制御を再利用可能な実行コードに移し、言語モデルの呼び出しを作業固有の意味判断に充てられるかを調べる。Growing Harnessと名付けた、失敗を手掛かりにエージェントの実行基盤自体を学習する方法を提案する。出発点となる枠組みは固定のモデル・ツールの接続口だけを持ち、課題を解くための制御方針を含まない。関数単位の実行履歴から失敗を限られたコード範囲に特定し、最適化器が一群の失敗をまとめて修正する。成功を優先する保留データでの判定により、従来の能力を損なう修正の連鎖は巻き戻す。採用された変更は共通の実行基盤に蓄積され、制御構造が課題からのフィードバックによって形成される。 BrowseComp-PlusとWebArena-Verifiedで、40億～1,200億パラメータの3つの運用モデルを使って評価したところ、6つのベンチマーク・モデル条件のうち5つで平均成功率が最も高く、残り1つでは最良の平均値に0.7パーセントポイント及ばなかった。ツール呼び出し型のエージェントに比べ、言語モデルの呼び出し回数は76.0～91.8％、運用時の推論費用は74.4～98.6％減った。WebArena-Verifiedでの成功率はモデル規模を変えても44.7～45.3％で、ツール呼び出し型は40億パラメータのモデルで6.7％まで下がった。要素を除いた比較実験では、実行履歴に基づく局所修正、まとめての修正、判定による巻き戻しがいずれも最終的な成功率を改善した。結果は、継続的に成長するプログラムが反復的な制御をモデルの文脈から低費用のコードへ移し、小さな運用モデルでも有効な専門エージェントを再利用できることを示す。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-24 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large language model (LLM) agents often handle streams of related tasks, yet standard harnesses repeatedly ask the model to reconstruct the same control decisions inside each task's context. We study whether task feedback can instead turn recurring control into reusable executable code, while reserving LLM calls for task-specific semantic reasoning. We introduce Growing Harness, a failure-guided training paradigm that learns the agent harness itself from a strategy-free scaffold that exposes fixed model and tool interfaces but encodes no task-solving controller. Function-level execution traces localize each failure to a bounded code surface, an optimizer repairs a window of failures jointly, and a success-first held-out gate rolls back repair sequences that harm prior capability. Accepted edits accumulate in one shared harness, allowing its control structure to emerge from task feedback. Across BrowseComp-Plus and WebArena-Verified with three deployment models from 4B to 120B parameters, Growing Harness achieves the highest mean success in five of six benchmark-model settings and trails the best mean by 0.7 pp. in the sixth. Relative to a Tool-Calling agent, it reduces LLM calls by 76.0-91.8% and deployed-agent inference cost by 74.4-98.6%. On WebArena-Verified, its success remains 44.7-45.3% across model scales, whereas Tool-Calling falls to 6.7% with the 4B model. Ablations show that trace-local edits, joint repair, and gate-based rollback each improve final success. These results show that persistent program growth can move recurring control out of model context and into low-cost code, yielding reusable specialist agents that remain effective with smaller deployment models.
著者のコメント
16 pages, 6 figures
arXiv ID: 2609.26760 ／ 要約の誤りについて