反復作業でエージェントの手順を習慣化する方法
Making Agents More Consistent: Skills Should Form Habits for Repeat Tasks
この論文をやさしく読む
ひとことで言うと
反復作業の実行履歴から決定的な手順を作り、一貫性と費用を評価した。
何に役立つ？
同じ入力に安定した回答が必要な反復タスクで、手順の再利用を設計する参考になる。
この研究の面白いところ
出力の再現性が高まる一方、誤った振り分けや決定的な誤りも繰り返されることを数値で示した。
どこまで分かった？
テキストからSQLへの実験では456回すべてで出力を再現し、トークンを14～56%削減した。一方、境界近くの入力では26%を誤受理した。結果は評価した課題と方式に関するものである。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
繰り返しの作業でエージェントの回答は一貫しない。42件の課題をそれぞれ3回実行したところ、モデルによって38～74%で回答が一致しなかった。購入者、監査者、規制当局が求める一貫性をエージェントは備えていない。また、生成した内容の95.3～97.2%が、システムに既に分かっている計画を作り直すことに費やされ、無駄も多い。著者らは「スキルの習慣化」を提案する。エージェントの実行履歴から候補スキルを掘り出し、既存の手順を置き換えるのではなく競わせる決定的な変種を作る。候補は対象とする入力範囲を宣言し、通常の場合はスクリプトとして実行し、それ以外は推論へ回す。費用が段階的に増える4つの関門で候補を採用する。中心となる関門は、保存した参照実行のばらつきから測った許容範囲内で、候補の実行記録を参照と照合する。 テキストからSQLを作る課題では、4つの推論方式のうち3つは42問中11～13問で自身の出力を再現し、残りの1つは26問だった。習慣化した方式は、繰り返した456回の振り分けすべてで出力を再現し、置き換えた各方式に対して劣らなかった（p＜0.0001）。トークン使用量は14～56%少なく、7～53回の再利用後に正味の利益へ転じた。一方で精度上の代償も測った。処理を推論へ回すべき入力を、通常の言い換えの2.6%、適用境界に近い入力の26%で誤って受け入れた。この種の失敗13件中11件は、どの閾値でも実行記録の一致確認では検出できなかった。決定的な誤りも同じように繰り返される。悪い習慣も良い習慣と同じくらい再現可能になる点が、監査可能性を生む性質の代償である。振り分けとパラメータ抽出を分離すると、端から端までの正解率は0.888から0.952に上がり、費用は43%となった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
On repeated work, agents are inconsistent. We ran 42 tasks three times each and found that, depending on the model, 38% to 74% returned answers that did not agree. Consistency is what a buyer, an auditor, or a regulator requires, and agents do not have it. They are wasteful too: 95.3% to 97.2% of what an agent generates goes to re-deriving a plan the system already knows. We propose skill habit formation. An agent mines its own execution history for candidate skills, deterministic variants that compete against the incumbent rather than replacing it. A candidate declares the region of input space it claims, so the common case runs as a script and the rest falls through to reasoning. Four gates of ascending cost admit candidates; the central one tests a candidate's execution trace against a retained reference, within a tolerance measured from that reference's own run-to-run variability. On text-to-SQL, three of four reasoning arms reproduced their own output on 11 to 13 of 42 repeated questions and the fourth on 26 of 42, while a habit-formed variant reproduced on all 456 dispatches we repeated and was non-inferior to every arm it replaced (p<0.0001). It also used 14% to 56% fewer tokens, turning net positive after 7 to 53 reuses. We measured what this costs in accuracy. The guard admitted work it should have deferred on 2.6% of natural paraphrases and 26% of inputs near its boundary, and 11 of 13 such failures were invisible to the trace-conformance gate at any threshold. Deterministic errors repeat exactly: a bad habit is as reliable as a good one, and that is the price of the property that makes the system auditable. Separating routing from parameter extraction raised end-to-end accuracy from 0.888 to 0.952 at 43% of the cost.
著者のコメント
12 pages, 2 figures
arXiv ID: 2609.25299 ／ 要約の誤りについて