LLMエージェントの作業状態は表示と強制のどちらが効くか
How Strongly Should Task State Influence an LLM Agent?
この論文をやさしく読む
ひとことで言うと
長い作業をするLLMに、進捗を見せる・指示する・違反を拒否する方法の効果を比較した。
何に役立つ？
状態に基づく失敗が多い作業で、エージェントの実行制御を設計する際の判断材料になる。
この研究の面白いところ
正しいチェックリストを見せるより、モデルが自分で書く未検証の台帳の方が良い場合があり、強制ゲートも照合判断が誤る課題では逆効果になった。
どこまで分かった？
3モデル・2推論設定・2分野の実験結果で、ゲートの有効性は状態と要求対応の正しさに依存する。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
長い作業を任された大規模言語モデル（LLM）エージェントは、どの手順が完了、保留、中止、または再実行可能かという作業状態を追跡する必要がある。既存のシステムは状態をプロンプト中の文章として示してモデルに読ませるか、状態を強制するモジュールに移すが、全体として評価されるため、状態の表示、指示、強制のどれが信頼性にどれだけ寄与するか分からない。本研究は作業規則、モデル、対応する実行例を固定し、状態がエージェントに届く強さだけを変える。生の会話記録、正確なチェックリスト、指示文から構成し実行結果の記録によってのみ進める状態機械からのターンごとの指示、状態違反の行動を拒否するゲートを比較し、各実行例を変動する正解との出力の厳密一致で採点する。3モデル、2種類の推論設定、2分野にわたり、ターンごとの推論を行わない場合には4つの結果が共通した。正確な状態を表示するだけでは不安定であり、エージェント自身が記した未検証の台帳は、表示された正確なチェックリストより良く、指示の効果はモデルの従順さに比例し、強制には従順さが不要だが、状態そのものの正しさと、要求を手順に対応付ける照合器に制約される。235Bモデルで毎ターン推論するとこれらの差は縮むが、文章だけの段階の問題は解消しない。同じゲートをτ²-benchの航空会社規則から構成すると、235Bモデルのpass¹は0.39から0.54へ上がり、規則違反がまれな35Bモデルでは変化しなかった。一方、PM-Benchでは行動が状態より手掛かりの認識に左右されるため、記録の表示が最良で、両方のゲートと同等以上となり、台帳がチェックリストを上回るという結果も逆転した。照合器の判断を強制すると、35Bモデルは生の会話記録より悪化した。強制は、失敗が状態から判定でき頻繁に起きる場合に有効で、ゲートの判断が誤る場合には害になる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Long-horizon assigned work requires an LLM agent to track the state of a task: which steps are done, blocked, cancelled, or open to repetition. Agent systems either keep this state as text in the prompt and rely on the model to read that text, or move the state into a module that enforces it, and each system is evaluated as a whole, so no one knows how much reliability comes from the state being shown, told, or enforced. We fix the task rules, the model, and paired episodes and vary how strongly task state reaches the agent: a raw transcript, an exact checklist, per-turn directives from a state machine compiled from the brief and advanced only by execution receipts, or an enforcement gate on that machine that refuses state-violating actions; every episode is scored by exact payload matching against dynamic ground truth. Across three models, two reasoning regimes, and two domains, four findings hold without per-turn reasoning: displaying accurate state is unreliable, an unverified ledger the agent writes itself beats an accurate checklist it is shown, directives help in proportion to the model's obedience, and enforcement needs no obedience but is bounded by the correctness of its state and by the matcher that maps requests to steps; per-turn reasoning at a 235B agent compresses these separations without repairing the text rungs. The same gate, compiled from $\tau^2$-bench's airline policy, raises a 235B agent's pass$^1$ from 0.39 to 0.54 and changes nothing for a 35B agent that rarely violates the policy; on PM-Bench, where acting turns on recognizing a cue rather than on state, showing the record is the best rung--matching or beating both gates and reversing the ledger-over-checklist finding--and enforcing the matcher's judgement drops a 35B agent below its raw transcript. Enforcement pays when failures are state-decidable and frequent, and hurts when the gate's judgement is wrong.
著者のコメント
Preprint. 43 pages
arXiv ID: 2609.25686 ／ 要約の誤りについて