失敗直前の実行制御で言語モデルの反復成功率を改善
FIRE: Failure-Informed Runtime Engineering for Reliable Language-Model Agents
この論文をやさしく読む
ひとことで言うと
失敗しやすい場面で指示や操作制限を入れ、エージェントができる仕事を毎回完遂できるようにする研究です。
何に役立つ？
考えられる用途は、開発作業などで既存モデルの成功を安定させることです。重みの再学習を伴わない実行基盤側の対策として評価されています。
この研究の面白いところ
一度でも成功する率と2回とも成功する率を分け、Solでは後者が9.2ポイント改善しました。介入のタイミングだけを合わせた群とも比較しています。
どこまで分かった？
87タスク全体の評価、14タスクのモデル・費用比較、5群実験は分けて読む必要があります。未知の用途でも同じ効果を持つとは要旨だけでは判断できません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
言語モデルのエージェントは、動く解決策に到達しても、それを一貫して完遂できないことが多い。本研究では、実行時ポリシーを調べる。これは、観察された失敗に先行する状態で、エージェントの実行基盤が対象を絞った自然言語の指示や操作の拒否を適用するもので、モデルの重みやユーザープロンプトは変更しない。これにより、能力を一定に保ったまま、実際に成果を届ける信頼性が大きく改善することを観察した。Terminal-Bench 2.1の全87タスクを各2回試行したところ、ポリシーはGPT-5.6の三つの階層すべてで反復成功率（pass^2）を高めた。Lunaでは50.6%から54.0%、Terraでは55.2%から60.9%、Solでは64.4%から73.6%に上昇した。Solの2回中少なくとも1回成功する率の変化は1.2ポイントである一方、反復成功率は9.2ポイント上昇しており、ポリシーが主として、到達可能な解決策を確実な完遂へと変えていることを示す。さらに、Terraについて固定したポリシー群を用い、14タスクを扱った。ポリシーに従うTerraの成功率は71.4%に達し、支援のないSolの64.3%を上回り、費用はおよそ半分だった。これは、モデルの周辺を設計することで、特定の用途における確実性を高められる可能性を示している。仕組みを切り分けるため、無作為化した5群の実験を行った。対象条件を満たすタスクで、実際のポリシーは61%に達したのに対し、ポリシーなしは39%、介入時点をそろえた偽の介入は36%、一般的な検証や再考の指示は39〜43%だった。意図した修正行動は、行動を分類したポリシー適用24試行中22試行に現れ、他のどの群でも最大14試行だった。したがって、実行時ポリシーは実用的な信頼性向上の層であり、エージェントがすでに持つ能力を、より安定して繰り返し発揮させる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Language-model agents often reach a working solution and then fail to consistently deliver it. We study runtime policies: targeted natural-language instructions and action denials applied by the agent harness at states that preceded observed failures, without changing model weights or the user prompt. With this, keeping capability constant, we observe a meaningful unlock in delivered reliability. Across the complete 87-task Terminal-Bench 2.1 suite, with two attempts per task, policies increase repeated success (pass^2) in all three GPT-5.6 tiers: 50.6% to 54.0% for Luna, 55.2% to 60.9% for Terra, and 64.4% to 73.6% for Sol. Sol's best-of-two success changes by 1.2 points while repeated success rises by 9.2, showing that policies chiefly convert reachable solutions into dependable delivery. We further cover 14 tasks under Terra's frozen portfolio. Policy-guided Terra reaches 71.4%, compared with 64.3% for unassisted Sol, at about half the cost, demonstrating how engineering around models could unlock dependability for a use case. To isolate the mechanism we run a randomized five-arm experiment: real policies reach 61% on eligible tasks, versus 39% without a policy, 36% with a timing-matched sham, and 39 to 43% with generic verification or reconsideration. The intended corrective behavior appears in 22 of 24 coded policy attempts, against at most 14 in any other arm. Runtime policies are therefore a practical reliability layer: they make capabilities an agent already possesses substantially more repeatable.
arXiv ID: 2609.26048 ／ 要約の誤りについて