エージェントの自己修正を外部で検証してから保存
Self-Healing Harness for Runtime Oversight of Agent Self-Modification
この論文をやさしく読む
ひとことで言うと
エージェントが自分の指示を修正しても、改善と副作用を外部で試験し、合格した変更だけを次の作業に残す仕組みです。
何に役立つ？
一つの失敗を直すための規則が、以前できた作業を壊すことを検出するのに役立ちます。モデルの重みを変えずに、修正内容を確認して取り消せます。
この研究の面白いところ
却下された提案の55%は、修正のきっかけとなった問題には効いていました。局所改善だけでは採用を判断できないことを、対応する実行の比較で示しています。
どこまで分かった？
55%の分母はリプレイ判定で却下された383提案であり、全提案ではありません。完了スコアは16組すべてで高いものの、対応付き区間がゼロを除外したのは2組です。外部ゲートがあらゆる副作用を防ぐ保証ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
LLM エージェントは自分自身の将来の振る舞いを変えられるため、自ら生成した変更のうち、どれを持続させてよいかという基本的な制御問題が生じる。本研究では、これを自己修正の受け入れ制御として定式化する。エージェントは動作指示への変更を提案できる一方、その永続化は外部の実行時ゲートが制御する。この原理を、エージェント本体を変更せずに、その周囲で検出、通知、修復、検証のループを回す、モデルに依存しない自己修復ハーネスとして実装する。 エージェントは外部ワークスペースに行動規則の候補を記述する。候補は評価中に暫定的な実行権限を持ち、きっかけとなった失敗で改善が測定され、かつ保護対象の事例での性能後退が固定された許容幅を超えない場合にだけ、エピソードをまたぐ永続的な権限を得る。可能な場合はリプレイにより条件を揃えた証拠を得る。前向きの試行は、それより弱い代替手段となり、コーパス全体の保護機構は、蓄積された有効な規則群を再試験する。 AppWorld、Terminal-Bench、τ²-Bench にまたがる、条件を揃えた Baseline と Harness の16組の実行では、ゲートはリプレイにより判定した383件の提案を却下した。そのうち211件、55%は、きっかけとなった失敗を改善する一方、以前は成功していた事例を悪化させていた。この結果は、局所的には有益な自己修正でも、ゲートの判断を実質的に左右するほどの頻度で、ほかの事例に性能後退をもたらし得ることを示し、外部の受け入れ制御が必要であることに直接的な実証的根拠を与える。タスク完了スコアは16組すべてで Harness の方が高く、対応付きブートストラップ区間がゼロを含まなかったのは2組だった。反復試行での信頼性は12組で高く、4組で同じで、低い組はなかった。適応はモデルの重みを固定したまま、方策を形作る文脈を変更するため、受け入れられた変更は検査可能で、取り消し可能であり、重みが非公開のモデルとも両立する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
LLM agents can change their own future behavior, raising a basic control question of which self-generated changes should be allowed to persist. We formulate this as admission control for self-modification. The agent may propose changes to its operating instructions, while an external runtime gate controls persistence. We implement this principle as a model-agnostic self-healing harness that runs a Detect, Notice, Heal, Validate loop around an otherwise unmodified agent. The agent authors candidate behavioral rules in an external workspace, where they receive provisional execution authority during evaluation and acquire persistent cross-episode authority only after measured improvement on the triggering failure without regression beyond a fixed margin on protected cases. Replay provides matched evidence when available, forward trials provide a weaker fallback, and a corpus-level guard re-tests the accumulated active rule set. Across 16 matched Baseline and Harness runs spanning AppWorld, Terminal-Bench, and $\tau^2$-Bench, the gate rejected 383 replay-decided proposals. Of these, 211 (55%) improved their triggering failure while degrading a case that previously worked. This shows that locally beneficial self-modifications can introduce collateral regressions often enough to materially affect gate decisions, providing direct empirical motivation for external admission control. Task-completion score is higher under the Harness in all 16 pairs, with two paired bootstrap intervals excluding zero, while repeated-trial reliability is higher in 12 pairs, tied in 4, and lower in none. Because adaptation modifies the policy-inducing context while leaving model weights fixed, admitted changes remain inspectable, reversible, and compatible with closed-weight models.
arXiv ID: 2609.24130 ／ 要約の誤りについて