LLMエージェントの推論履歴を修正する世界モデル
Agent-Editing World Model: Rethinking World Modeling for LLM Agents
この論文をやさしく読む
ひとことで言うと
LLMエージェントの履歴に残る誤った仮定や古い計画を修正し、次の行動に反映するモデルを提案した。
何に役立つ？
考えられる用途は、検索や開発作業など長い手順を要するエージェントの判断改善である。要旨では6ベンチマークで性能を比較した。
この研究の面白いところ
ツール応答を予測する代わりに、判断の重要度と履歴修正を学び、実行時の状態そのものを更新する。
どこまで分かった？
Action JudgeのマクロF1は70.5％、EditActの平均スコア改善は3.2～6.7ポイントだった。結果の範囲は要旨に記載された領域とベンチマークである。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）の進歩によって、エージェントは多様な環境で長い手順を要するタスクに取り組めるようになった。既存の言語ベースの世界モデルは、性能をさらに高めるため環境の観測結果を予測することが多い。しかし、実際の応答を得られるときに、情報量が多く実行内容に依存するツール応答を再現しても価値は限られる。一方エージェントには、根拠のない仮定や古くなった計画が履歴に残り、後の判断をゆがめる「タスク状態の汚染」という問題がある。 本研究は、ツール応答を模擬する代わりに、推論と行動が後のタスク進捗をどう形作るかをモデル化するAgent-Editing World Model（AEWM）を提案する。AEWMは、判断を「重要」「探索的」「ノイズ」に分けるAction Judgeと、同じ観測履歴から続くノイズの多い推論・行動を編集するState Revisionを組み合わせる。EditActはこれらを実際の実行と統合し、批評だけを与えるのではなく、後続の判断の基になる状態を直接変える。検索、ターミナル、ソフトウェア工学の領域にわたり、中間学習と教師ありファインチューニングでAEWMを学習した。 Action Judge用ベンチマークでAEWMはマクロF1値70.5％を達成し、最も強い先端モデルの比較対象を10.6ポイント上回った。6つのベンチマークと3種のエージェント基盤にわたり、EditActは最も強い比較対象より平均スコアを3.2～6.7ポイント高めた。さらに、検証済みのEditActの軌跡で棄却サンプリングを用いてファインチューニングするAEWM-RFTは、実行時にAEWMの助言がなくても、3領域でSelf-RFTを2.2～2.6ポイント上回った。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Recent advances in large language models (LLMs) have enabled agents to tackle long-horizon tasks across diverse environments. To further improve agent performance, existing language world models typically predict environment observations, yet reconstructing high-entropy, execution-dependent tool responses offers limited value when real feedback is available. Meanwhile, agents suffer from \emph{task-state contamination}, where unsupported assumptions and outdated plans persist in history and distort subsequent decisions. We propose the \textbf{Agent-Editing World Model (AEWM)}, which models how reasoning and actions shape future task progress rather than simulating tool responses. AEWM combines \textbf{Action Judge} to distinguish \textsc{Critical}, \textsc{Exploratory}, and \textsc{Noisy} decisions with \textbf{State Revision} to edit noisy reasoning--action continuations from the same observed history. \textbf{EditAct} integrates these capabilities with real execution, directly changing the state underlying subsequent decisions rather than merely providing critiques. We train AEWM across Search, Terminal, and Software Engineering through mid-training and supervised fine-tuning. AEWM achieves 70.5\% macro-F1 on our Action Judge benchmark, exceeding the strongest frontier baseline by 10.6 points. Across six benchmarks and three agent backbones, EditAct improves average scores by 3.2--6.7 points over the strongest baseline. Furthermore, rejection sampling fine-tuning on verified EditAct trajectories, termed \textbf{AEWM-RFT}, improves over Self-RFT by 2.2--2.6 points across three domains without online AEWM guidance.
arXiv ID: 2609.28416 ／ 要約の誤りについて