一手ごとの成績向上がAIエージェントの業務完遂につながらない理由
When Better Turns Do Not Make Better Agents: Diagnosing the Gap Between Next-Turn Metrics and Workflow Success
この論文をやさしく読む
ひとことで言うと
正しい会話履歴を与えれば次の一手をうまく答えるAIでも、自分の判断を積み重ねて業務を最後まで進められるとは限らない、という比較研究です。
何に役立つ？
エージェントの導入や学習成果を評価するときに、応答品質と実際のタスク完了率を別々に測る根拠になります。単一ターンの改善だけで業務全体の改善を判断しない評価設計に役立ちます。
この研究の面白いところ
同じモデルのSFT前後を、正解履歴付きの評価と自律実行の両方で比べています。局所的な改善が全体に引き継がれないことを、複数モデル・規模で調べています。
どこまで分かった？
対象は4種類のモデル設定と複数ターンの顧客サポート業務です。要旨には総合評価と厳格な軌跡完了の定義の詳細がないため、「いずれも成功せず」と「最大10.4％」は異なる評価の報告として区別しています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
エージェントモデルはしばしば、一度に一つの判断を評価される。この評価では、正解の対話履歴に基づいてモデルが次の行動を予測し、参照回答と照らして採点される。本研究では、この手順での改善が、自律的なワークフロー実行の改善を予測するかどうかを調べる。複数ターンからなる顧客サポート業務を対象に、40億・140億パラメータのQwen3と40億・120億パラメータのGemma 3について、教師ありファインチューニング（SFT）の前後を比較する。 SFTはテキスト応答ターンの成功率を一貫して改善し、正解履歴を与える評価では、すべてのモデルで次ターン全体の成功率が上がる。しかし、これらの改善は自律的な業務実行には移らない。ツールごとの改善も、指標とモデルによって異なる。ワークフローを総合的に評価すると、4つのSFTモデルはいずれも成功せず、厳格な軌跡完了の指標で見てもワークフロー成功率は最大10.4％にとどまる。 結果は、次ターンの評価が業務全体の成功を示す信頼できる代替指標ではないことを示している。このため、テキストの品質、局所的な行動の正しさ、ツールの実行、最初から最後までのタスク完了を、それぞれ分けて報告する必要がある。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Agent models are frequently evaluated one decision at a time, where the model predicts the next action based on the gold interaction history, which is scored against a reference. We investigate whether improvement under this protocol is predictive of improved autonomous workflow execution. We study pre-SFT and supervised fine-tuned (SFT) Qwen3 models at 4B and 14B parameters and Gemma 3 models at 4B and 12B parameters on multi-turn customer-support workflows. We find that SFT consistently improves text-turn success, and that overall next-turn success increases for every model under gold-history evaluation. However, these improvements do not transfer to autonomous workflow execution. Tool-specific gains also vary across metrics and models. None of the four SFT models succeeds under holistic workflow evaluation, with strict trajectory completion reaching at most 10.4% workflow success. Our results show that next-turn evaluation is not a reliable proxy for workflow success, motivating separate reporting of text quality, local action correctness, tool execution, and end-to-end task completion.
著者のコメント
Accepted to the REALM Workshop at EMNLP 2026
arXiv ID: 2609.21187 ／ 要約の誤りについて