LLMエージェントによるモデル納品の評価
Trains but Doesn't Learn: A Post-Training Delivery Benchmark for LLM Agents as Forward-Deployed Engineers
この論文をやさしく読む
ひとことで言うと
LLMエージェントにモデルの追加学習と納品を任せたとき、工程と成果を信頼できるかを評価するベンチマーク。
何に役立つ？
追加学習サービスで、損失が下がっても実際の性能が改善しない納品を受け入れ前に見つけるための評価設計に役立つ。要旨が報告するのは指定したモデル、GPU、工程での検証である。
この研究の面白いところ
単一の性能指標ではなく、予算、承認、再現性を含む10段階の納品工程を記録事実で採点し、人間の担当者とも比較している。
どこまで分かった？
要旨には個々のエージェントの得点や人間との性能差は記載されていない。TBDLの全件検出という結果は、ここで実行したシナリオに関するもの。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
追加学習はサービスになりつつある。顧客がデータと目標を運用者に渡し、現場担当エンジニア（FDE）が予算、人による承認の関門、再現性の要件を守りながら、微調整、評価、配備を終えたモデルを納品する。LLMエージェントをFDEの役割に置くと、従来のベンチマークでは答えられない問いが生じる。指標を改善できるかではなく、納品を任せられるかである。本研究は、管理された納品環境でこれを検討する。エージェントが10段階の工程を進め、判定器がプラットフォームに記録された事実に基づいて各段階を採点する。 中心となる、表面化しにくい失敗は「学習処理は進むが性能は向上しない（TBDL）」実行である。損失は下がり、すべての信号が正常を示すのに、納品モデルは基盤モデルより良くならない。運用者が実施する受け入れ判定は、そうした実行を支払い前にすべて検出し、既知の破損実行で調整した検出器は、深刻な破損を実行中に警告する。 4種類の最先端エージェント（Claude Opus 5、GPT-5.6-luna、Gemini 3.7 Flash、DeepSeek V4-Pro）を、利用量を計測したL40S、A100、H200のGPU上で、80億～700億パラメータの公開基盤モデルを対象に、端から端まで実行した。採点前には各シナリオの適格性を確認した。同じ判定器の下で人間のFDEによる実行も行い、各エージェントと比較する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Post-training is becoming a service (PTaaS): a customer hands an operator data and a goal, and a forward-deployed engineer (FDE) returns a fine-tuned, evaluated, and deployed model under a budget, a human-approval gate, and reproducibility requirements. Seating an LLM agent in the FDE seat raises a question existing benchmarks cannot answer: not whether an agent can raise a metric, but whether it can be trusted to deliver. We answer it on a governed delivery plane, where an agent drives ten stages and an oracle scores each stage from platform-recorded facts. The central silent failure is the run that trains but does not learn (TBDL): loss falls, every signal stays green, and the delivered model is no better than the base. An operator-run acceptance gate catches every such run before payment, and a detector calibrated on known-corrupted runs flags severe corruption mid-run. We ran four frontier agents (Claude Opus 5, GPT-5.6-luna, Gemini 3.7 Flash, DeepSeek V4-Pro) end to end on metered L40S, A100, and H200 GPUs across 8B to 70B open bases, certifying every scenario before scoring. We also ran a human FDE arm under the same oracle and compare every agent against it.
著者のコメント
12 pages, 3 figures. Accepted to EMNLP 2026 Industry Track
arXiv ID: 2609.25237 ／ 要約の誤りについて