長期作業でのエージェントの判断力を測るTaste-Bench
The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks
この論文をやさしく読む
ひとことで言うと
長い作業の途中でどちらへ進むかという判断を測るベンチマークを作り、学習で改善できるか調べた研究です。
何に役立つ？
エージェントの最終的な成功だけでなく、途中の意思決定を評価する方法として役立ちます。要旨ではソフトウェア作業での成功率向上も報告しています。
この研究の面白いところ
実行履歴から判断の分岐点を自動抽出し、分岐後の結果を見せずにモデルへ選択させます。最良モデルでも正答率は59.7%でした。
どこまで分かった？
「taste」は本研究で定義した長期判断能力を指します。結果は構築したベンチマークと指定された作業での評価で、すべての研究判断を測れるとは要旨にありません。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデルのエージェントは長期にわたる作業を担うことが増えており、どの仮説を試すか、どの実装を土台にするかといった途中の判断が実行全体の結果を決める。こうした判断を適切に行う能力は、工学や研究のエージェントにとって重要になっている。本研究は、長期作業で良い判断を行う能力をエージェントの「taste」と呼ぶ。従来のベンチマークは長期作業全体の成功を測るが、この判断力自体は測っていない。そこで、工学と研究の作業中にエージェントが生み出した実行履歴から、判断に関する問題を自動生成するTaste-Benchを作った。各問題では、複数の方向へ進め、そのうち一つがより良い結果につながる分岐点を提示し、評価対象モデルには分岐後に何が起きるかを見せずに進路を選ばせる。同じ作業への並行した試行と、一つの実行履歴内での回り道から分岐点を自動抽出し、人手の注釈は必要としない。先端モデルの評価では、最良のモデルでも正答した問題は59.7%だった。また、判断に必要な証拠が実行履歴の後半に現れる分岐はどのモデルにもはるかに難しく、推論の予算を増やしても正答率は改善しなかった。最後に、この判断力は学習可能であることを示す。結果を知る教師の判断を生徒モデルへ蒸留すると、生徒は未見の作業でより良い判断を下し、評価から除いたSWE-bench Proの課題でも作業全体の成功率が向上した。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-23 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
LLM agents increasingly work on long-horizon tasks, and the decisions they make along the way, such as which hypothesis to test or which implementation to build on, determine the outcome of the whole run. Making these decisions well is becoming a key capability for both engineering and research agents. We refer to the ability to make good long-horizon decisions as the taste of an agent. While existing benchmarks measure the end-to-end success of agents on long-horizon tasks, none of them measures the taste of an agent. To address this problem, we build Taste-Bench, a benchmark of taste questions constructed automatically from trajectories that agents produced in engineering and research tasks. Each question presents a decision fork, a point in a trajectory where multiple directions are available and one of them leads to a better outcome, and the evaluated model chooses among these directions without seeing what happens after the fork. We mine these forks automatically from parallel attempts at the same task and from detours inside a single trajectory, without needing human annotation. We evaluate frontier models on Taste-Bench and find that the best model answers only 59.7% of the questions correctly. We further find that forks whose deciding evidence appears later in the trajectory are much harder for every model, and that a larger reasoning budget does not improve the accuracy. Finally, we show that taste can be trained. We distill the judgment of a teacher that has seen the outcome into a student model, and the student makes better decisions on unseen tasks and improves end-to-end success on held-out SWE-bench Pro tasks.
著者のコメント
33 pages, 8 figures. Code: https://github.com/wbopan/tastebench. Dataset: https://huggingface.co/datasets/wenbopan/taste-bench
arXiv ID: 2609.25804 ／ 要約の誤りについて