長期記憶を使うAIエージェントの評価基準DolphinBench
DolphinBench: Mapping the Pareto Frontier of Agent Memory
この論文をやさしく読む
ひとことで言うと
AIエージェントが長い会話履歴を使って仕事を完了できるかを、費用と時間も含めて測るベンチマークです。
何に役立つ？
記憶システムを選ぶ際に、正答率だけでなく費用と応答時間の兼ね合いを比較する用途が考えられます。特定の記憶方式の優位を実証した要旨ではありません。
この研究の面白いところ
各タスクを履歴ありと履歴なしの両方で試し、履歴が達成に必要な課題だけを採用しています。
どこまで分かった？
3種類の人物像、それぞれ約50万トークンの履歴と200件のタスクで構成されます。ほかの仕事や利用環境への一般化について、要旨は結果を示していません。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
現在のエージェントは、長期記憶や過去の文脈の想起に依存する現実世界の行動を取ることが多い。しかし、既存の記憶ベンチマークの多くは会話形式の質疑応答用に作られており、質問自体が何らかの事実を、しばしば具体的にどの事実を取り出すべきかまで示している。また、提出結果に正確さ以外を求めるベンチマークは少なく、記憶システムが高得点を得るために非現実的な費用や時間を費やせてしまう。著者らは、エージェントのタスク達成を通じて記憶を直接評価するDolphinBenchを提示する。このベンチマークは、知識労働を行う3種類の人物像を含み、それぞれについて約50万トークンのユーザーメッセージを収録し、その履歴に含まれる情報に依存するタスクでエージェントを評価する。各人物像につき200件のタスクについて、関連する履歴がある場合とない場合にエージェントを実行し、履歴があれば成功し、なければ失敗することを確認する。さらに、すべての評価で正確さとともに総費用と遅延時間の報告を求め、記憶システムを総合的に評価できるようにする。既存の記憶ベンチマークで、これら3つの要素をすべて組み合わせたものはない。データセットと評価コードはhttps://dolphinbench.aiで公開されている。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-22 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Agents today often take real-world actions that depend on long-term memory and context recall over time. However, most current memory benchmarks are built for a conversational question-answer format, where the question itself signals that some fact must be retrieved, and often which one. Moreover, benchmarks rarely require anything beyond accuracy from submissions, allowing memory systems to make unreasonable cost/time tradeoffs to achieve higher scores. We present DolphinBench, a benchmark that evaluates memory directly through an agent's task completion. DolphinBench includes three knowledge-work personas with roughly 500k tokens of user messages per persona and evaluates agents on tasks that depend on information from that history. We verify all 200 tasks per persona by running an agent with and without the relevant history, requiring success with it and failure without it. Finally, we require all evaluations to report total cost and latency alongside accuracy, which enables us to evaluate agent memory systems holistically. No existing memory benchmark combines all three. The dataset and evaluation code are available at https://dolphinbench.ai.
著者のコメント
6 pages, 2 figures
arXiv ID: 2609.24971 ／ 要約の誤りについて