ツールの進捗報告でAIの応答待ちを短くする
Ask the Tool, Don't Guess: Agent Tool Calls Hold Their Progress, and the Serving System Should Read It
この論文をやさしく読む
ひとことで言うと
ツールが終わる時刻を外から予想する代わりに、ツール自身の進捗をGPUメモリ管理へ伝える。
何に役立つ？
ツール待ちの多いAIエージェントで、キャッシュの退避・復帰を調整し、待ち時間を減らす設計に役立つ。
この研究の面白いところ
エージェントの回答や見える情報を変えず、実行基盤へ少量の進捗信号を渡すだけで改善を得ている。
どこまで分かった？
約20%の改善はツール呼び出し後のTTFTの90パーセンタイルについて、LRUと比較した値である。リクエスト全体の所要時間が一律に20%減ることを意味しない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
エージェントへのリクエストでは、実時間のかなりの部分をツール待ちに費やし、その間ずっとKVキャッシュがGPUメモリを占有する。推論提供システムは、ツール名、過去の実行履歴、呼び出し前に宣言された所要時間、あるいはエンジン自身の占有状況からツールの実行時間を推測し、キャッシュを残すか、退避するか、戻すかを決める。本研究は、呼び出し開始前に固定された推定では、その所要時間を知ることはできず、呼び出しの長短の順位すら正しく付けられない場合があることを示す。その一方、実行中のツールはすでに答えを持っているのに、エージェントのソフトウェア構成とツールがその情報を表に出していない。 そこで、ツール呼び出しが実行中に進捗を明示的に報告する方法を提案し、その実現に必要なものを測定する。公開されている四つのエージェント・コーパスを調査すると、情報を露出させれば、ツール実行時間の大半で読み取れる信号があることが分かった。信号には、残作業の割合と、終了が近いことを正確に知らせる信号という二つの強さがある。実行支援環境は、エージェントから見える内容を変えずにこの信号を取り出し、ベンチマークスコアに測定可能な悪化を与えない。 KVキャッシュについて判断する時点では、報告された進捗は既報の最良の予測器より数倍から1桁高い精度を持ち、環境が変わっても精度を維持する。少数の小さなヒントを通じて本番用エンジンに組み込むと、LRUに比べてツール呼び出し後の最初のトークンまでの時間（TTFT）の90パーセンタイルを、HBMのみの場合に20.7%、HBMとDRAMを併用する場合に20.8%短縮し、真の情報を知る理想的な方式に近づいた。推論提供システムは、ツールが知らせられることを推測すべきではない。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
An agentic request spends substantial wall-clock time waiting for tools, and its KV cache holds GPU memory the whole time. Serving systems decide whether that cache stays, leaves, or comes back by guessing how long the tool will run, from the tool's name, its history, a duration declared before the call, or the engine's own occupancy. We show that no estimate fixed before a call starts can know its duration, and such estimates may not even rank the calls. Meanwhile, the running tool already holds the answer, but the agent stack together with the tool silences it. We propose that tool calls report their progress explicitly while they run, and we measure what that takes. A census of four public agent corpora finds a readable signal in most tool time once it is revealed, in two strengths: a fraction of the work remaining, or an accurate signal that the end is near. A harness recovers it without changing what the agent sees, at no measurable cost to the agent's benchmark score. At the points where a KV cache decision is made, the reported progress is between several times and an order of magnitude more accurate than the best published predictors, and it stays accurate when the environment changes. Plugged into a production engine through a few small hints, it cuts the p90 time to first token (TTFT) after a tool call by 20.7% (HBM only) and 20.8% (HBM + DRAM) against LRU, close to an oracle. A serving system should not guess what its tools can tell it.
arXiv ID: 2609.18849 ／ 要約の誤りについて