CAR-benchで道具呼び出しを減らすコルーチン方式
Policy as Code: A Coroutine-Bridge Harness for Fast-Reasoning Reliability on CAR-bench
この論文をやさしく読む
ひとことで言うと
道具を何度も使う課題で、プログラムを途中停止・再開させ、モデルを毎回呼び直す回数を減らすエージェントの仕組み。
何に役立つ？
依存する道具呼び出しが多いエージェントで、応答時間とモデル呼び出し費用を抑える設計の参考になる。
この研究の面白いところ
道具の往復をプログラム側で処理し、決定的な方針も道具層に実装した。公開テストでは中央値7ターンに対しモデル呼び出し2回だった。
どこまで分かった？
性能値はCAR-benchの公開・非公開評価と記載されたモデル環境に関するもの。他のベンチマークでも同じ遅延や成功率になるとは要旨から分からない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
CAR-benchは、道具を使うエージェントが現実の不確実性の下でも確実に動くかを評価する。各道具は評価器内で実行されるため、結果を受け取るたびにエージェントとの往復が発生する。従来の次の行動を逐次決めるエージェントは並行可能な道具呼び出しをまとめられるが、依存関係のある連続した呼び出しでは、結果を受け取るたびにモデルを1回呼ぶ必要がある。 本研究は、モデルが出す行動をPythonプログラムだけに限定し、そのプログラムが評価器との道具交換をまたいで同じ場所で停止・再開する、コルーチン橋渡し方式を提示する。これにより、モデル呼び出しと道具の往復を切り離す。公開テスト分割では、1課題当たりの中央値がエージェントの7ターンに対してモデル呼び出し2回で、Cerebras上のgpt-oss-120bでは複数ターンの課題全体をモデル遅延の中央値1.8秒で解いた。行動が実行可能なコードなので、CAR-benchの決定的な方針はプロンプト規則ではなく道具層の論理として直接記述でき、推論コストなしで順守させられる。 公式の非公開評価では、Track 2でPass³が60.0%となって優勝し、主催者の基準法の4.5倍だった。推定コストは最低で、基準法を上回った参加手法の中では課題遅延の中央値が最短の3.14秒だった。同じ仕組みを変更せずGPT-5.5でOpenトラックに使っても、Pass³が同じ60.0%となり、最先端モデルを用いるエージェントに並んだ。各課題の状態だけを末尾に加える単一の固定プロンプトは、呼び出し間・課題間でバイト単位で同一に保たれた。提出時の固定プロンプトでは入力トークンの78%、十分に利用された末尾部分では86.6%がキャッシュから供給された。一方、3週間の開発用コーパスでは、プロンプトの編集が繰り返しキャッシュをリセットしたため73%だった。少ない呼び出し回数とキャッシュ利用によって、名目上の入力計算量の小さな一部で処理できる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
CAR-bench evaluates whether tool-using agents stay reliable under real-world uncertainty, executing every tool inside the evaluator so that each tool-result exchange is a separate agent round-trip. A conventional next-action agent can batch parallel tool calls, but a chain of dependent calls costs it one model call per round of results. We present a coroutine-bridge harness in which the model's only action is to emit a Python program that blocks and resumes in place across evaluator tool exchanges. This decouples model invocation from tool round-trips: on the public test split the agent uses a median of two model calls against seven agent turns per task, resolving a full multi-turn task in a median of 1.8 s of model latency on Cerebras gpt-oss-120b. Because the action surface is executable code, deterministic CAR-bench policies are encoded directly as logic in the tool layer rather than as prompt rules, enforcing compliance at zero reasoning cost. On the official hidden evaluation the harness won Track 2 with 60.0% Pass^3, 4.5x the organizer baseline, at the lowest estimated cost and the fastest median task latency (3.14 s) of any entry scoring above that baseline; the same unchanged harness reproduced an identical 60.0% Pass^3 on GPT-5.5 in the Open track, matching frontier-model agents. A single static prompt, appended with per-task state at the tail, stays byte-identical across calls and across tasks: the frozen submission prompt served 78% of input tokens from cache (86.6% across its warm tail), against 73% over a three-week development corpus in which prompt edits repeatedly reset the cache. This compounds the few-call design into a small fraction of nominal input compute.
著者のコメント
4 pages, 1 figure, 3 tables. Technical report for the winning entry in Track 2 (Cerebras Fast-Reasoning) of the CAR-bench Challenge at IJCAI-ECAI 2026
arXiv ID: 2609.29251 ／ 要約の誤りについて