AIのツール使用評価に混ざる配信ソフトウェアの影響
Measuring the Serving Stack Instead of the Model: Hidden Confounds in Local Tool-Use Evaluation
この論文をやさしく読む
ひとことで言うと
AIがツールを使えなかったように見えても、実際にはモデルを動かすソフトウェアが推論前にリクエストを拒んでいる場合がある、という評価上の問題です。
何に役立つ？
ローカルAIのツール使用能力を比較する際に、モデルの失敗と配信層の拒否を分けて記録するために役立ちます。
この研究の面白いところ
入力形式をそろえることが常に公平になるとは限らず、ネイティブな呼出し機能を持つモデルには一律のテキスト方式が不利になる場合があります。集計単位だけでも推定値が大きく変わります。
どこまで分かった？
約55ポイントは集計法による推定値の差で、モデル能力の改善率ではありません。失敗メタデータが失われるという記述は著者らの評価基盤についてのものです。制約付き生成も、解析できる形式を保証することと処理の終了を保証することは別です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
コーディングエージェントが選んだ行動を評価基盤が実行するには、その前に、与えられたスキーマに従って解析可能な有効なツール呼出しをエージェントが出力しなければならない。本研究では、ローカルなモデル配信ソフトウェア構成がこのプロトコル上の段階にどう影響するかを調べ、測定結果がモデルの振る舞いだけでなく配信層にも依存し得ることを示す。Ollamaでは、標準のtools=を指定したリクエストの受付可否が、モデルごとの静的なテンプレートフラグで制御される。一部のモデルは受け付けられて呼出しをテキストで返し、一部はネイティブのtool_callsを返す一方、Phi-3とGemma-3は推論前に拒否される。 本研究の評価基盤では、拒否や再試行回数の使い切りが構造化された失敗メタデータとして残されない。そのため後段の分析がこれらをモデルによる未呼出しと誤分類し、単純に忠実度0％と報告してしまう場合がある。ネイティブの経路を残したままテキスト形式のツール一覧を追加すると、受付可能なモデルで測定される忠実度のかなりの部分が回復する。一方、統一したテキストプロトコルは、ネイティブなツール呼出しに対応するLlama-3.2の忠実度を下げる。Ollama、llama.cpp、vLLM、SGLangを横断した調査では、同じリクエストが異なる扱いを受けることが分かった。制約付きデコーディングは解析失敗をなくすが、処理が終了しない状態を誘発し得る。また、ターンをまとめた推定値と事例ごとの推定値には最大約55ポイントの差がある。最後に、配信層の振る舞いを評価プロトコルの一部として扱うためのチェックリストを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
A coding agent must emit a valid tool call--a parseable invocation of a tool in the provided schema--before the harness can execute its chosen action. We study how local serving stacks affect this protocol step and show that measured outcomes can depend on the serving layer rather than model behavior alone. In Ollama, the default tools= request is gated per model by a static template flag: some models are accepted and return calls as text, some return native tool_calls, while Phi-3 and Gemma-3 are rejected before inference. In our harness, rejection and retry exhaustion are not preserved as structured failure metadata, so downstream analysis can misclassify them as model non-calls and naively report 0% fidelity. Adding a text tool list while retaining the native channel recovers much of the measured fidelity for accepted models, whereas a uniform text protocol reduces fidelity for Llama-3.2, which has native tool-call support. Cross-stack probes on Ollama, llama.cpp, vLLM, and SGLang show different handling of the same request. Constrained decoding removes parse failures but can induce non-termination, and turn-pooled versus per-instance estimates differ by up to about 55 points. We conclude with a checklist for treating serving behavior as part of the evaluation protocol.
著者のコメント
9 pages, 4 figures, 3 tables. Accepted at the 2nd Workshop for Research on Agent Language Models (REALM) @ EMNLP 2026
arXiv ID: 2609.26693 ／ 要約の誤りについて