MCPツールの分け方がエージェントの成功率に与える影響
MCP-GRANITE Benchmark: GRANularity Interface TEsting for MCP-Based LLM Agents
この論文をやさしく読む
ひとことで言うと
同じ機能でも、ツールを細かく分けるかまとめるかで、AIが正しく操作できる割合が変わることを調べています。
何に役立つ？
小型モデルを使う端末などで、モデルを大きくする以外の改善方法としてツールの分割を検討するために役立ちます。
この研究の面白いところ
機能の粒度を意図的に変え、最適な分け方の小型モデルが、分け方の合わない大型モデルを上回る例を示しています。
どこまで分かった？
4ツールが最良だったのはこの9分野81シナリオでの結果です。要旨の16.4%と33.6%は改善率表記で、パーセントポイントとは明記されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
LLMエージェントがMCPなどの標準化されたプロトコルを通じて外部ツールとやり取りする機会が増えるにつれ、ツールインターフェースの設計は重要だが十分に研究されていない要因となっている。機能をどのようにツールへ分割するかは、エージェントが正しいツールを選び、妥当な引数を構成できるかに影響する。この選択は、資源制約によってローカル実行できるモデルが限られ、モデルの大型化が選択肢にならないことも多いエッジ環境で、特に重要である。 本研究では、MCPベースのエージェントについて、ツールインターフェースの粒度を統制変数として扱い、エッジとIoTのシナリオで評価する、オープンソースで拡張可能なベンチマーク枠組みMCP-GRANITEを提示する。9分野の81の多段階シナリオを、細かい基本ツール群から単一ツールまでの4段階の粒度で具体化する。ローカルに配置した9モデル（2億6,800万〜209億パラメータ）を8,748試行で評価し、タスク完了、ツール選択F1、引数精度、遅延、資源使用量を測る。 結果では、4ツールのインターフェースが最も良いバランスを示し、タスク完了は細かい基本ツール群に対して16.4%、単一の巨大なツールに対して33.6%改善し、引数精度はほぼ2倍になった。モデルサイズとタスク完了の相関は弱く、遅延との相関は強かった一方、引数精度との関連はそれほど頑健ではなかった。最適な粒度で動く32億パラメータのモデルは、粒度が合っていない209億パラメータのモデルを上回った。これらの知見は、ツールインターフェースの粒度が、MCPベースのエージェントの重要な設計パラメータであることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
As LLM agents increasingly interact with external tools through standardized protocols such as MCP, tool-interface design becomes a critical yet underexplored factor. How fun{\psi}tionality is decomposed into tools affects whether an agent can select the right tool and construct valid arguments. This choice is especially consequential at the edge, where resource constraints limit which models can run locally and scaling up is often not an option. We present MCP-GRANITE, an open-source extensible benchmark framework that treats tool-interface granularity as a controlled variable for MCP-based agents, evaluated under edge and IoT scenarios. It comprises 81 multi-step scenarios across 9 domains, instantiated at 4 granularity levels from fine-grained primitive tools to a single tool. We evaluate 9 locally deployed models (268M-20.9B parameters) across 8,748 trials using task completion, tool selection F1, argument accuracy, latency, and resource-usage metrics. Results show that a 4-tool interface offers the best trade-off, improving task completion by 16.4% over fine-grained primitives and 33.6% over a single monolithic tool, while nearly doubling argument accuracy. Model size is only weakly correlated with task completion and strongly with latency, while its association with argument accuracy is less robust, and a 3.2B model at the optimal granularity outperforms a 20.9B model at a mismatched one. These findings identify tool-interface granularity as a key design parameter for MCP-based agents.
著者のコメント
Author copy of paper published at 34th International Symposium on the Modeling, Analysis, and Simulation of Computer and Telecommunication System (MASCOTS2026)
arXiv ID: 2609.24161 ／ 要約の誤りについて