端末内ツール選択と対応不能の判断を分けて評価する
Selection Is Retrieval, Abstention Is Not: On-Device Tool Routing over 70 Korean-English Actions
この論文をやさしく読む
ひとことで言うと
端末で使える機能を選ぶことと、対応できる機能がないと判断することを別々に調べ、軽い検索とニューラルモデルの役割を分けています。
何に役立つ？
オフラインの音声・AIアシスタントで、メモリや遅延を抑えつつ、不適切な機能を無理に実行しないルーターを設計する参考になります。
この研究の面白いところ
検索は必ず一番近い候補を返しますが、それが有効な候補とは限りません。候補選択の精度だけでは見えない、棄却判断の難しさを数値化しています。
どこまで分かった？
評価は韓国語・英語600要求と70動作です。七候補への制限で得た0.825は70候補そのままの成績とは異なります。ニューラル要素が必要という結論はこの比較設定に基づきます。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ツールを呼び出すAIアシスタントは、要求ごとに、どのツールを使うかと、利用可能なツールに適用できるものがあるかという二つの判断を行う。通常は一つの言語モデルが、呼び出しを出力するか出力を控えることで両方を担う。サーバーなしで応答する端末では、この言語モデルがルーターの遅延とメモリを支配し、設計を高コストにする。一般的な代替策は、モデルを完全に外し、検索器でローカル動作のカタログを順位付けすることである。しかし、この置換は二つの判断に対して対称ではない。検索器はあらゆる入力に最高スコアの候補を返し、カタログに有効な動作がないことを示せない。以前の研究では、デコーダーをツール文法に制約すると不正な出力は修復できるが、選択は改善しなかった。この置換が各判断にもたらす損失は測定されていなかった。 本研究では、韓国語と英語の600件の要求と70種類のローカル動作のカタログで、二つの判断を別々に評価する。ルーターは、不足しているスロット情報を尋ねる、返答する、または処理を委譲することもできる。カタログ内の要求の半数はカタログの語彙を再使用し、残り半数は言い換えることで、語彙の重複と要求された動作を分ける。 文字3-gramのBM25は、語彙が一致する164件中162件、言い換えの166件中85件を正しく選択する。候補を七つに限定すると、言い換えの成績は5試行の平均で0.825に上がる。そのスコア特徴を用いるどの分類器も、カタログ内外の識別で曲線下面積0.697を超えない一方、凍結したエンコーダーmultilingual-e5-baseは0.806に達する。このエンコーダーを選択の棄却判断だけに使うと、376件を端末内で処理し、委譲を要する150件のうち9件を誤って振り分ける。ニューラル要素が必要なのは、選択よりも棄却である。ニューラル順位付け器はすべての品質指標を改善するが、精度ではなく遅延とメモリを理由に採用しない。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
An AI assistant that calls tools makes two decisions on every request: which tool to invoke, and whether any available tool applies. In the usual design a single language model makes both, by emitting a call or by declining to emit one. On a device that has to answer without a server, the language model is what makes that design expensive, dominating both the latency and the memory of the router. The common alternative is to remove the model completely and rank the catalog of local actions with a retriever instead. That substitution is not symmetric across the two decisions. A retriever returns its highest-scoring candidate for every input and cannot signal that the catalog holds no valid action. Our earlier study found that constraining a decoder to a tool grammar repairs malformed output without improving the choice. What the substitution costs in each decision has not been measured. We evaluate the two decisions separately over 600 Korean and English requests and a catalog of 70 local actions. The router may also ask for a missing slot, reply, or delegate. Half the in-catalog requests reuse catalog vocabulary and half paraphrase it, separating lexical overlap from the action requested. Character 3-gram BM25 selects 162 of 164 lexically matched requests and 85 of 166 paraphrases. Restricting the candidate set to seven raises the paraphrase figure to a mean of 0.825 over five trials. No classifier over its score features separates in-catalog from out-of-catalog above 0.697 area under the curve, where the frozen encoder multilingual-e5-base reaches 0.806. Using that encoder for abstention alone keeps 376 of the requests local and misroutes 9 of the 150 needing delegation. Abstention, not selection, is where a neural component is required. A neural ranker improves every quality metric and is rejected on latency and memory rather than accuracy.
著者のコメント
12 pages, 4 figures, 13 tables
arXiv ID: 2609.18672 ／ 要約の誤りについて