小型言語モデルのDB作業を妨げるのは推論力だけか
What Stops a Small Language Model From Driving a Database Agent
この論文をやさしく読む
ひとことで言うと
小さなモデルがデータベース作業に失敗しても、原因はモデルの推論力とは限らないと、本番ログとサーバー修正で調べた研究です。
何に役立つ？
データベースエージェントの失敗を診断するときに、ツール引数の規則やメモリ設定も調べる必要があるかを判断する材料になります。実際にサーバー欠陥を修正して評価しています。
この研究の面白いところ
引数を記録しない通常ログでは見えなかった矛盾が、引数を確認すると発見されました。モデルを変えずにサーバー側だけを直して結果が変わった点が重要です。
どこまで分かった？
75.7%は少なくとも一度ツールを使った失敗の割合で、すべてがサーバー原因という意味ではありません。失敗分類の順位はモデル単位の再標本化で安定しきらず、著者もこのコーパス固有としています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
小型のオープンウェイト言語モデルがエージェントとしてデータベース作業に失敗するのは、それに必要な推論能力がないからだと想定されている。本研究では、その想定を本番システムで検証する。11日間にわたり、ローカルで稼働させた39のオープンウェイトモデルと、ホスト型の対照モデル一つを用いて、オープンソースSQLクライアントのエージェントモードを六つのタスク領域で実行した。実行は8,199回、台帳イベントは110,711件、拒否されたツール呼び出しは14,008件だった。モデルに帰属させたエージェントモードの失敗2,100件のうち、1,590件、すなわち75.7%は、少なくとも一つのツールを呼び出した実行から生じた。実行単位ではなくモデル単位で再標本化しても、この多数派という結果は保たれる。クラスタ再標本化の99.7%で成立し、失敗が20件以上ある22モデルのうち15モデルでも成立した。 このコーパスでは、ツールを使ったのに成果物を最後まで届けられなかった「伝達」が36.2%で最大の分類となり、ツールを一度も呼び出さなかった「能力」が17.3%で最小だった。ただし、モデルでクラスタ化すると、この順序が成立するのは再標本化の74.5%にとどまるため、一般的な知見ではなく、このコーパスの性質として報告する。伝達の失敗は、少数の機械的な引数形式の問題へ分解できる。本番台帳は拒否コードを記録するが、モデルの引数は一切記録しないため、これらは10日間見えなかった。引数を取得すると五つのサーバー欠陥が明らかになった。その一つは、あるツールでは必須のフィールドを、それを組み込む関連ツールでは禁止し、その欠落を理由に実行を失敗させるものだった。モデル、プロンプト、サンプリング設定には一切手を加えず、サーバーを五か所変更すると、六モデルで30評価セルのうち6から21セルに変化が生じた。 また、本研究を含む公開済みのローカルモデル・ベンチマークに影響すると考える交絡要因も報告する。コンテキスト上限を設けなかったところ、7.1 GBのあるモデルが全262,144トークンのウィンドウで受け入れられ、64 GBのマシンで51 GBを占有した。その実行は、通常のログではモデルのタイムアウトと見分けがつかなかった。コーパス、採点器、および全ての図を再生成する検証器を公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Small open-weight language models are assumed to fail at agentic database work because they lack the reasoning capacity for it. We test that against a production system. Over eleven days we drove the agent mode of an open-source SQL client with 39 open-weight models served locally and one hosted control, across six task surfaces: 8,199 runs, 110,711 ledger events, 14,008 refused tool calls. Of the 2,100 model-attributed agent-mode losses, 1,590, or 75.7%, came from runs that had invoked at least one tool. That majority is what survives resampling models rather than runs: it holds in 99.7% of clustered resamples and in 15 of the 22 models with at least twenty losses. Within it, transport, a run that used the tools and never got a deliverable through, is the largest class at 36.2% and capability, a run that invoked no tool at all, the smallest at 17.3%; we report that ordering as a property of this corpus rather than a general finding, since clustered by model it holds in only 74.5% of resamples. Transport failures decompose into a few mechanical argument shapes. Production ledgers record refusal codes and never the model's arguments, so these were invisible for ten days; capturing them exposed five server defects, one of which demanded a field on one tool, forbade it on the sibling that composed it, then failed the run for its absence. Five server changes, touching no model, prompt or sampling setting, moved six models by 6 to 21 cells out of 30. We also report a confound we believe affects published local-model benchmarks, ours included: with no context cap, one 7.1 GB model was admitted at its full 262,144-token window and held 51 GB on a 64 GB machine, producing runs indistinguishable in any ordinary log from a model timing out. The corpus, the scorer and a verifier that regenerates every figure are released.
著者のコメント
16 pages, 8 tables. Dataset, scorer and a verifier that regenerates every figure: https://doi.org/10.57967/hf/10485
arXiv ID: 2609.21341 ／ 要約の誤りについて