複数AIの作業で記憶を読み込むトークン費用を分解する
Total Cost of Agency: Exact Attribution of Memory Injection Cost in Multi-Agent LLM Workflows
この論文をやさしく読む
ひとことで言うと
複数のAIが情報を引き継ぐとき、記憶からプロンプトへ追加される文章がいくらかかるかを、総費用から分けて正確に数える方法です。
何に役立つ？
エージェントの費用を調べ、モデルを変更せずに検索する記憶の量を調整する判断に役立ちます。論文では実際のモデルAPIによる費用を測定しています。
この研究の面白いところ
費用の増加を当然に二次的と決めつけず、測定した深さでは線形だと報告します。費用を下げなかった変換や、構成上ゼロの費用項目も開示しています。
どこまで分かった？
結果は200課題と測定した深さの範囲に基づき、キャッシュありの料金は未評価です。28.7％減少したのは注入トークンで、総課金額ではありません。精度差がシード変動内であることは一般的な無劣化の保証ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
複数の大規模言語モデル（LLM）エージェントからなる作業フローの各ノードは、記憶から文脈を取得してプロンプトへ注入する。このトークンは、システムプロンプトや利用者の質問と同じ単価の入力トークンとして課金される。本番向けの観測ツールは総トークン費用を報告するが、ノードが生成するトークンと渡されるトークンを分けないため、費用を負担するチームにはこの内訳が見えない。 本研究では、複数エージェントの作業費用を、基本プロンプト、推論、記憶注入、ミスのペナルティ、文脈蓄積の要素へ分解するTotal Cost of Agency（TCA）を導入する。さらに、単語数による代用推定ではなく、注入トークンを直接測る、課金を伴わない2回のトークン計数による厳密な帰属方法を示す。 実際のモデルAPIで実行した200課題の企業業務ベンチマークでは、記憶注入はコンパイル時の最適化器が変更できる変動費の13.6％、全課金額の約12％を占める。その割合は、作業フローの深さ1では構造上ゼロだが、深さ6では27.6％へ上がる。注入トークンは測定範囲で深さに対して線形に増加する（深さ2〜6、R² = 0.9974）。二次式の当てはめでは最高次係数が負であり、これらの深さではデータは凸な増加を示さない。 モデルの等級を固定したまま、この費用要素を制御できることを示す。検索窓の容量を32項目から2項目へ減らすと、注入トークンは28.7％減少し、精度の変化は乱数シードによる変動範囲内に収まる。グラフ書き換え変換は単独ではほぼ費用中立であること、分解の5項目のうち2項目はこの評価環境の構成上ゼロであること、総費用はモデル等級の割当てに支配されることを、すべて報告する。モデル等級の割当ては固定し、既存研究として扱う。プロンプトキャッシュは評価しておらず、すべての数値はキャッシュなしの場合である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Every node in a multi-agent large language model (LLM) workflow retrieves context from memory and injects it into its prompt, where those injected tokens are billed as input tokens at the same per-token price as the system prompt and the user query. Production observability tools report total token cost but do not separate the tokens a node generates from the tokens it is handed, so this component of the bill is invisible to the teams paying it. We introduce the Total Cost of Agency (TCA), a decomposition of multi-agent workflow cost into base prompt, inference, memory injection, miss penalty and context-accumulation components, and an exact attribution method: a two-pass, non-billable token count that measures injected tokens directly rather than estimating them from word-count proxies. On a 200-task enterprise benchmark executed against real model APIs, memory injection accounts for 13.6 percent of the variable cost a compile-time optimizer can act on, about 12 percent of the full billed cost, and its share rises from a structural zero at workflow depth one to 27.6 percent at depth six. Injected tokens grow linearly with depth over the measured range (R^2 = 0.9974, depths two through six); a quadratic fit yields a negative leading coefficient, so the data do not exhibit convex growth at these depths. We show the component is controllable at fixed model tier: reducing the retrieval window capacity from 32 to 2 entries lowers injected tokens by 28.7 percent with an accuracy change within seed-level variation. We report in full that our graph-rewriting transforms are approximately cost-neutral in isolation, that two of the five decomposition terms are zero by construction in this harness, and that total workflow cost is dominated by model tier assignment, which we hold fixed and treat as prior work. Prompt caching is not evaluated; all figures are for the uncached case.
著者のコメント
8 pages, 3 figures, 6 tables. Code, data, and evaluation harness in github: https://github.com/vsingh45/tca-compiler
arXiv ID: 2609.23790 ／ 要約の誤りについて