共有AI推論の費用を利用者へ割り当てる際のずれを検証
Who Pays for the KV Cache? Attributing Shared AI Inference Spend Across Kubernetes and LLM Provider Bills
この論文をやさしく読む
ひとことで言うと
AIの費用を部署や利用者へ割り振るとき、請求データのつなぎ方や計測基準によって大きなずれが生まれることを調べています。未割当額が小さくても正しく配分できているとは限りません。
何に役立つ？
自社推論と外部APIを併用する環境で、二重計上、ページ取得漏れ、誤った所有者ラベルを点検する材料になります。共有GPUの費用配分ルールを選ぶ際の判断にも関わります。
この研究の面白いところ
合成の請求シナリオとH100での実測を分けて調べています。GPU使用率がほぼ一定でも電力は負荷に応じて変化し、同じ処理に対する負担割合もトークン基準と時間基準で変わりました。
どこまで分かった？
66%、61%、4%は作成した合成配備シナリオの値で、実際の請求の観測値ではありません。12〜14は負担割合のパーセントポイント差です。著者自身が、比較したどちらの配分基準も真の正解ではないとしています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
組織は、自己運用する推論のKubernetes費用割当、ゲートウェイログ、API提供者のトークン単位の請求という、互いにつながっていない台帳を通してAIの費用を支払っている。我々は、OpenCost、LiteLLM、OpenAI、Anthropicの費用データを一つの厳密な台帳へ統合し、所有者が割り当てられていない支出の割合を報告するオープンソースツールunallocを提示する。そしてこれを用い、システム間の接続部分で帰属付けがどこで崩れるかを研究する。5つの事例研究で推論を実行または模擬する。対象は、ページ方式のKVメモリとプレフィックスキャッシュを持つvLLM型配信シミュレータ、実際のKVキャッシュを持ち複数テナントのトレースを処理するPyTorch Transformer、torch.distributed上のテンソル・パイプライン並列推論、模擬プロバイダーAPIに対する無改変のCLI、そして四つの後段の利用例である。接続部分について、構成した複数Podの配備シナリオでは、LeaderWorkerSetのリーダーPodにだけ所有者ラベルを付けると、その配備のGPU請求の66%が所有者不明となった。これは実際に観測した請求ではなく、1か月分の合成OpenCost割当データである。自然な代替キーを使うと、請求の61%がHelmチャート名に割り当てられる一方、表面上の未割当比率は4%まで下がる。また、すべてのデータ源を有効にするとゲートウェイ支出の全額が二重計上され、請求APIの1ページだけを読むと支出の4分の1しか報告されない。共有推論サーバーの内部では、計測ルールが誰の負担になるかを決める。vLLMを実行するNVIDIA H100上で、トークン基準の計測は均等な時間配分基準の計測に比べ、検索の多いテナントに割り当てる請求比率を、試したすべての負荷で12〜14パーセントポイント多くした。一方、設定負荷が毎秒2〜16リクエストの範囲でGPU使用率は97〜99%を示し、消費電力は負荷に追随した。完了したリクエストは毎秒3.7〜26.9件であり、設定レートはセッションの最初の到着だけを数える。どちらの計測方法も真の正解ではない。我々はこれらの結果を、近年のShapley値に基づくエネルギー帰属の研究と対比して位置付ける。コード、生データ、取得した証拠、図、論文はリポジトリから再生成できる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Organizations pay for AI through disconnected ledgers: Kubernetes allocations for self-hosted inference, gateway logs, and per-token bills from API providers. We present unalloc, an open-source tool that joins OpenCost, LiteLLM, OpenAI and Anthropic cost data into one exact ledger and reports the share of spend with no owner, and use it to study where attribution breaks at the seams between these systems. Five case studies run inference for real or simulate it: a vLLM-style serving simulator with paged KV memory and prefix caching; a PyTorch transformer serving a multi-tenant trace with a real KV cache; tensor- and pipeline-parallel inference on torch.distributed; the unmodified CLI against mock provider APIs; and four downstream use cases. At the seams, in a constructed multi-pod deployment scenario -- one month of synthetic OpenCost allocations, not observed billing data -- owner labels set only on LeaderWorkerSet leader pods leave 66% of that deployment's GPU bill unowned, and the natural fallback key assigns 61% of it to a Helm chart name while the headline unallocated share falls to 4%; enabling every source double counts all gateway spend; and reading one page of a billing API reports a quarter of spend. Inside a shared inference server the metering rule decides who pays: on an NVIDIA H100 running vLLM, a token meter assigns a retrieval-heavy tenant 12-14 percentage points more of the bill than an equal time-share meter at every load tested, while GPU utilization reads 97-99% across configured loads of 2 to 16 requests per second (3.7 to 26.9 completed requests per second; the configured rate counts session-initial arrivals only) and power draw tracks load. Neither meter is a ground truth; we position these results against recent Shapley-based energy attribution. Code, raw data, captured evidence, figures and the paper regenerate from the repository.
著者のコメント
14 pages, 9 figures, 4 tables. Includes a validation run with vLLM on an NVIDIA H100. Code, data and reproduction scripts: https://github.com/timurista/unalloc. Software: doi:10.5281/zenodo.22761012. Use of generative AI is disclosed in the paper ("Use of AI tools")
arXiv ID: 2609.24991 ／ 要約の誤りについて