LLM推論の待ち時間を予測してサーバー数を調整する
An Approximate Queueing Model of LLM Inference Serving for SLO-Driven Autoscaling
この論文をやさしく読む
ひとことで言うと
LLMの応答待ち時間を簡潔なモデルで見積もり、負荷に合わせてサーバー台数を増減させます。
何に役立つ？
最初の返答までの時間と、その後の出力間隔を目標内に保つ運用設計に役立ちます。台数を増やす費用と遅延目標の達成を合わせて見る必要があります。
この研究の面白いところ
三つのパラメータからプリフィルとデコードの混在を表し、実際のH100クラスタで制御まで試しています。比較手法は目標逸脱が多い一方、レプリカ数は少なく、資源との交換条件も示されています。
どこまで分かった？
近似はマルコフ性を仮定し、予測検証は軽負荷から中負荷の範囲です。提案制御でも127周期中7回は目標未達で、全周期での遅延保証ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
LLMサーバーの性能モデルは、遅延の評価に加え、サービス水準目標（SLO）に応じた自動スケーリング制御や推論最適化の設計に役立つ。本研究では、プリフィルとデコードを多重化して実行する様子を、マルコフ性の仮定の下で、扱いやすい近似待ち行列モデルとして表す。モデルとアクセラレータの組み合わせは、反復ごとの基礎的なオーバーヘッド、トークン当たりの計算コスト、トークン当たりのキーバリュー（KV）キャッシュアクセスコストという三つのパラメータで特徴付ける。 反復ごとの処理量の平均値解析と、バッチ内の占有数を表す状態依存マルコフ連鎖を組み合わせ、最初のトークンまでの平均時間（TTFT）とトークン間遅延（ITL）を予測する。測定値と照合して予測を検証し、観測された遅延から三つのパラメータを推定できることを示す。H100 GPU上で動作するLlama-3.1-8BとQwen2.5-14Bについて、軽負荷から中程度の負荷にわたる入力長・出力長・到着率の格子状の条件で評価した。平均ITLの相対誤差はそれぞれ約5％と8％で、対応するTTFTの誤差は14％と16％だった。 次に、このモデルを使って負荷変化に応じて推論サーバーのレプリカ数を調整する自動スケーリング制御器を実装した。H100 GPUからなるOpenShiftクラスタでは、二つの遅延目標を設定した下で4倍への負荷増加に追従し、127回の制御周期中7回でいずれかの目標を満たさなかった。制御ループ内の予測誤差の中央値は、TTFTで最大5％、ITLで最大9％だった。遅延目標を入力としない既存の自動スケーラーのデコード処理量分析器は、同じ制御器と負荷の下で128周期中27回、目標を満たさなかった一方、用意するレプリカ数は4％および28％少なかった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Performance models of LLM servers support both latency evaluation and the design of controllers for autoscaling against service level objectives (SLOs) and for inference optimization. We model the multiplexed execution of prefill and decode operations with a tractable, approximate queueing model under Markovian assumptions. Three parameters characterize a model-accelerator pair, namely a baseline per-iteration overhead, a per-token compute cost, and a per-token key-value (KV) cache access cost. The model combines a mean-value analysis of per-iteration work with a state-dependent Markov chain for batch occupancy to predict mean time to first token (TTFT) and inter-token latency (ITL). We validate these predictions against measurements and show that the three parameters can be estimated from observed latencies. Over a grid of input and output lengths and arrival rates spanning light to moderate load, the relative error of the average ITL is about 5% for Llama-3.1-8B and 8% for Qwen2.5-14B running on an H100 GPU, and the corresponding TTFT errors are 14% and 16%. We then implement an autoscaling controller that uses the model to adjust inference-server replica counts as the workload changes. On an OpenShift cluster of H100 GPUs it tracks a fourfold load ramp under both latency targets, missing one in 7 of 127 control cycles, and its in-loop predictions carry median errors of at most 5% for TTFT and 9% for ITL. A decode-throughput analyzer from an existing autoscaler, which takes no latency target, misses 27 of 128 cycles under the same controller and load while provisioning 4% and 28% fewer replicas.
著者のコメント
13 pages, 4 figures, 5 tables
arXiv ID: 2609.20957 ／ 要約の誤りについて