LLMの分離型推論で応答目標と費用に合わせて資源を配分
SARA: SLO-Aware Resource Allocation for Disaggregated Agentic LLM Services
この論文をやさしく読む
ひとことで言うと
LLMの入力処理、データ転送、文章生成を別々の資源で動かす際、応答時間の目標と予算を満たす配分を数理モデルで決める研究です。
何に役立つ？
長い入力を扱うLLMサービスで、目標を満たして処理できる仕事量を費用内で増やす用途が考えられます。シミュレーションだけでなく実機評価も報告されています。
この研究の面白いところ
平均時間だけでは捉えにくい遅い応答の側を、負荷分布の裾から扱います。処理段階ごとに異なる待ち行列モデルを用い、計算能力とメモリの役割を分けています。
どこまで分かった？
平均誤差5％未満と有効処理量26.6％改善は、報告された評価条件での結果です。要旨には個々の機器構成や負荷分布の詳細がなく、あらゆる運用で同じ改善幅になるとは分かりません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）の進歩により、クラウドとエッジ基盤を通じてモバイル利用者にマルチモーダルなサービスやエージェント型サービスを提供する動きが進んでいる。一方、長い文脈を扱う負荷は、推論遅延に大きな課題をもたらす。既存の分離型LLM提供システムは、主にハードウェアの性能計測、設定の列挙、ヒューリスティックなスケジューリングに依存しており、費用効率のよい資源配分に関する解析的な指針は限られている。 本論文では、分離型のエージェントLLM提供システム向けに、サービス水準目標（SLO）を考慮した資源配分の枠組みSARAを提案する。導入費用の制約と一連の分位点に基づくSLO制約の下で、有効処理量を最大化する。待ち行列理論を利用し、まず入力処理（prefill）、KVキャッシュ転送、復号（decode）の各段階を、それぞれM/G/k待ち行列、M/G/1待ち行列、一般化出生死滅過程としてモデル化する。解析により、prefillは主に計算能力、decodeは主に高帯域幅メモリ（HBM）資源に制約されることが分かる。 これらの数学モデルを使い、裾の軽い負荷と重い負荷の双方について、各段階のサービス水準指標の裾の振る舞いを扱いやすい形で導出する。この記述は、負荷、モデル構造、ハードウェアのパラメータを、段階別のSLO制約と最小資源要件に明示的に対応付ける。最後に、限られた費用予算の下でシステムの有効処理量を最大化する資源配分の枠組みを開発する。シミュレーションと実機での結果では、段階別SLOの予測の平均誤差は5％未満であり、同じ導入費用の下で、最先端の比較手法よりシステムの有効処理量が平均26.6％改善した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Recent advances in large language models (LLMs) are driving the emergence of multi-modal and agentic services for mobile users through cloud and edge infrastructures, where long-context workloads pose daunting challenges for inference latency. Existing disaggregated LLM serving systems largely rely on hardware profiling, configuration enumeration, or heuristic scheduling, offering limited analytical guidance for cost-efficient resource allocation. In this paper, we propose SARA, a Service level objectives (SLOs)-Aware Resource Allocation framework for disaggregated agentic LLM serving systems, which maximizes goodput under a deployment cost constraint and a series of quantile-based SLO constraints. By capitalizing on queuing theory, we first model the prefill, KV cache transfer, and decode stages as an M/G/k queue, an M/G/1 queue, and a generalized birth-death process, respectively. The analysis reveals that the prefill and decode stages are dominantly limited by computational capacity and high-bandwidth memory (HBM) resources, respectively. With these mathematical models, we further derive tractable tail behaviors of different stage-wise service level metrics for both light- and heavy-tailed workloads. These characterizations explicitly map workload, model architecture, and hardware parameters to stage-wise SLO constraints and minimum resource requirements. Finally, we develop an effective resource allocation framework to maximize system goodput under limited cost budgets. Simulation and hardware results demonstrate that the proposed framework accurately predicts the stage-wise SLO with mean errors below 5%, and improves system goodput by 26.6% on average over state-of-the-art baseline methods under the same deployment cost.
著者のコメント
17 pages, 12 figures
arXiv ID: 2609.26763 ／ 要約の誤りについて