複数AIモデルがGPUを共有するときの処理能力を再配分
Cross-Model Autoscaling for Shared LLM Serving
この論文をやさしく読む
ひとことで言うと
複数のAIモデルでGPUを共有するとき、混雑しているモデルへ処理能力を移す仕組みです。
何に役立つ？
共有GPU基盤で、モデルごとの遅延目標を保ちながら資源を割り振る設計に役立ちます。
この研究の面白いところ
需要で正規化したトークン処理量で異なるモデルの不足を比較し、緊急対応と継続的な再配分を分けています。
どこまで分かった？
改善率は七つの提供トレースと、同一基盤上の指定された比較手法に対するものです。すべての運用環境での遅延を保証するものではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
複数モデルの大規模言語モデル提供は、同居するモデルが固定されたGPU予算を取り合う共有型のサービス基盤へ移りつつある。各モデルには時間とともに変わる需要があり、それぞれの遅延に関するサービス目標を満たす必要がある。既存の自動スケーリングは主にモデル単位で、得られる信号は個々の実行状況か遅れて判明する遅延の結果を示し、増強や資源確保の判断も競合するモデル間で共有能力をどう割り振るかを直接決めない。そこで、モデルを素早く切り替える複数モデル提供のための制御基盤Token-service-share Rebalancing Engine（TRE）を提示する。TREは、需要で正規化して調整した信号Token Service Share（TSS）を導入する。これは実行中または待機中の各要求が実際に受けられるトークン処理量を見積もり、異なるモデルやサービス目標の間で比較可能な状態指標を作る。TSSを基に、固定GPU予算内で資源の受け手と提供側の間の移動量に上限を設けて調整し、緊急の救済とより遅い再配分を分け、処理能力の不足が最も大きいモデルへ稼働中の複製を段階的に移す。推論のスケジューラーを変更せず、Kubernetes上のモデル切り替え可能な提供基盤にTREを実装した。七つの大規模言語モデル提供のトレースにわたり、同じ実行基盤上の先進的なKVキャッシュ利用の反応型自動スケーラーと比較して、要求完了までのP95遅延を11.9～79.0％、P99遅延を12.5～72.6％削減した。狙いを定めた高負荷試験と、本番環境に由来する会話・コードのトレースの両方で改善が見られ、後者ではP95/P99遅延をそれぞれ50.8/63.7％、79.0/72.6％削減した。これらの結果は、効果的なモデル切り替え型の自動スケーリングには、複製の迅速な切り替えだけでなく、調整済みの処理不足信号とモデル間の協調した資源配分が必要であることを示す。コードと関連資料は要旨記載の場所で公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Multi-model LLM serving is moving toward shared MaaS clusters, where co-hosted models compete for a fixed GPU budget while each model experiences time-varying demand and must satisfy its own latency SLO. Existing LLM autoscalers remain largely model-local: their signals expose local runtime activity or delayed latency outcomes, and their scale-up or provisioning decisions do not directly determine how shared capacity should be allocated across competing models. We present the Token-service-share Rebalancing Engine (TRE), a control-plane framework for hot-switched multi-model LLM serving. TRE introduces Token Service Share (TSS), a calibrated, demand-normalized signal that estimates effective token service per active or queued request and yields a comparable health score across heterogeneous models and SLO classes. Guided by TSS, TRE coordinates bounded receiver--donor capacity movement under a fixed GPU budget: it separates fast rescue from slower rebalancing and incrementally reallocates active replicas toward models with the largest calibrated service deficits. We implement TRE on a Kubernetes-based hot-switch serving stack without modifying the inference scheduler. Across seven LLM serving traces, TRE reduces P95 end-to-end latency by 11.9--79.0\% and P99 latency by 12.5--72.6\% compared with a state-of-the-art KV-cache-based reactive autoscaler running on the same hot-switch runtime. The gains hold on both targeted stress probes and production-derived conversation/code traces, where TRE reduces P95/P99 latency by 50.8/63.7\% and 79.0/72.6\%, respectively. These results show that effective hot-switched autoscaling requires not only fast replica actuation, but also calibrated service-deficit signals and coordinated cross-model capacity arbitration. Our code and artifacts are available at https://github.com/zxzx9898/Token-service-share_Rebalancing_Engine.
著者のコメント
11 pages, 6 figures
arXiv ID: 2609.29160 ／ 要約の誤りについて