GPUメモリを保持してLLM推論を高速復旧する
Fast Recovery for LLM Serving via Decoupled Device Memory Lifetime in Dynamo
この論文をやさしく読む
ひとことで言うと
推論サーバーの障害時にGPUメモリ上の初期化済み状態を再利用し、復旧時間を短くする方式。
何に役立つ？
長期間稼働するLLM推論サービスの停止時間と、復旧に備える余剰GPUの必要量を評価するのに役立つ。
この研究の面白いところ
18週間の障害記録でGPU状態が残る障害が多いと確認し、その性質に合わせてメモリ所有をプロセスから切り離した。4モデルで7秒未満の復旧を測定した。
どこまで分かった？
79％のGPU時間回収は運用記録を再生した推定である。測定はvLLMとSGLang上の4モデルに関するもので、すべての障害でGPU状態が残るわけではない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデルの推論用レプリカは密接に連携する複数のGPU上で何週間も継続稼働するため、ハードウェアやソフトウェアの障害は避けられず、一つのワーカーの障害がレプリカ全体を妨げ得る。重みとコンパイル済みの成果物をキャッシュしていても、エンジンの再初期化には数分かかり、実運用ではこの時間を隠すため余分な処理能力を用意する。本研究は主な損失を進行中のリクエストではなく、すぐに処理できる能力の喪失と捉え、初期化済みの状態を作り直さず保持する Dynamo の高速復旧方式を示す。スナップショットで初期化済みエンジンを一度保存し、再初期化の代わりに復元する。Dynamo クラスタの18週間の障害分析では、多くの障害はエンジンのプロセスが停止してもGPUとそのメモリ割り当てが残る種類だった。そこで、プロセスごとの変更可能な実行状態は独立させつつ、同じGPU上の状態を別のエンジンが再利用する。GPU Memory Service はデバイスメモリの所有をエンジンのプロセスから切り離し、残った割り当てをコピーせずに共有・再接続可能にする。モデルの重みを保持し、代替エンジンと Shadow Engine 間で読み取り専用として共有して再読み込みを避ける。同じGPU上で二つ目の初期化済みランタイムを用意すれば、復旧はその昇格で済む。vLLM と SGLang 上の4モデルでは、故障したレプリカを7秒未満で復旧し、ウォーム再起動より13～29倍速かった。追加のデバイスメモリはモデルサイズによらずGPU当たり4～8 GiBに固定される。運用時の障害記録を再生した推定では、復旧で失われたGPU時間の79％を取り戻せる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large language model (LLM) inference replicas run across tightly coupled GPUs and serve traffic continuously for weeks. Hardware and software failures are therefore inevitable, and one worker failure can disrupt an entire replica. Recovery requires reinitializing the engine, taking minutes even when weights and compilation artifacts are cached. Production deployments overprovision serving capacity to mask this window. We argue that the dominant cost is loss of ready serving capacity, not request progress, so recovery should preserve initialized engine state rather than reconstruct it. We present fast recovery for Dynamo based on this principle. Snapshots capture an initialized engine once and restore it instead of reinitializing it. Analysis of 18 weeks of failures from the Dynamo cluster shows that most failures are device-preserving: the engine process fails while the GPU and its resident allocations remain intact. Our key insight is that independent engine processes can reuse the same GPU-resident state while keeping mutable execution state private. The GPU Memory Service (GMS) decouples device-memory ownership from engine processes, enabling engines to share and reattach surviving allocations without copying them. GMS preserves model weights and shares them read-only between replacement and Shadow Engines, avoiding weight reloads. A second initialized runtime on the same GPUs reduces recovery to promotion. Across four models on vLLM and SGLang, these mechanisms recover a failed replica in under 7 seconds, 13-29 times faster than a warm restart, using a fixed 4-8 GiB of device memory per GPU independent of model size. Replaying the production trace, we estimate they would reclaim 79% of GPU-hours lost to recovery.
著者のコメント
16 pages, 12 figures. Open-source implementations: https://github.com/ai-dynamo/dynamo and https://github.com/ai-dynamo/snapshot
arXiv ID: 2609.25451 ／ 要約の誤りについて