LLMの入力処理と出力生成の余剰能力を融通するCrossflow
Crossflow: Prefill-Decode Elasticity for Agentic LLM Serving
この論文をやさしく読む
ひとことで言うと
LLM の入力処理と出力生成に割く計算資源を、需要の変化に合わせて融通する仕組み。
何に役立つ？
エージェント型 LLM サービスの計算資源を効率的に使う設計に役立つ可能性がある。要旨では公開・内部の処理記録で性能を比較している。
この研究の面白いところ
ノードの役割は変えず、decode ノードが短い許可を出して一部の prefill を受け持つ。静的な分離より処理量を幾何平均で16.2～17.4％増やした。
どこまで分かった？
結果は用いた処理記録と評価条件に基づく。ほかのクラスタ構成で同じ改善幅になるかは要旨からは分からない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル LLM の提供に必要な計算能力が学習に必要な能力を上回るようになり、提供効率がますます重要になっている。入力を処理する prefill と出力を生成する decode を分離すると、二つの段階を専門化し互いに隔離することで効率が上がるが、この利点は静的な資源分割に依存する。一方、各段階への需要は一定ではない。大規模な LLM 群では、キャッシュされていない入力トークンと出力トークンの比について、分単位でピークが平均の最大4.7倍になると観測した。公開されたエージェント処理の記録では、同じ一日の中で時間ごとの比の中央値に24.5倍の幅がある一方、レプリカの役割を再割り当てするには数十分かかる。エージェント型の通信はこの不一致をさらに強める。各処理群を需要の95パーセンタイルに合わせて確保すると、クラスタ能力の最大17％が未使用となり、それより小さくすると待ち行列と実現できない処理量が生じる。本研究は、ノードの役割を変えずに境界を柔軟にする Crossflow を提案する。各 decode ノードが短時間有効で取り消し可能な使用許可を公開し、その許可で当該ノードが担う prefill の計算、KV 容量、転送作業、予測される出力に上限を設ける。公開記録と内部記録での評価では、Crossflow は静的な分離に比べて、トークン処理量の幾何平均を16.2～17.4％高め、高負荷時には最大43.4％高めた。また評価したすべての点で、最初のトークンまでの平均時間 TTFT を短縮した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
As serving capacity demand surpasses that of training, serving efficiency becomes increasingly important. Prefill-decode (P/D) disaggregation improves serving efficiency through specialization and isolation of the two phases. These benefits rest on a static partitioning. Phase demand, however, is not static. We observe that in a large LLM fleet the ratio of uncached input to output tokens has peak-to-mean ratios up to 4.7x at minute timescales, and that in a public agentic trace the hourly ratio spans a median 24.5x within a single day, while reassigning a replica takes tens of minutes. Agentic traffic sharpens the mismatch. Sizing each pool at its ninety-fifth percentile leaves up to 17% of cluster capacity unused; sizing below it converts the same imbalance into queueing and unrealized throughput. We present Crossflow, which makes this boundary elastic without changing node roles. Each decode node publishes a short-lived, revocable lease that bounds local-prefill compute, KV capacity, transfer work, and projected output. Across public and internal traces, Crossflow improves token throughput by 16.2-17.4% on geometric mean over static P/D, and by up to 43.4% at high load, while reducing mean TTFT at every evaluated point.
arXiv ID: 2609.27085 ／ 要約の誤りについて