ロボット用VLAモデルのGPU並列実行を改善するKerColle
KerColle: Unlocking Fine-Grained GPU Concurrency in Vision-Language-Action Models
この論文をやさしく読む
ひとことで言うと
複数ロボットから届く推論要求をGPUで処理するとき、視覚言語処理と行動生成がGPU資源をうまく分け合うよう、カーネルの実行順を調整します。
何に役立つ？
複数のVLA推論を並行処理する基盤で、GPUの空き資源を減らし、単位時間あたりの処理件数を増やす設計に役立ちます。
この研究の面白いところ
短時間のカーネルが多く、組合せも常に変わるため、事前の固定計画や重い実行中分析が難しい点に着目しています。現在のSM利用率と必要資源で割当てを判断します。
どこまで分かった？
最大28％は2種類のGPUアーキテクチャと4モデルでのシミュレーション結果です。実機ロボットでの制御性能や、すべての要求での遅延改善を実証したとは要旨に書かれていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
視覚・言語・行動（VLA）モデルは、次世代ロボティクスの基盤モデルとして登場している。ロボットの制御周期の要求を満たすには、VLA推論の高いスループットが重要である。VLAモデルは、視覚言語モデル（VLM）と行動ヘッドという2段階からなり、独立したロボット要求どうしでは、これらを切り離して非同期かつ並行に実行できる。4つの最先端VLAの詳細な特性評価を通じ、GPUの協調スレッド配列（CTA）スケジューラが、この独立した2段階を十分重ねて実行できないため、VLA推論でGPUが著しく低利用率となることを観測する。この非効率性の原因は、ハードウェアのスレッドブロック・ディスパッチャでの先頭詰まりであると特定する。 従来のスケジューリング枠組みではVLAの並行実行がもたらす課題に対応できないことを示す。第一に、異なるロボット要求の独立した各段階は多数のカーネルで構成され、どの時点でも並列実行されるカーネルの組合せが変わる。そのため静的、あるいは事前に決めるスケジューリング方針はほとんど有効でない。第二に、行動ヘッドの演算には実行時間の短いカーネルが多く、その個数も多い。このため、オンラインでのプロファイリングやプリエンプションに基づく機構を使う余地がない。 これらに対処するため、軽量なGPUスケジューリング枠組みKerColleを提案する。オンラインのストリーミングマルチプロセッサ（SM）利用率と各カーネルの必要資源を使い、カーネルを適切かつ動的に同時実行へ割り当てる。先頭詰まりの緩和と、資源要求が相補的なカーネルの同時割当てにより、2段階の実行を効率よく重ねる。2つのGPUアーキテクチャと4つの最先端VLAモデルを対象としたシミュレーションで、最大28％のスループット向上を示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Vision-Language-Action (VLA) models have emerged as foundational models for next-generation robotics. High VLA inference throughput is critical for meeting the control-rate requirements of robots. VLA models comprise two phases, a vision-language model (VLM) and an action head, that can be decoupled and executed asynchronously and concurrently across independent robot requests. Through a detailed characterization of four state-of-the-art VLAs, we observe that GPUs are severely underutilized in VLA inference as the Cooperative Thread Array (CTA) scheduler of GPU is unable to fully overlap the two independent phases of VLA execution. We identify that this inefficiency is caused by head-of-line blocking in the hardware thread-block dispatcher. We demonstrate that prior scheduling frameworks do not address the challenges posed by VLA concurrency. First, the independent phases across different robot requests each comprise numerous kernels, and at any given time, there are different combinations of kernels that are executed in parallel. This makes static or ahead-of-time scheduling policies largely ineffective. Second, many of the action-head operators are short-running kernels and there are numerous such kernels. This leaves no headroom for online profiling or preemption-based mechanisms. To address these challenges, we present KerColle, a lightweight GPU scheduling framework that leverages online Streaming Multiprocessor (SM) utilization and individual kernel resource requirements to intelligently and dynamically co-schedule kernels to efficiently overlap the two phases of execution by (1) mitigating head-of-line blocking, and (2) co-scheduling kernels with complementary resource requirements. We demonstrate in simulation, across two GPU architectures, for 4 state-of-the-art VLA models, that KerColle delivers throughput gains of up to $28\%$.
著者のコメント
11 pages, 15 figures, PACT 2026
arXiv ID: 2609.22335 ／ 要約の誤りについて