GPU性能測定の必要区間だけを排他制御するKREX
KREX: Concurrent Kernel Benchmarking on Shared GPUs via Region-Granular Exclusivity
この論文をやさしく読む
ひとことで言うと
GPUカーネルの時間測定に必要な短い区間だけを排他的にし、複数の最適化エージェントを並行して動かす実行環境。
何に役立つ？
共有GPUで多くのカーネル候補を測る際、測定のゆがみを抑えつつGPUの空き時間を利用する方法になる。
この研究の面白いところ
GPU処理だけでなくCPU側の測定スレッドも隔離し、区間外ではGPUコンテキストを再利用して並行処理を増やす。
どこまで分かった？
最大3.4倍という値は、コマンド全体を排他的にする比較法に対する結果。短いカーネルほど測定時間の増加は大きくなっている。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
LLMエージェントは、GPUカーネルの候補を繰り返し作成し、実機GPUで実行時間を測って最適化する。従来のシステムは測定の信頼性を保つため、エージェントの実行全体、またはベンチマークのコマンド全体にわたりGPUを占有する。しかし、コマンドの実行時間のうち排他的なGPUアクセスが必要なのはごく一部で、利用率が悪くなる。GPUを共有すれば空き時間を利用できるが、競合によって測定がゆがみ、エージェントの探索が誤った方向へ進む。 本研究は、区間単位の排他制御によりカーネル最適化エージェントのベンチマークを並行実行する実行環境KREXを提案する。エージェントはベンチマークコマンドのうち、時間測定に敏感な重要区間を指定する。実行環境は指定区間だけを排他的にし、それ以外は並行実行を許すことで、測定の信頼性と高い処理量を両立する。 指定区間の排他性を守るため、新たな競合GPU処理の投入を止め、実行中の処理が終わるのを待ってから、同じGPUを使う他のプロセスを停止し、CPUコアも隔離する。これによりGPU上の実行だけでなく、測定を駆動するホスト側のスレッドも保護する。区間外の並行性を高めるため、持続するコンテキスト用プロセスでGPUコンテキストを再利用し、ノード全体で直列化されるコンテキスト作成の繰り返しを避ける。 NVIDIAとAMDのGPUで評価した。コマンド全体を排他的にする比較法に対し、ベンチマークの処理量は最大3.4倍になった。カーネル長が10 ms、1 ms、0.1 msを超える場合の95パーセンタイル実行時間の増加は、それぞれ0.30％、1.58％、3.90％と小さかった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
LLM agents automate GPU kernel optimization by repeatedly composing candidates and measuring their duration on real GPUs. Existing systems preserve measurement fidelity by reserving a GPU for an entire agent session or benchmarking command. However, this results in poor utilization because only a small fraction of command execution requires exclusive GPU access. Sharing GPUs could recover this idle capacity, but introduces contention that compromises measurement fidelity and misdirects the agent's search. We present KREX, a runtime for concurrent kernel agent benchmarking with region-granular exclusivity. KREX lets agents mark critical regions involving timing-sensitive operations within a benchmarking command. The runtime then enforces exclusivity within marked regions and allows concurrent execution outside them, achieving high throughput while preserving measurement fidelity. To enforce in-region exclusivity, KREX blocks new competing GPU submissions and drains outstanding work before freezing sibling processes and isolating CPU cores, protecting both GPU execution and the host threads that drive measurements. To maximize off-region concurrency, KREX reuses GPU contexts in persistent context processes to avoid repeated, node-wide serialized context creation. We evaluate KREX on NVIDIA and AMD GPUs. Compared with command-granular exclusivity baselines, KREX delivers up to $3.4\times$ the benchmarking throughput with a negligible p95 timing inflation of $0.30\%$, $1.58\%$, and $3.90\%$ for kernels longer than 10 ms, 1 ms, and 0.1 ms, respectively.
著者のコメント
14 pages, 12 figures
arXiv ID: 2609.30057 ／ 要約の誤りについて