身体を持つ強化学習の計算資源を非同期で配分するEBRL
EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management
この論文をやさしく読む
ひとことで言うと
ロボットなどの行動を学ぶ強化学習で、シミュレーションと学習を並行させ、CPUとGPUの割り当てを細かく変えるシステムです。
何に役立つ？
身体性強化学習の訓練時間を短縮するための計算基盤として役立ちます。要旨では比較システムより高い処理量と速い収束を報告しています。
この研究の面白いところ
環境ごとの同期待ちを取り除き、CPUコアとGPU内部の計算資源まで工程間で共有・調整している点です。
どこまで分かった？
評価は RLinf 上の実装、4方策、4シミュレーションベンチマーク、異種GPU環境に基づきます。実機ロボットでの性能は要旨には示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
身体を持つエージェントの強化学習（RL）は、環境のシミュレーション、行動の生成、モデルの更新という工程を通じて能力を高める。これらの工程は CPU と GPU に対する需要が異なるため、資源を効率よく使うことが難しい。最近のシステムは、効率化のため、ロールアウト（シミュレーションと行動生成）と学習を重ねて実行する。しかし、GPU を排他的に割り当てる方式と、ロールアウト中の同期障壁によって、ハードウェア資源の大きな無駄が残る。 本論文は、二つの中心的な技術を備えた、非同期の身体性 RL 学習システム EBRL を示す。非同期のパイプライン・スケジューラはロールアウトと学習を重ね、環境群の間でシミュレーションと行動生成をパイプライン化し、各環境を独立に実行して同期待ちをなくす。細粒度の資源管理器は CPU コアと GPU のストリーミング・マルチプロセッサを共有の資源としてまとめ、工程ごとの性能情報と実行時のフィードバックを使って、変化する需要に合わせて資源配分量とバッチサイズを調整する。EBRL を RLinf 上に実装し、異なる GPU の試験環境で、4つの身体性方策と4つのシミュレーション用ベンチマークを使って評価した。実験では、最先端の身体性 RL システムと比べ、端から端までのロールアウトの処理量が1.30～3.47倍、学習の収束が2.5倍になった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Embodied reinforcement learning (RL) improves model capabilities with a pipeline of environment simulation, action generation, and model updates. These stages show heterogeneous CPU and GPU demands, making efficient resource utilization difficult. Recent systems overlap rollout (simulation and generation) with training for efficiency, but exclusive GPU allocation and synchronized barrier in rollout still leave substantial hardware resource waste. In this paper, we present EBRL, an asynchronous embodied RL training system with two core techniques. The asynchronous pipelined scheduler overlaps rollout and training, pipelines simulation and generation across environment groups, and carries out each environment independently, eliminating synchronization stalls. The fine-grained resource manager pools CPU cores and GPU streaming multiprocessors, and uses stage profiles and runtime feedback to adjust resource quotas and batch sizes to meet the shifting demands among stages. We implement EBRL on RLinf and evaluate it with four embodied policies and four simulation benchmarks across heterogeneous GPU testbeds. Experiments show that EBRL achieves 1.30-3.47 times the end-to-end rollout throughput and 2.5 times of training convergency compared to the SOTA embodied RL systems.
arXiv ID: 2609.27547 ／ 要約の誤りについて