強化学習で学習器から推論器へ重みを転送する
WeightBridge: An Efficient Weight Transfer Library for Reinforcement Learning
この論文をやさしく読む
ひとことで言うと
LLMの強化学習で、更新した重みを学習器からロールアウト生成器へ効率よく移すライブラリ。
何に役立つ？
異なる並列配置や同期方式を使う強化学習システムのGPU待機時間を減らす際に役立つ可能性がある。
この研究の面白いところ
配置の対応を自動で調べ、無駄な転送を避ける。比較対象のフレームワークに対し、平均GPU停止時間を最大42倍短縮した。
どこまで分かった？
性能は要旨に述べるモデル・配置・同期方式の試験に基づく。全ての環境で42倍の改善を保証するものではない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
重み転送とは、学習器で更新したパラメータを、ロールアウトを生成する側へ伝えることであり、LLMの強化学習システムで重要な性能上の障害になりつつある。現代の強化学習では、学習器とロールアウト側の配置や同期要件が多様であり、効率を落とさずに対応することが課題である。既存方式は一部の構成では効率的でも、別の構成では性能が悪いか対応していない。本研究は、多様な強化学習構成で高性能を目指す柔軟な重み転送ライブラリ WeightBridge を提示する。まず学習器とロールアウト側の重み配置の対応を自動抽出し、冗長な転送を避け、負荷を均等化する計画を立てて実行する。小規模で汎用的なAPIを公開しながら、異なる同期方式のワーカーを協調させる。モデル、並列化の配置、同期方式を変えた構成において、最先端のオープンソース強化学習フレームワークと比べて平均GPU停止時間を最大42倍短縮し、すべての設定で高い性能を達成した。コーディングエージェントは手動の指示なしに WeightBridge を異なる二つの強化学習フレームワークへ統合でき、APIの汎用性と使いやすさを示した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Weight transfer - the propagation of updated parameters from trainers to rollout generators - is becoming an important performance bottleneck in reinforcement learning (RL) systems for LLMs. The central challenge is supporting the diverse trainer and rollout layouts and synchronization requirements of modern RL workloads without sacrificing efficiency. Existing solutions are efficient under some configurations but perform poorly or lack support under others. We present WeightBridge, a flexible, efficient weight-transfer library designed to deliver high performance across diverse RL configurations. WeightBridge first automatically extracts the correspondence between trainer and rollout weight layouts, then plans and executes redundancy-free and load-balanced weight transfer. It exposes a small, general API while coordinating workers across diverse synchronization modes. Across configurations spanning different models, parallelization layouts, and synchronization modes, WeightBridge reduces average GPU stall time by up to 42$\times$ over the state-of-the-art open-source RL framework and achieves high performance in all settings. A coding agent was able to integrate WeightBridge into two different RL frameworks without manual guidance, demonstrating the generality and ease of use of its APIs.
著者のコメント
25 pages, 16 figures
arXiv ID: 2609.25442 ／ 要約の誤りについて