並列シミュレーションでロボットの報酬学習を高速化
Scaling Vision-Language Reward Learning for Robot Manipulation in Parallel Simulation
この論文をやさしく読む
ひとことで言うと
ロボットの練習を並列シミュレーションで集め、視覚言語モデルに良し悪しを尋ねる回数も減らして、報酬を学ぶ処理を速くする研究です。データ収集とラベル付けの両方を工夫しています。
何に役立つ？
考えられる用途は、視覚言語モデルを評価役として使うロボット学習の時間と費用の削減です。五つのシミュレーション課題で、学習時間、API回数、成功率を比較しています。
この研究の面白いところ
並列化だけでも9.18時間から3.13時間へ短縮し、他の工夫を合わせると1.15時間になります。速度だけでなく、最終成功率も改善したという構成要素ごとの結果が示されています。
どこまで分かった？
評価はIsaacLab内のFranka Panda操作課題で、実機の成功率ではありません。二つのVLMでの比較はオフラインのラベル付け評価であり、すべてのロボットやモデルに同じ8倍の高速化を保証するものではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
視覚言語モデル（VLM）は、選好に基づく報酬学習で人の注釈者を代替できるが、API要求を順番に送ることと単一環境でのデータ収集により、学習が遅く高価になる。私たちはRAPID（Reward learning with Adaptive Parallel Image Diversity）を提案する。これは、GPUで並列化した実行と、データに応じた方策更新、1回の要求による選好ラベル付け、報酬の自動安定化、代表的な画像のサンプリングを組み合わせるシステムである。 これらの構成要素を、IsaacLabのFranka Pandaによる五つの操作課題で評価する。並列実行と適応的な更新が、学習時間の最初の大幅な削減をもたらす。2段階のプロンプト条件をそろえると、平均実行時間は9.18時間から3.13時間に減る。RAPIDの全構成要素を有効にすると、学習は1.15時間で完了し、1回の実行当たりのAPI呼び出しは19,840回ではなく896回となり、最終成功率の集計値は86.3％から98.7％へ上昇する。これは全体で8.0倍の高速化と、API利用の95.5％削減に相当する。 Gemma 3 12BとGPT-4.1 miniを用いたオフライン評価は、1回の要求によるプロンプトが両モデルでラベル付けの待ち時間と費用を減らすことを示す。コードは https://github.com/rapid-vlm/rapid-vlm-rl で公開している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Vision-language models (VLMs) can replace human annotators in preference-based reward learning, but sequential API requests and single-environment data collection make training slow and costly. We present RAPID (Reward learning with Adaptive Parallel Image Diversity), a system that couples GPU-parallel rollout with data-aware policy updates, single-request preference labeling, automatic reward stabilization, and representative image sampling. We evaluate these components on five Franka Panda manipulation tasks in IsaacLab. Parallel rollout and adaptive updates provide the first substantial reduction in training time: under matched two-stage prompting, mean runtime falls from 9.18 to 3.13 hours. With all RAPID components enabled, training completes in 1.15 hours using 896 rather than 19,840 API calls per run, and aggregate final success rises from 86.3\% to 98.7\%. This represents an 8.0$\times$ end-to-end speedup and a 95.5\% reduction in API usage. An offline evaluation with Gemma~3 12B and GPT-4.1 mini demonstrates that single-request prompting reduces labeling latency and cost across both models. Code is available at: https://github.com/rapid-vlm/rapid-vlm-rl.
arXiv ID: 2609.21767 ／ 要約の誤りについて