合成した成功動作でロボット学習の報酬ゼロを乗り越える
SynthDemo-RL: Breaking the Zero-Reward Barrier in VLA Adaptation with LLM-Guided Synthetic Demonstrations
この論文をやさしく読む
ひとことで言うと
一度も成功せず学習の手掛かりが得られないロボットに、シミュレータで作った成功例を先に教えてから強化学習する方法です。
何に役立つ？
新しい課題で人の実演を集めにくい場合の適応学習に役立つ可能性があります。平均成功率に加え、少なくとも成功例が得られる課題の広がりも評価します。
この研究の面白いところ
直接の強化学習では17課題が成功ゼロのままでしたが、合成実演を入れた方法では元の27課題すべてで成功を得ました。教師にだけ使えるシミュレータの状態情報を生徒の学習へ移しています。
どこまで分かった？
27課題を救済したとは、全試行に成功したという意味ではありません。同じ計算量の比較はPPOの改善段階についてで、合成実演やSFTまで同一費用という記載ではありません。実機確認は開ループ実行で、報告成功率はシミュレーション課題の値です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
視覚・言語・行動（VLA）モデルの微調整は、一般に人の遠隔操作によるデモンストレーションに依存する。一方、疎な二値報酬を使う強化学習（RL）では、成功軌跡がめったに得られない場合、探索が難しくなる。本研究では、教師・生徒の枠組みSynthDemo-RLを提案する。自動化された教師が、シミュレータで特権的に利用できる状態情報を成功する操作軌跡へ変換し、それを使った教師あり微調整（SFT）でVLAの生徒へ蒸留した後、課題成功の二値報酬を用いるPPOで生徒を改善する。 平均成功率を補う指標として、固定された評価手順で少なくとも1回の成功が観測される課題の割合である、報酬カバー率を調べる。デモンストレーションが存在しない、LIBERO課題に摂動を加えた公開ベンチマークLIBERO-PROでは、元のLIBERO課題で微調整したπ₀.₅方策は、採点対象57課題中27課題で成功率がちょうど0％となる。この方策から直接PPOを実施し、SynthDemo-RLの改善段階と同じPPO設定およびRL計算量を使うと、その27課題中10課題が成功可能になるが、17課題は0％のまま残る。 SynthDemo-RLは、各課題50本の合成軌跡を使い、新たな人のデモンストレーションなしで、27課題すべてで成功を得る。LIBERO-PROのPosition軸とTask軸では、平均成功率はそれぞれ97.8％と97.1％に達する。標準LIBEROでは、同じ処理系が人のデモンストレーションなしで96.0％を達成し、課題ごとに50本の人のデモンストレーションで学習したπ₀.₅との差は1.7ポイント以内となる。さらにRoboTwin 2.0で処理系を検証し、MuJoCoのデジタルツインで学習した方策の軌跡を、物理ロボットで開ループ実行できることを確認する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Fine-tuning Vision-Language-Action (VLA) models commonly relies on human teleoperation demonstrations, while reinforcement learning (RL) with sparse binary rewards faces an exploration challenge when successful trajectories are rarely sampled. We propose SynthDemo-RL, a teacher-student framework in which an automated teacher converts simulator-privileged state into successful manipulation trajectories, a VLA student is distilled from them by supervised fine-tuning (SFT), and PPO with binary task-success rewards refines the student. We study reward coverage, the fraction of tasks for which at least one success is observed under the fixed evaluation protocol, as a complement to the average success rate. On LIBERO-PRO, a public benchmark of perturbed LIBERO tasks for which no demonstrations exist, 27 of 57 scored tasks are at exactly 0% success for a pi_0.5 policy fine-tuned on the original LIBERO tasks. Direct PPO from this policy, under the same PPO recipe and the same RL compute as SynthDemo-RL's refinement stage, rescues 10 of these 27 tasks and leaves 17 at 0%. SynthDemo-RL, with 50 synthesized trajectories per task and no new human demonstrations, rescues all 27 and reaches average success rates of 97.8% and 97.1% on the Position and Task axes of LIBERO-PRO, respectively. On standard LIBERO, the same pipeline reaches 96.0% with no human demonstrations, within 1.7 points of pi_0.5 trained on 50 human demonstrations per task. We further validate the pipeline on RoboTwin 2.0 and verify that trajectories from a policy trained in a MuJoCo twin execute open-loop on a physical robot.
著者のコメント
Under review
arXiv ID: 2609.21650 ／ 要約の誤りについて