予測制御のサンプリングで視覚行動学習を速める
Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control
この論文をやさしく読む
ひとことで言うと
候補動作を試す予測制御と微分可能シミュレーションでの学習を交互に行い、ロボットの視覚ベースの動作を学習させます。
何に役立つ？
環境との接触が重要な歩行や操作の学習に役立つ方法です。シミュレーションで複数課題を学習し、実機Go2で深度画像を使った歩行・腹ばい・障害物越えを検証しています。
この研究の面白いところ
最初の模倣学習だけで終えず、学習途中もサンプリングで動作目標を改善します。描画を微分計算から外すことで、状態入力の教師方策なしで深度観測から直接学習します。
どこまで分かった？
Go2とG1の課題学習はシミュレーション、実機への転移はGo2での結果です。要旨には計算時間やGPUメモリの具体的な削減率はありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
移動や物体操作の視覚方策を学習するには、環境との接触を調整する必要があり、大きな計算量とGPUメモリを要することがある。一次方策勾配（FoPG）は微分可能シミュレーションによって学習コストを下げるが、局所最適化は意図しない接触パターンへ収束することがある。 この欠点に対処するため、サンプリングに基づくモデル予測制御による行動目標の反復的な改善と、一次の方策最適化を結び付けたSampling-Guided Policy Search（SGPS）を提案する。まず、サンプリングした行動から行動クローニングで方策を初期化する。その後、初期状態への摂動とダイナミクスのランダム化の下で、サンプリングによる改善と短い時間範囲のFoPG更新を交互に行う。 視覚方策の訓練では、レンダリングを計算グラフから除外した分離型FoPG定式化を用い、状態入力の教師方策なしに深度観測から直接学習できるようにする。単一GPU上で、シミュレーションのUnitree Go2とG1を使い、移動、障害物の踏破、木箱押し、両手での運搬の方策を学習する。実験は、初期化と追従だけの場合を超えて、改善工程が方策学習を向上させることも示す。実機への展開では、蒸留した方策を実際のGo2へゼロショットで転移させ、搭載された深度センサーを使って、トロット歩行、低姿勢での移動、ハードル越え、およびこれらの行動の切り替えを自律的に実行する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Learning visual policies for locomotion and manipulation requires coordinating contact with the environment and can incur substantial computation and GPU memory costs. First-order policy gradients (FoPG) reduce training cost through differentiable simulation, but local optimization can converge to unintended contact patterns. To address this shortfall, we propose Sampling-Guided Policy Search (SGPS), which couples recurring action-target refinement by sampling-based model-predictive control with first-order policy optimization. Behavior cloning initializes the policy from sampled actions; training then alternates sampling-based refinement with short-horizon FoPG updates under perturbed initial states and randomized dynamics. For visual policy training, we use a decoupled FoPG formulation that excludes rendering from the computation graph, enabling direct learning from depth observations without a state-policy teacher. On a single GPU, SGPS learns policies for locomotion, obstacle traversal, crate pushing, and bimanual carrying on simulated Unitree Go2 and G1 robots. Our experiments further show that refinement improves policy learning beyond initialization and tracking alone. For hardware deployment, the distilled policy transfers zero-shot to a real Go2 and uses onboard depth to autonomously trot, crawl, clear hurdles, and switch between these behaviors.
著者のコメント
8 pages, 6 figures
arXiv ID: 2609.20575 ／ 要約の誤りについて