学習を追加せず物理シミュレーションで人型ロボットの動作を選ぶ
Sample, Simulate, Select: Physics-in-the-Loop Text-to-Motion for Humanoids Without Training
この論文をやさしく読む
ひとことで言うと
文章から生成した複数の動作をロボットの物理シミュレーションで試し、既存の制御器が最もうまく実行できるものを選びます。
何に役立つ？
考えられる用途は、人型ロボットに与える文章指示から、転倒しにくい動作候補を選ぶことです。要旨では実機G1でも選ばれた177動作を評価しています。
この研究の面白いところ
追加学習なしで成功率を上げる一方、骨盤を下げる指示は候補選択だけでは解決できないと特定しています。転倒の分類精度が高くても、同じ指示の候補間の順位付けには不十分でした。
どこまで分かった？
89.5％などの割合は指定のHumanML3D評価条件の結果です。実機の177動作は基準を通過して選ばれたもので、全指示が実機で成功したことを意味しません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
文章から動作を作るモデルはもっともらしい人間の動きを生成するが、ロボットの力学をモデル化しない。一方、全身追従制御器はロボットへの指示動作を安定して実行できても、実行不能な動作を再計画できない。最近の文章指示から人型ロボットを動かすシステムは学習によってこの隔たりを埋めている。本研究は、実際に使う制御器を選択の過程に組み込み、追加学習なしでこの隔たりをどれだけ縮められるか測定する。Sample-simulate-select（S³）は、固定した文章・動作モデルから各指示につきN個の動作を生成し、方向を合わせる逆運動学で各動作をUnitree G1用に変換する。事前学習済みのSONIC追従方策と剛体の全力学を使って候補をそれぞれシミュレーションし、その方策が最もうまく実行した動作を残す。検証器は決定論的なシミュレーターそのものなので、S³は構成上、N個のうち最良の候補を選ぶ上限に達する。本研究で測るのはその上限の位置と、上限でも解決しない問題である。HumanML3Dの層化したテスト指示200件でN＝8とすると、立ったまま実行できる割合は83.5％から89.5％へ、実機へ進むための基準を通る件数は33件から85件へ増えた。全テスト集合4,184件では前者が80.5％から89.5％へ増えた。転倒をよく予測する運動学的検証器（AUROC 0.90）では、この改善の4分の1しか得られない。全体集団を分類するより、同じ指示から得た候補を順位付けする方が難しいためである。選択だけでは、骨盤を下げる指示という一群の問題を解決できないが、ロボット用に変換されたデータで訓練した生成器なら実行できる。さらに、実行した動作が文章の意味に合うかを標準的な文章・動作評価器で採点し、実際のモーションキャプチャーを対照に用いて意味の損失をロボット向けの変換に帰属させた。変換器をGMRと比較すると失敗が補完的で、両者を合わせた8候補の最良上限は95.0％に上がった。実機基準で選んだ177動作を実際のG1ですべて実行したところ、全件で立った状態のまま完了し、実機の追従誤差はシミュレーションとよく一致した（r＝0.94）。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Text-to-motion models generate plausible human motion but do not model a robot's dynamics; whole-body tracking controllers execute robot references reliably but cannot replan an infeasible one. Recent language-to-humanoid systems bridge this gap by training. We measure how much of the gap closes with no training at all, by putting the deployment controller itself in the loop. Sample-simulate-select (S$^3$) draws $N$ motions per prompt from a frozen text-to-motion model, retargets each to a Unitree G1 by direction-matching inverse kinematics, rolls all of them out under full rigid-body dynamics with the pretrained SONIC tracking policy, and keeps the candidate the policy executed best. Because the verifier is the deterministic simulator itself, S$^3$ attains the any-of-$N$ ceiling by construction; what we measure is where that ceiling lies and what falls short of it. On 200 stratified HumanML3D test prompts with $N=8$, upright execution rises from 83.5% to 89.5% and hardware-gate passes from 33 to 85; on the complete test split (4,184 prompts) it rises from 80.5% to 89.5%. A kinematic verifier that predicts falls well (AUROC 0.90) recovers only a quarter of this gain: ranking a prompt's own candidates is harder than classifying the population. What selection cannot fix is one class, prompts that lower the pelvis, which a generator trained on retargeted robot data does execute. We further score the semantic fidelity of the executed motion with the standard text-motion evaluator, with a real-mocap control that attributes the loss to the robot projection, ablate the retargeter against GMR (complementary failures: the any-of-8 ceiling rises to 95.0% over both), and execute all 177 gate-selected clips on the real G1: every one completes standing, with hardware tracking error matching simulation ($r=0.94$).
著者のコメント
8 pages, 9 figures, 5 tables
arXiv ID: 2609.26420 ／ 要約の誤りについて