人の手の操作を異なるロボットの手に移す模倣学習
Morphometric Imitation: From Morphology and Contact Aware Hand Retargeting to Sim-to-Real Visuomotor Policy
この論文をやさしく読む
ひとことで言うと
人の手の実演を、形の異なるロボットの手が実機で行える動作へ変換する方法。
何に役立つ？
人が物をつかみ操作する実演から、ロボットの器用な操作方策を作る際に役立つ。
この研究の面白いところ
接触を保つ形態の変換、動力学的な調整、視覚運動方策への蒸留をつなぎ、実機300試行で89.3％の成功率を報告した。
どこまで分かった？
評価は3種類のロボットの手、10種類の相互作用、30物体での300実機試行に基づく。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
人の手と物体の相互作用は、器用な操作を学ぶための豊富な実演データを与える。しかし、そのまま学習するには、人とロボットの手の形の違いを埋め、動力学的に実行可能な動きを保証し、シミュレーションから実機へ移す必要がある。本研究は、再構成した人の手と物体の相互作用を、実機で追加学習なしに使える視覚運動方策へ変換する、三段階のMorphometric Imitationを提示する。第一に、形態を考慮する最適化MMOによって、実演中の接触を保ちながら、人の動きを異なる手の形へ運動学的に割り当て直す。第二に、残差を学習する強化学習で、人の動きから得た物体の姿勢と接触情報を使って運動学的な参照動作を改善し、ロボットが力学的に実行できる実演を作る。第三に、その実演を視覚運動方策へ蒸留する。3種類のロボットの手と10種類の相互作用で、MMOは五つの比較法のうち最も強いものに対し、すべての手で接触F1を少なくとも8ポイント改善し、後段の動的な割り当て直しの成功率も最大35ポイント改善した。残差強化学習の要素を除く比較では、物体の姿勢と接触情報の利用がそれぞれ補い合う利点を示した。最後に、視覚運動方策は30個の物体を用いた実世界の300試行で、追加学習なしの成功率89.3％を達成した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Human hand-object interactions (HOIs) provide a rich source of demonstrations for dexterous manipulation, but learning directly from them presents challenges in bridging morphology gaps, ensuring dynamical feasibility, and sim-to-real deployment. We present Morphometric Imitation, a three-stage framework that transforms reconstructed HOIs into zero-shot sim-to-real visuomotor policies. First, morphometric optimization (MMO) kinematically retargets human motion across hand morphologies while preserving demonstrated contacts. Second, residual reinforcement learning (RL) refines the kinematic reference using object pose and contact information from the human motion to produce dynamically feasible robot demonstrations. Third, these demonstrations are distilled into visuomotor policies. Across three robot hands and ten HOIs, MMO improves contact F1 over the strongest of five baselines by at least 8 points for every hand, while also improving the success rate of downstream dynamic retargeting by as much as 35 points. Ablations on the residual RL show complementary benefits from using object pose and contact information. Finally, the visuomotor policies achieve 89.3% zero-shot success in 300 real-world trials on 30 objects. Project page: $\href{https://morphometricimitation.github.io}{\text{this https URL}}$
著者のコメント
24 pages, 10 figures
arXiv ID: 2609.28660 ／ 要約の誤りについて