VRゲームの操作データを少数実演のロボット学習に使う
From Gameplay to Policy: Towards Scalable Robot Data Collection via Gamified Robot-Free Interaction
この論文をやさしく読む
ひとことで言うと
人がVRゲームで行う操作を収集し、接触位置や途中目標の情報を取り出して、実ロボットの学習に使う研究です。
何に役立つ？
実ロボットによる実演データを大量に集めにくい場合の補助データ源として考えられます。少数の実演で微調整する設定では成功率の改善が報告されています。
この研究の面白いところ
ゲーム内の人の動きをそのままロボットにコピーするのではなく、身体の違いを越えて利用できる接触点などへ変換しています。
どこまで分かった？
実ロボット実演を完全になくす方法ではなく、少数の実演を用います。10.0と18.3は成功率のパーセントポイントの改善です。大規模展開は可能性として述べられ、コード公開も採択後の予定です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
汎化できるロボット操作方策を学習するには、大規模で多様な相互作用データが必要だが、現実世界の実演を集めるには依然として費用がかかり、規模の拡大も難しい。既存の収集方法は、クラウドソーシングや転用を制約する特定のロボットハードウェアに依存するか、注釈の不完全さや行動の多様性の不足を抱えている。ゲームが人の継続的な参加を促すことに着想を得て、本研究ではデータ収集を取り組みやすいゲーム体験に変え、得られた人間の操作経験を実ロボットへ移す代替的な方法を探る。 VRを用いたゲーム形式の一人称データ収集基盤Project Kitchenを提示する。これは、特定のロボットの身体構成やハードウェアに依存せず、多様で目標指向の操作を引き出すもので、より広く、潜在的には大規模に展開できる。ゲームと現実の隔たりを埋めるため、ゲームの軌跡から接触点や下位目標の状態など、身体構成によらないアフォーダンスの手掛かりを抽出するGame2Policyも導入する。ゲームで集めたデータによってアフォーダンスモデルを事前学習し、その後、ごく少数の実ロボット実演だけを用いて下流の方策と共同で微調整する。 実験では、少数例学習の設定でGame2Policyが平均成功率をシミュレーションで10.0パーセントポイント、実ロボットで18.3パーセントポイント改善した。ユーザー調査と定量分析では、Project Kitchenが多様な操作行動を促し、参加しやすいデータ収集体験を提供することも示した。これらの結果は、ゲーム化された仮想環境が、規模を拡大できる操作知識の供給源となる可能性を示す。基盤とコードは論文の採択後に公開する予定である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Learning generalizable robot manipulation policies requires large-scale and diverse interaction data, yet collecting real-world demonstrations remains costly and difficult to scale. Existing approaches to data collection are either dependent on specific robot hardware that limits crowdsourcing and transferability, or suffer from incomplete annotation and limited behavioral diversity. Inspired by how games sustain long-term human engagement, we explore an alternative paradigm that turns data collection into an engaging gameplay experience and transfers the resulting human manipulation experience to real robots. We present Project Kitchen, a VR-based gamified egocentric data collection platform that elicits diverse, goal-directed manipulation while remaining independent of specific robot embodiments and hardware, making it applicable to broader and potentially large-scale deployment. To bridge the game-to-real gap, we further introduce Game2Policy, which extracts embodiment-invariant affordance cues, including contact points and sub-goal states, from gameplay trajectories. An affordance model is pre-trained on game-collected data and then jointly fine-tuned with downstream policies using only a handful of real-robot demonstrations. Experiments show that Game2Policy improves average success rates by 10.0 points in simulation and 18.3 points on real robots in the few-shot setting. User studies and quantitative analyses further show that Project Kitchen promotes diverse manipulation behaviors and provides an engaging data collection experience. These results demonstrate the potential of gamified virtual environments as a scalable source of manipulation knowledge. The platform and code will be released upon acceptance.
著者のコメント
9 pages, 6 figures
arXiv ID: 2609.18650 ／ 要約の誤りについて