動画や実行結果を文脈にしてロボットを適応させる
In-Context Robot Learning with VLM Agents
この論文をやさしく読む
ひとことで言うと
ロボットの重みをその場で学習し直さず、実演動画や直前の実行結果を見せることで、新しい状況に合わせて行動させる枠組みです。
何に役立つ？
運用時に得られる実演やフィードバックを使ってロボットを適応させる方法の検討に役立ちます。実ロボットで実演動画の効果を調べています。
この研究の面白いところ
行動を提案するVLMと、検証して実行するコントローラを組み合わせています。動画だけでも改善し、接触が重要な課題では対応する行動情報がさらに有効でした。
どこまで分かった？
要旨では成功率の具体値や課題数は示されていません。未知のあらゆる環境で適応できるという結果ではなく、信頼できる運用に向けた課題も残るとされています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ロボットが人間のように未知の環境へ容易に適応できるようにすることは、身体性AIの大きな挑戦である。有限個の実演だけでは、ロボットが出会うすべての課題と状況を網羅できないため、運用時に文脈から学ぶ能力が汎化に不可欠となる。しかし、そのような文脈内学習（ICL）は、既存のロボット方策ではほとんど実現できていない。 GPT-6 Astraなどの商用視覚言語モデル（VLM）が持つ幅広いエージェント能力は、興味深い問いを生む。これらのモデルは、実演、例、相互作用のフィードバックから学び、勾配更新や課題固有パラメータの永続的な変更を行わずに、新しい初期状態から実行・検証可能なロボットの行動へとその情報を変換できるだろうか。 本研究では、ロボットの文脈内学習のための汎用エージェント基盤GPT-Policyを導入する。課題に関係する視覚的な変化を保持するコンテキスト・コンパイラ、ロボットツールの行動を提案するVLM、各行動を検証・実行して結果を返す制約付きコントローラを統合する。課題成功率と効率の指標、条件をそろえたモデル間比較、統制された文脈の除去実験を通じて、信頼性と限界を評価する。 実ロボット試験では、ロボットの行動ラベルがなくても人間の実演動画によって課題の完了が改善し、対応づけられた行動参照情報を加えると、接触に敏感な課題でさらに向上する。これらの知見は、GPT-Policyを文脈内学習によるロボット適応への一歩として位置づける。VLMの汎用的能力を物理的な行動へ移すための実証的な基盤を与えるとともに、信頼できる運用に向けて克服すべき課題を明確にする。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Enabling robots to adapt to unfamiliar environments as readily as humans remains a moonshot goal of embodied AI. No finite collection of demonstrations can cover every task and situation a robot will encounter, making the ability to learn from context at deployment essential for generalization. Such in-context learning (ICL), however, remains largely beyond the reach of existing robotic policies. The broad agentic capabilities of commercial vision-language models (VLMs), such as GPT-6 Astra, raise a compelling question: can these models learn from demonstrations, examples, and interaction feedback, then translate that information into executable and verifiable robot behavior from a new initial state without gradient updates or persistent changes to task-specific parameters? We introduce GPT-Policy, a general-agent framework for in-context robot learning. GPT-Policy integrates a context compiler that preserves task-relevant visual transitions, a VLM that proposes robot-tool actions, and a constrained controller that verifies and executes each action and reports its outcome. We evaluate its reliability and limitations through task success and efficiency metrics, matched comparisons across models, and controlled context ablations. In real-robot trials, human video demonstrations improve task completion even without robot action labels, while aligned action references yield further gains on contact-sensitive tasks. These findings position GPT-Policy as a step toward robot adaptation through in-context learning, providing an empirical foundation for translating the general-purpose capabilities of VLMs into physical behavior and clarifying the challenges that must be overcome for reliable deployment.
著者のコメント
Project Page: https://cheng-haha.github.io/GPT-Policy GitHub Code: https://github.com/cheng-haha/GPT-Policy
arXiv ID: 2609.19138 ／ 要約の誤りについて