対象位置と操作種別でロボットを動かす世界行動モデル
AR-WAM: A Visual-Conditioned Agent-Ready World Action Model for Robotic Manipulation
この論文をやさしく読む
ひとことで言うと
ロボットに文章で指示する代わりに、「この範囲の物を、この操作で扱う」と指定するモデルです。長い作業の記憶や失敗からの回復は、上位のエージェントが担当します。
何に役立つ？
AIエージェントとロボットの操作モデルを接続するための仕組みとして利用が考えられます。実際の双腕ロボットを含む評価が行われています。
この研究の面白いところ
対象の位置と操作の種類を別々の入力にし、場面がどう変わるかも予測します。言語理解を上位側へ任せ、操作モデルから言語エンコーダーを省いています。
どこまで分かった？
5.9%と36.7%の改善が相対割合かパーセントポイントかは要旨では明確ではありません。14.1ミリ秒は推論遅延であり、上位エージェントを含む作業全体の所要時間とは区別が必要です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
AIエージェントの能力が高まるにつれ、エージェント主導のロボット制御が有力な方式として現れている。しかし、主流の視覚・言語・行動（VLA）モデルや世界行動モデル（WAM）は、依然として操作課題の指定に自然言語の指示を用いている。このインターフェースは、指示対象が曖昧で、空間的な指定が不正確であり、エージェントが元から持つ言語理解機能と重複し、意図と実行を混在させるため、エージェント主導の制御には適していない。 本研究では、視覚条件を用い、エージェントから直接利用できる世界行動モデルAR-WAMを提案する。言語の代わりに、相互作用する物体と位置を示す視覚的な指定プロンプト、すなわち対象のバウンディングボックスと、実行する基本スキルを指定する学習可能な操作トークンという、相補的な2つの条件を用いる。5億パラメータの小型モデルは、固定した事前学習済み視覚エンコーダーを備え、言語エンコーダーを使わない。行動をデコードしながら、コンパクトな潜在状態内で場面の変化を予測し、明示的で教師信号を与えられる推論信号を通じて、方策の意図を可視化する。モデルに依存しない互換レイヤーが、検出、実行、問い合わせの3つの基本操作を提供するため、ローカルの視覚言語モデルやオンラインのエージェントAPIから方策を直接動かせる。長期記憶と閉ループでのエラー回復はエージェント側に委ねる。 RoboTwin 2.0、RMBench、実機の双腕プラットフォームAstribot S1では、標準的な操作で最も強いベースラインと同等の成績を得た。平均成功率は87.2%である。記憶に依存する課題と実機の長期手順課題ではそれらを上回り、成功率をそれぞれ5.9%と36.7%改善した。同時に、推論遅延は比較中で最短の14.1ミリ秒を維持した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
As AI agents become increasingly capable, agent-driven robotic control is emerging as a compelling paradigm. However, prevailing vision-language-action (VLA) models and world action models (WAMs) still rely on natural-language instructions to specify manipulation tasks, an ill-suited interface for agent-driven control: referentially ambiguous, spatially imprecise, redundant with the agent's inherent language understanding, and entangling intent with execution. We present AR-WAM, a visual-conditioned, agent-ready world action model that replaces language with two complementary conditions: a visual grounding prompt (a bounding box of the target) denoting the interaction object and location, and a learnable operation token dictating the atomic skill to execute. Our compact 0.5B-parameter model, with a frozen pretrained visual encoder and no language encoder, predicts scene evolution within compact latent states while decoding actions, exposing the policy's intent through explicit, supervisable reasoning signals. A model-agnostic compatibility layer provides three primitives (detect, execute, and query) so that local VLMs or online agent APIs can drive the policy directly, with long-horizon memory and closed-loop error recovery delegated to the agent side. On RoboTwin 2.0, RMBench, and a real Astribot S1 dual-arm platform, AR-WAM matches the strongest baselines on standard manipulation (87.2% average success) and outperforms them on memory-dependent and real-robot long-horizon tasks, improving success rates by 5.9% and 36.7%, respectively, while maintaining the lowest inference latency (14.1 ms).
arXiv ID: 2609.23578 ／ 要約の誤りについて