対応点で過去と現在の画像を比べるロボット行動モデル
CoRe-WAM: Correspondence-Aligned Temporal Residuals for World Action Models
この論文をやさしく読む
ひとことで言うと
ロボットが過去と現在の画像を比べる際、同じ画素位置ではなく、追跡で対応づけた物体の位置を使う行動モデル。
何に役立つ?
考えられる用途は、物体やカメラが動く操作場面で、ロボットが直近の変化を判断に取り入れること。実証は要旨にあるRoboTwin 2.0のタスク評価である。
この研究の面白いところ
既存の基盤モデルを固定し、159万個のパラメータを調整する形で導入する。Motusに加えてStarVLAベースの方策でも成功率の改善が報告された。
どこまで分かった?
報告された成功率はRoboTwin 2.0の50タスクなど、要旨に示された評価条件の結果である。実機での性能については要旨に記載がない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
現在と過去の観測を比べることは、ロボットが物体操作中の場面の変化を理解し、次の動作を選ぶ助けになる。しかし、物体やカメラが動くと、画像上の同じ位置にある視覚特徴同士を比べても異なる内容が混ざる。本論文は、対応点に合わせた視覚的変化を、少数の追加パラメータで扱う時間的インターフェースを備えた世界・行動モデルCoRe-WAMを提案する。TraceDeltaモジュールは、重みを固定した追跡モデルが求める対応関係を使い、過去の視覚特徴を現在の位置へ移してから、事前学習済みの共通特徴空間で符号付き差分を計算する。したがって対応関係は、別個の軌跡表現として方策に入るのではなく、過去のどの内容を現在と比べるかを決める。軽量なアダプターは、この差分を有効性で制御された残差に変換し、現在の視覚条件付けを補う。これにより方策は、現在の場面情報とともに直近の変化を利用できる。Motusを基盤とするCoRe-WAMは、事前学習済みの基盤部分の重みを固定したまま、159万個のパラメータを最適化する。5,000回の更新という適応予算で、RoboTwin 2.0の50タスクにおける通常条件での成功率は92.22%となり、Motusを3.56ポイント上回った。条件をランダム化した評価では成功率89.60%で、2.58ポイントの改善だった。TraceDeltaをStarVLAベースの方策に組み込むと、通常条件での成功率は58.10%から67.62%へ向上し、この時間的インターフェースがMotus以外にも移せることを裏付ける。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23(UTC)
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Comparing current and past observations helps robots understand scene changes and select subsequent actions during manipulation. However, comparing visual features at the same image location can mix different scene content when objects or the camera move. We introduce CoRe-WAM, a world-action model that incorporates correspondence-aligned visual changes through a parameter-efficient temporal interface. Its TraceDelta module uses correspondences from a frozen tracking model to transport historical visual features to current locations before computing signed differences in a shared pretrained feature space. Correspondence thus determines which historical content is compared with the present, rather than entering the policy as a separate trajectory representation. A lightweight adapter converts these differences into validity-gated residuals that supplement current visual conditioning, allowing the policy to use recent changes alongside current-scene information. Built on Motus, CoRe-WAM keeps the pretrained backbone weights frozen and optimizes 1.59 million parameters. With a 5,000-update adaptation budget, CoRe-WAM achieves 92.22% clean success across 50 RoboTwin 2.0 tasks, 3.56 percentage points above Motus; on randomized evaluation, it achieves 89.60% success, a 2.58-point gain. Integrating TraceDelta into a StarVLA-based policy improves clean success from 58.10% to 67.62%, supporting transfer of the temporal interface beyond Motus.
arXiv ID: 2609.27314 / 要約の誤りについて