動画拡散モデルを使わずに行動と環境変化を予測する
Latent evolving World Action Model
この論文をやさしく読む
ひとことで言うと
ロボットの行動とその後の環境を予測するモデルを、重い動画生成モデルに頼らず画像の予測表現から作った。
何に役立つ？
ロボットの行動生成で、学習費用を抑えつつ環境の変化も扱う方法の検討に役立つ。
この研究の面白いところ
動画拡散モデルを省き、実演データだけから行動の好ましさを学ぶ段階を加えた。RoboTwin 2.0で平均成功率92.28％を報告した。
どこまで分かった？
数値結果はRoboTwin 2.0での評価。実世界の物体操作でも有効と述べるが、その詳細な数値は要旨にはない。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
世界行動モデル（WAM）は行動生成と環境の変化を一緒にモデル化し、多くは事前学習済みの動画拡散モデルを基に作られる。この方式では、まず観測を変分オートエンコーダ（VAE）で符号化し、圧縮された潜在表現を大きな動画拡散モデルで処理して行動生成に役立つ特徴を取り出す。しかし性能と学習費用が大規模な動画生成の事前学習に依存し、効率や拡張性を制限する。 本研究は視覚表現がWAMの行動生成に及ぼす影響を理論と実験の両面から調べた。Joint-Embedding Predictive Architecture（JEPA）のエンコーダが作る予測的な埋め込みは、VAEの圧縮表現より行動生成をよく支え、比較したエンコーダの中ではI-JEPAが最良だった。そこで、JEPAの埋め込みを条件として行動を生成し、同じ表現空間の将来の埋め込みを予測して環境変化をモデル化するLeWAMを提案する。動画拡散モデルの基盤は使わない。 さらに、模倣学習は実演された行動に合わせるが、少しの行動の違いが成功率を大きく変えても、良い行動と悪い行動を区別しないことを見いだした。この問題に対し、環境との追加のやり取りや、リセットと安全のための人間による監督を必要とせず、実演から選好の教師信号を直接作るオフラインの改善段階Demonstration-Guided DPO（DemoDPO）を導入する。学習可能なパラメータ数は4億で、LeWAMはRoboTwin 2.0で平均成功率92.28％を達成し、最先端の視覚言語行動モデルやWAMと同程度だった。実世界の物体操作課題でも実用的な有効性を保った。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-24 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
World Action Models (WAMs) jointly model action generation and environment dynamics and are mostly built on pretrained Video Diffusion Models (VDMs). In VDM-based WAMs, observations are first encoded by a VAE, and the resulting compressed latents are then processed by large video diffusion backbones to extract effective features for action generation. However, this paradigm ties WAM performance and training cost to large-scale video generation pretraining, limiting WAM efficiency and scalability. In this paper, we theoretically and empirically investigate how visual representations affect action generation in WAMs. Our results show that predictive embeddings from Joint-Embedding Predictive Architecture (JEPA) encoders better support action generation than compressed VAE latents, with I-JEPA performing best in our encoder comparison. Based on these findings, we propose LeWAM, which conditions action generation on JEPA embeddings and models environment evolution by predicting future embeddings in the same space, without relying on a video diffusion backbone. We further find that imitation learning matches demonstrated actions but does not distinguish better actions from worse ones, even though small action deviations can greatly affect task success. To address this limitation without additional environment interaction or the human oversight required for resets and safety, we introduce Demonstration-Guided DPO (DemoDPO), an offline preference refinement stage that derives preference supervision directly from demonstrations. With only 0.4B trainable parameters, LeWAM achieves an average success rate of 92.28\% on RoboTwin 2.0, comparable to that of state-of-the-art VLAs and WAMs, and maintains practical effectiveness on real-world manipulation tasks.
著者のコメント
https://github.com/XuejiFang/LeWAM
arXiv ID: 2609.27455 ／ 要約の誤りについて