候補行動を見分ける世界モデルによるロボット計画
AD-WM: Action-Discriminative World Models for Counterfactual Model Predictive Control
この論文をやさしく読む
ひとことで言うと
ロボットが次の行動を選ぶ際、実際に起きた結果の予測だけでなく、別の行動を取った場合との違いを学ぶ世界モデルです。
何に役立つ？
モデル予測制御用の世界モデルを評価・訓練する際、単純な予測誤差だけでなく行動ごとの差を残す設計を検討する材料になります。要旨の実機結果は研究チームのFranka設定でのものです。
この研究の面白いところ
OGBench-Cubeの難しい初期状態では成功率が3.7%から52.0%に上がり、Frankaの基本的なつかみ上げ・配置でも42.2%から71.1%に上がりました。予測誤差が小さい順と実際の制御成功の順が一致しない点も調べています。
どこまで分かった？
シミュレーション5環境中4環境で改善し、全環境ではありません。実機の結果は固定したエンコーダーと条件をそろえた追加学習の設定であり、あらゆる作業への一般化は要旨からは分かりません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
潜在表現を使う世界モデルは通常、実際に起きた状態遷移を予測するよう学習される。一方、モデル予測制御（MPC）では、同じ状態から取れる複数の行動を比較しなければならない。そのため、実際の遷移の予測誤差が小さくても、候補行動の違いを十分に見分けられないモデルがあり得る。本研究は、反実仮想的なMPCのために、行動の違いを識別する共同埋め込み世界モデルAD-WMを導入する。残差型の潜在ダイナミクスに、予測器で行動を復元する正則化を組み合わせる。正則化には逆ダイナミクスと、条件付き相互情報量を動機とした規格化復元目標を用いる。両方の目標は、計画に使う状態遷移に行動情報を残すよう促す。補助的な出力部はテスト時には取り除くため、MPC自体は変わらない。 OGBench-Cubeでは、条件をそろえたLeWM基準モデルに対し、難しい初期状態からの成功率を3.7%から52.0%へ改善した。再現した基準モデルとの比較では、シミュレーション5環境中4環境で平均成功率を改善した。計画診断では、実際の遷移の予測誤差と候補行動全体の順位付けは、閉ループでの成功率の順序と一致しなかった。一方、CEMに合わせた有望候補の後悔量は成功率をよりよく追跡した。固定したV-JEPA 2エンコーダーと条件をそろえたDROIDでの追加学習を使った場合、研究チームのFrankaロボットへのゼロショット転移も改善し、実験室固有の適応なしで基本的な物体のつかみ上げ・配置の成功率は42.2%から71.1%へ上がった。これらの結果は、計画用の世界モデルでは実際の遷移の予測精度だけを高めるのではなく、反実仮想的な選択に必要な行動依存の違いを保つべきことを示唆する。追加の動画とコードも公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Latent world models are typically trained to predict factual transitions, whereas model predictive control (MPC) must compare alternative actions from the same state. A model can therefore achieve low factual prediction error yet poorly distinguish candidate actions. We introduce AD-WM, an action-discriminative joint-embedding world model for counterfactual MPC. AD-WM combines residual latent dynamics with predictor-level action-recovery regularization, using inverse dynamics and a normalized recovery objective motivated by conditional mutual information. Both objectives encourage planning transitions to preserve action information; their auxiliary heads are discarded at test time, leaving MPC unchanged. On OGBench-Cube, AD-WM improves hard-start success from 3.7% to 52.0% over a matched LeWM baseline and improves mean success over the reproduced baseline in four of five simulation environments. Planning diagnostics show that factual prediction error and whole-bank action ranking do not follow the closed-loop success ordering, whereas CEM-aligned elite regret tracks success more closely. With a frozen V-JEPA 2 encoder and matched DROID post-training, AD-WM also improves zero-shot transfer to our Franka setup, increasing basic pick-and-place success from 42.2% to 71.1% without lab-specific adaptation. These results suggest that world models for planning should preserve action-dependent differences needed for counterfactual selection, rather than optimize factual prediction accuracy alone. More videos and code are available at https://ad-wm.github.io/.
著者のコメント
9 pages, 5 figures, 4 tables. Project page: https://ad-wm.github.io/
arXiv ID: 2609.30264 ／ 要約の誤りについて