未来画像の予測なしで生成モデルをロボット制御に適応
Beyond Future Prediction: Denoising as Generative Adaptation for Robot Control
この論文をやさしく読む
ひとことで言うと
画像生成モデルをロボットの行動学習に使う際、未来の画像を予測せず、現在の画像のノイズ除去と行動予測を一緒に学習する方法です。
何に役立つ？
ロボット方策の学習で、未来画像を目標にする設計の必要性や、計算量を検討する材料になります。要旨ではLIBERO-Plusでの性能を報告しています。
この研究の面白いところ
未来目標をなくしても比較方式より6.1ポイント高く、視覚トークンを半減し、学習の1ステップも短縮したと報告しています。
どこまで分かった？
結果は要旨にある条件をそろえた比較とLIBERO-Plusでの評価です。実機での成功率や別の環境への一般化は要旨では示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
事前学習された生成型Diffusion Transformer（DiT）は、大量の画像・動画生成学習を通じて、画素レベルの豊かな視覚情報と、言語条件に沿った構造を捉えている。ロボットの方策にもこの生成モデルの知識を利用する研究が増えているが、制御へどう移すべきかは明らかでない。既存の方法では未来の視覚情報を予測する方式が多い。本研究は、事前学習DiTが行動学習に何をもたらし、その知識を制御にどう適応すべきかを問う。NowWAMを提案し、未来の画像を目標とせず、現在の観測のノイズを除去しながら同じ視覚情報の流れからロボットの行動を予測する共同学習を行う。これにより、生成モデル本来の学習目標と、行動予測に使う表現を、ノイズ除去の過程全体で直接結び付ける。 条件をそろえた比較では、過去の画像を目標にしても未来の画像を目標にしても性能は同程度だった。一方、ノイズ除去後のきれいな終点だけで学習すると頑健性が大きく低下した。このことは、生成モデルを制御に適応させるために独立した未来目標は必須ではなく、ノイズ除去の経過が有効な接点となることを示唆する。LIBERO-Plusでは、FLUX2-Kleinを用いたNowWAMの成績は87.7%で、未来目標を使う共同学習の基準方式より6.1ポイント高かった。学習時の視覚トークン数は784から392へ半減し、1ステップの時間は2.85秒から1.63秒へ短縮され、1.8倍高速になった。純粋なテキストから画像を生成するZ-Imageを基盤にしても87.8%に達し、強い制御への適応が動画生成や画像編集の基盤モデルに限られないことを示した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Pretrained generative Diffusion Transformers (DiTs) capture rich pixel-level visual and language-conditioned structure through large-scale image and video generation training. A growing line of robot policies builds on this generative prior, but how it should be transferred to control remains unclear, and existing approaches commonly instantiate this transfer through future visual prediction. We ask a more basic question: what a pretrained generative DiT actually contributes to action learning, and how this prior should be adapted for control. We introduce NowWAM, a future-target-free co-training formulation that denoises the current observation and predicts robot actions from the same visual stream, directly coupling the native generative objective to the action-facing representation across the denoising trajectory. Under matched controlled settings, past and future visual targets perform comparably, while restricting training to the clean endpoint substantially reduces robustness, suggesting that a separate future target is not essential for generative adaptation, while the denoising trajectory remains an effective interface for control. On LIBERO-Plus, NowWAM reaches 87.7% with FLUX2-Klein, improving over the future-target co-training baseline by 6.1 points while halving training visual tokens (784 to 392) and reducing step time from 2.85 s to 1.63 s, a 1.8x speedup. With the pure text-to-image Z-Image backbone, NowWAM further reaches 87.8%, showing that strong control adaptation is not tied to video generation or image-editing backbones.
著者のコメント
Project page: https://xmz111.github.io/NowWAM/
arXiv ID: 2609.28339 ／ 要約の誤りについて