予測の不確かさに応じて世界モデルの学習計算を減らす
Adaptive Rollout Truncation Based on Epistemic Uncertainty for Efficient Offline World Model Training
この論文をやさしく読む
ひとことで言うと
ロボットの未来予測モデルを学ぶとき、自信の低い予測が続く前に予測の連鎖を止め、計算を節約する方法です。
何に役立つ？
長期予測モデルを学ぶための計算負担を抑えることに役立ちます。ANYmal-Dでは同程度の予測性能でロールアウト計算を約72%減らしたと報告しています。
この研究の面白いところ
学習中の信頼性に応じて予測長が変わり、自動的なカリキュラムになります。不確実性推定を安定させてから打ち切る点も特徴です。
どこまで分かった？
72%はロールアウト計算の削減で、学習時間全体やロボットの行動性能の改善率ではありません。要旨には実機での評価かどうかの詳細は記載されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
正確なニューラル世界モデルは、過去に観測した軌道から将来状態を予測できるため、モデルベースのロボティクスで中心的な役割を担う。複数ステップの自己回帰学習は長期予測を改善するが、固定長のロールアウトは計算コストを増し、モデルがまだ不正確な学習初期には誤りを増幅することもある。既存の学習方式は通常、モデルの現在の予測信頼性にかかわらず、最適化全体で同じロールアウト長を使う。 本研究では、自動カリキュラム学習に沿った、認識的不確実性に基づく適応的ロールアウト戦略を、オフライン世界モデル学習のために提案する。常に固定の長さまで展開する代わりに、ウォームアップ段階で較正した閾値を認識的不確実性が超えると、自己回帰ロールアウトを終了する。不確実性推定器として、共通の再帰型バックボーンを持つ5ヘッドのアンサンブルと、モンテカルロ・ドロップアウトを検討する。適応的打ち切りを有効にする前に、2段階のウォームアップで不確実性推定を安定させる。 ANYmal-DとANTでの実験では、アンサンブルによる適応的打ち切りが、固定長学習およびRWM-Uベースラインと同等以上の予測精度を、はるかに少ない累積ロールアウトステップで達成した。ANYmal-Dの世界モデルは、提案手法によりベースラインと同程度の最終性能に、およそ72%少ないロールアウト計算で到達する。これらの結果は、認識的不確実性が後段の方策の正則化だけでなく、世界モデル自体の学習の計算効率を高めるためにも有用であることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Accurate neural world models are central to model-based robotics, where they enable robots to predict future states from previously observed trajectories. Multi-step autoregressive training improves long-horizon prediction, but fixed rollout horizons also increase computational cost and can amplify early training errors when the model is still inaccurate. Existing training schemes typically use the same rollout length throughout optimization, independent of the model's current predictive reliability. We propose an epistemic uncertainty-driven adaptive rollout strategy for offline world model training following an auto-curriculum training scheme. Instead of always unrolling to a fixed horizon, the model terminates autoregressive rollouts once epistemic uncertainty exceeds a threshold calibrated from a warm-up phase. We study two uncertainty estimators: a five-head ensemble with a shared recurrent backbone and Monte Carlo Dropout. A two-stage warm-up procedure stabilizes uncertainty estimates before we enable adaptive truncation. Experiments on ANYmal-D and ANT show that ensemble-based adaptive truncation matches or improves the prediction accuracy of fixed-horizon training and the RWM-U baseline while requiring substantially fewer cumulative rollout steps. Training a world model on ANYmal-D following the presented approach reaches comparable final performance with the baselines with roughly 72% less rollout computation. These results indicate that epistemic uncertainty is useful not only for downstream policy regularization, but also for making world model training itself more compute-efficient.
著者のコメント
8 pages, 12 figures. Accepted at the IEEE/RSJ IROS 2026 Workshop "Rethinking Uncertainty for Modern Robotics Paradigms"
arXiv ID: 2609.21482 ／ 要約の誤りについて