描画不要の教師モデルで自動運転を追加学習
OPTED: On-Policy Fine-Tuning for End-to-End Driving using a Render-Free Teacher
この論文をやさしく読む
ひとことで言うと
簡略な道路情報で学習した教師が、カメラを使う自動運転モデルの追加学習を指導する方法です。
何に役立つ？
考えられる用途は、閉ループ走行で誤差が積み重なる問題を、少ないシミュレーションで改善することです。
この研究の面白いところ
強化学習を教師側へ分離し、二つの運転モデルのスコアをそれぞれ1.6倍と9.5倍に改善しました。
どこまで分かった？
評価は実走行ログの3DGS再構成を使うAlpaSimで行われています。約3桁の対話回数削減は制御された比較実験での結果で、実車安全性の直接証明ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
事前学習データを増やすだけでは効果が逓減するため、自動運転などの物理AI領域で、事後学習の重要性が増している。端から端までを扱う運転ポリシーは、人の実演を行動模倣することで、開ループで事前学習される。しかし閉ループでの運用中には誤差が累積し、車両が訓練データの分布外へ出て、安全上重大な事象のリスクが増す可能性がある。閉ループの事後学習はこのリスクを軽減できるが、センサー入力を使うポリシーには高コストのシミュレーションが必要となる。 本研究では、端から端までの運転のためのオンポリシー微調整手法OPTEDを提案する。OPTEDは、強化学習と運転ポリシーの事後学習を分離する。特権情報を利用する教師モデルを、高精度地図とバウンディングボックスというベクトル化入力に基づく強化学習で訓練し、その教師が閉ループ事後学習中の事前学習済み生徒モデルへ教師信号を与える。 カメラに基づく2つのモデルTransFuserとVaVAMにOPTEDを適用し、実走行記録のニューラル再構成（3DGS）を用いてAlpaSim上で微調整した。運転スコアはそれぞれ1.6倍、9.5倍に増加した。条件を制御した実験では、OPTEDは直接的な強化学習による事後学習と同等の閉ループ性能を、約3桁少ないシミュレーターとの相互作用回数で達成し、同時に、人の運転から得た事前知識により近い挙動を保つ。プロジェクトページ：https://01dami23.github.io/opted/
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
As scaling pre-training data alone yields diminishing returns, post-training is becoming increasingly important across physical AI domains such as autonomous driving. End-to-end driving policies are pre-trained in open loop with behavior cloning on human demonstrations. However, compounding errors during closed-loop deployment can take the vehicle outside the training data distribution, increasing the risk of safety-critical incidents. Closed-loop post-training can mitigate this risk but requires costly simulation for sensor-based policies. We propose OPTED (on-policy fine-tuning for end-to-end driving) which decouples reinforcement learning from the post-training of the end-to-end policy: a privileged teacher is trained using RL on vectorized inputs (HD-map and bounding boxes). This teacher then provides supervision to the pre-trained student during closed-loop post-training. We apply OPTED to two camera-based models, TransFuser and VaVAM, and fine-tune them in AlpaSim, using neural reconstructions (3DGS) of real driving logs. Driving scores increase by factors of 1.6$\times$ and 9.5$\times$, respectively. In controlled experiments OPTED matches closed-loop performance with approximately three orders of magnitude fewer simulator interactions than direct RL post-training, while staying closer to the human prior. Project page: https://01dami23.github.io/opted/
著者のコメント
9 pages, 5 figures
arXiv ID: 2609.20756 ／ 要約の誤りについて