ロボット方策の追加学習で個別タスクの崩壊を抑える
Uncertainty-Gated Exploration Noise Suppresses Task Collapse in Online RL Fine-Tuning of a Flow-Matching Vision-Language-Action Policy
この論文をやさしく読む
ひとことで言うと
ロボット方策を追加学習すると一部のタスクだけができなくなる問題を、探索ノイズの調整で抑える研究です。
何に役立つ？
複数タスクのロボット方策を継続学習させる際、タスクごとの性能低下を監視・抑制する方法の評価に役立ちます。
この研究の面白いところ
タスク名を使わずに探索を配分し、固定ノイズや学習ノイズで見られた崩壊を三つのシードでは避けました。ただし、行動クローニングの基準性能は超えていません。
どこまで分かった？
比較はLIBERO-10、SmolVLA、指定の小さな計算予算での結果です。状態間と時間方向の適応の寄与は切り分けられておらず、fp32の結果は単一シードの観察です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
事前学習したフローマッチング型の視覚・言語・行動（VLA）方策を、オンライン強化学習で追加学習できれば、ロボットは導入後も学び続けられる。しかし更新を続けると、全体の成績は健全に見えても個々のタスクの能力が失われることがある。本研究はこれを「タスク崩壊」と呼び、LIBERO-10で、4億5000万パラメータのSmolVLAを確率的（SDE）サンプリングを伴うPPOで学習し、計算量をそろえて調べる。 探索ノイズの方策は、固定したノイズの大きさ、ReinFlow型の学習するノイズネットワーク、不確実性に基づくゲート付き制御器の三つを比較する。制御器は、タスク名やエピソードの境界を使わず、タスクに依存しない新規性と能力の信号から、タスクの流れに応じて探索を再配分する。複数タスクをまとめた定義では、固定ノイズは三つの乱数シードのうち二つで、学習するノイズは反復200まで測定したすべてのシードでタスク崩壊を起こした。一方、制御器は三つのシードのどれでも崩壊しなかった。パラメータ変化量の測定では制御器の行動エキスパートは変化を続け、利用できるログでは平均的な適用ノイズは固定方式に近かった。条件をそろえた比較は制御器がタスク保持に効くことを支持するが、状態による適応と時間に伴う適応の寄与は切り分けられていない。固定ノイズを小さくすると成績低下は遅くなるが止まらない。この計算予算では、どの方式も行動クローニングの基準性能を上回らなかった。 この条件の性質として二つの測定も報告するが、タスク崩壊の原因とはしていない。参照手順に従い、fp32のマスターコピーを持たずbfloat16で学習した場合、行動エキスパートの要素の96.02%は連続する三回の反復でビット単位で変化しなかった。また、参照学習率でfp32のマスターコピーを使うと、単一シードの観察では比較した両方式が崩壊した。四つの定義に基づくタスクごとの崩壊測定、ノイズの再評価、計測器具のオフセット確認のためのツールを公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Online reinforcement learning fine-tuning of pretrained flow-matching vision-language-action (VLA) policies promises robots that keep learning after deployment, but continued updates often destroy competence on individual tasks while the aggregate still looks healthy. We study this failure mode, which we call task collapse, under a matched small-compute budget on LIBERO-10 with a 450M-parameter SmolVLA policy trained by PPO with stochastic (SDE) sampling. Three exploration-noise policies differ in one live variable: a fixed noise scale, a ReinFlow-style learned noise network, and an uncertainty-gated controller that redistributes exploration across task streams from task-agnostic novelty and competence signals, without task labels or episode boundaries. Under the pooled definition, fixed noise collapses tasks in two of three seeds and learned noise in every seed measured to iteration 200, while the controller collapses none in any of its three seeds. Measured parameter displacement shows the controller's action expert keeps changing, while its mean applied noise is close to the fixed scale in the available logs. The matched comparison supports the controller's effect on task preservation; the separate contributions of its adaptation across states and over time are not disentangled. A lower fixed scale slows the decline but does not stop it. No arm improves on the behavior-cloning baseline in this budget. Two properties of that regime are measured beside this result, not offered as its cause: following the reference recipe, training runs in bfloat16 with no fp32 master copy, under which 96.02% of the action expert's elements stay bit-identical across three consecutive iterations, and an fp32 master copy at the reference learning rate collapses both arms in a single-seed observation. We release tools measuring per-task collapse under four definitions, rescoring noise and instrument tares.
著者のコメント
38 pages, 6 figures. Submitted to ICLR 2027
arXiv ID: 2609.28838 ／ 要約の誤りについて