成功と失敗の履歴で凍結済みロボット方策を誘導
TraceFlow: Guiding Frozen Flow-Matching Robot Policies with Success and Failure Traces
この論文をやさしく読む
ひとことで言うと
成功した試行だけでなく失敗した試行も使い、重みを固定したロボット方策の動きを推論時に修正します。
何に役立つ？
実行の成否が一ビットだけ分かる状況で、経験を次の操作へ反映する用途が考えられます。
この研究の面白いところ
実機の順序付き梱包で50試行中21成功から39成功、追加の一巡で47成功へ改善し、誤順序を20回から0回へ減らしました。
どこまで分かった？
シミュレーションの改善は選択的で、26タスクの総合値は不変、計数や遮蔽では低下しました。履歴を増やし続ければ無限に向上するわけでもありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
フローマッチング型の行動エキスパートを持つ視覚・言語・行動方策（VLA）は、学習した速度場を積分して、短い指令列である行動チャンクを生成する。重みを固定した後は、それ以前の実行の成否は現在生成するチャンクを変えられない。同時期に提案されているテスト時手法は、検索した成功例、学習した批評器、検証器、またはダイナミクスモデルから、凍結した方策へこうした入力を与える。しかし、終端の成否1ビットだけを用いて、ロボット自身の失敗した実行を負の証拠として利用するものはない。 本研究ではTraceFlowを提案する。これは進行度をそろえた誘導場で、検索した成功・失敗の実行の行動密度を、凍結したフローマッチング行動エキスパートへの有界な補正に変換する。用いるラベルは各実行の終端の成否1ビットだけである。TraceBankには、終端ラベルを伴う時系列の状態・行動記録を履歴として保存する。対象タスクの訓練履歴から始め、その後は運用中のロボット自身の実行も取り込む。 順序を守る必要がある実機の梱包タスクでは、50試行中、基本方策は21試行、TraceFlowは39試行を正しい順序で完了した。重みを一切更新せずにスタッキングを1ラウンド行うと47試行となり、順序を間違えたエピソード数は20から0へ減った。シミュレーションでの改善は一様ではない。各スイートごとに選んだ設定では、スタッキングの第2ラウンドでRoboMemArenaのSequenceのタスク成功率が78.92%から91.50%へ、Transferringが54.41%から62.00%へ上昇した。一方、26タスクの集計値は変わらず、CountingとOcclusionはそれぞれ1.12ポイントと1.42ポイント低下し、LIBERO-Plus（Long）の変化は＋1.27ポイントだった（p＝0.0733）。スタッキングによる改善には限りがあり、どの分岐も第10ラウンドより前にピークに達した。また、バンク内の成功対失敗の比率から、検索時の配分を予測することはできなかった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
A vision-language-action (VLA) policy with a flow-matching action expert generates each action chunk (a short command sequence) by integrating a learned velocity field; once its weights are fixed, the success or failure of an earlier rollout cannot change the chunk generated now. Concurrent test-time methods give a frozen policy such an input from retrieved successes, a learned critic, a verifier, or a dynamics model, but none uses the robot's own failed rollouts as negative evidence with nothing but a terminal outcome bit. We introduce TraceFlow, a progress-aligned guidance field that turns the action densities of retrieved successful and failed rollouts into a bounded correction to a frozen flow-matching action expert, using one terminal outcome bit per rollout and no other label. Its TraceBank stores traces, time-ordered state-action records with a terminal label, starts from the target-task training traces, and later admits the deployed robot's own rollouts. On an ordered real-robot packing task the base completes 21 of 50 trials in order, TraceFlow 39, and one stacking round without any weight update 47, with wrong-sequence episodes falling from 20 to 0. In simulation the gain is selective: with per-suite selected settings, TraceFlow raises RoboMemArena Sequence from 78.92\% to 91.50\% task success and Transferring from 54.41\% to 62.00\% at stacking round 2, leaves the 26-task aggregate unchanged, lowers Counting and Occlusion by 1.12 and 1.42 points, and changes LIBERO-Plus (Long) by +1.27 points (p = 0.0733). Stacking gains are finite, every branch peaking before round ten, and the bank's success-to-failure ratio predicts no retrieval allocation.
arXiv ID: 2609.20646 ／ 要約の誤りについて