作業の現在段階を読む価値関数でロボット操作を改善
SeeQ: Training Generalist Value Functions for Long-Horizon Robotic Manipulation
この論文をやさしく読む
ひとことで言うと
長い作業全体の成否を一度に予測する代わりに、今取り組んでいる小さな作業の価値を予測し、ロボットの行動を選びやすくします。
何に役立つ？
複数の候補行動から有望なものを選ぶ際に利用できます。2種類の双腕ロボットによる実機評価で、候補選択を通じた操作の改善が報告されています。
この研究の面白いところ
小課題の判定と価値推定を同じモデルの中で行うため、実行時に人が作業段階を指定しなくてよい設計です。一方、学習時には小課題の注釈を活用しています。
どこまで分かった？
実機で確認された範囲は4課題です。要旨には改善幅の具体的な数値や、注釈を持たない学習データだけでの性能は示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
急速な進歩にもかかわらず、汎用ロボット方策は、複数の段階からなる課題や、成功まで同じ段階で試行と熟考を繰り返す必要がある複雑な長期課題に対して、依然として脆弱である。Q価値関数は、候補行動の順位付けや方策改善の誘導により、こうした方策を改善できる。しかし、課題全体に対してしか与えられない疎な報酬から学習すると、長い時間範囲での功績割り当て、難しいベルマン更新、広いデータ範囲の確保が必要になる。そこで本研究では、現在実行中の小課題に対するQ値を学ぶSeeQ（Subtask-elicited Q-functions）を提案する。これにより価値予測の時間範囲を短縮し、時間差分（TD）目的関数による効果的な学習を可能にする。 学習時には、オフラインのロボットデータに含まれる小課題単位の注釈が課題の分解を与え、最適とは限らない幅広いロボットデータセットからの学習を可能にする。テスト時に人による注釈や独立した小課題予測システムを不要にするため、Q関数の構造は、価値を推定する前に現在の小課題を自然言語で自己回帰的に予測するよう学習される。SeeQを基盤となる視覚言語モデルで構成し、多様な公開ロボット操作データで事前学習した後、下流課題に合わせて微調整する。2種類の双腕ロボット基盤を使った4つの実世界操作課題において、SeeQの価値関数は、N個の候補から最良のものを選ぶbest-of-N方式による方策の誘導を大幅に改善した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Despite rapid progress, generalist robot policies remain brittle on complex, long-horizon tasks that comprise multiple stages or require repeated attempts and deliberation on the same underlying stage before success. Q-value functions can improve these policies by ranking candidate actions or guiding policy improvement, but learning from sparse task-level rewards entails long credit-assignment horizons, difficult Bellman backups, and broad data-coverage requirements. We introduce SeeQ (Subtask-elicited Q-functions), which instead learns Q-values for the currently active subtask. This shortens the value-prediction horizon and enables effective learning with temporal-difference (TD) objectives. During training, subtask-level annotations present in offline robot data provide the decomposition and enable learning from broad, potentially suboptimal robot datasets. To eliminate the need for human annotations or modular subtask prediction systems at test time, our Q-function architecture is trained to autoregressively predict the active subtask in natural language before estimating its value. We instantiate SeeQ using a base vision-language backbone, pretrain it on diverse open-source robot manipulation data, and finetune it on downstream tasks. Across four real-world manipulation tasks on two bimanual robot platforms, the SeeQ value function substantially improves best-of-N policy steering.
著者のコメント
Website: : https://saksham002.github.io/seeq/
arXiv ID: 2609.22085 ／ 要約の誤りについて