HiRE：成功と失敗の軌跡からロボット学習の報酬を修正
HiRE: Hindsight Reward Editing for Policy Finetuning
この論文をやさしく読む
ひとことで言うと
成功例と失敗例を比べ、ロボットの強化学習で使う報酬を事後的に修正する方法。
何に役立つ？
考えられる用途は、既存のロボット方策を新しい環境へ追加学習させる際の報酬設計。実験では、他の報酬設計より高い性能などが報告されている。
この研究の面白いところ
高報酬と予測されても後で失敗する状態を見つけて減点し、成功に重要な状態を加点する。報酬モデル自体の追加学習を要しない。
どこまで分かった？
要旨は実験で基準方策の少なくとも3倍の性能を報告するが、対象タスクの範囲や実環境への一般化の程度は示していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
事前学習したロボットの方策は、特定の環境に適応するための追加学習を必要とする。強化学習はデータを単に模倣するのでなく行動の最適性を高められるため、高い性能が期待できる。しかし、その可能性は報酬の質に大きく依存する。疎な報酬には過程へのフィードバックがなく、人が設計する報酬は高コストで偏りが生じやすく、基盤表現から得る意味的な報酬は制御に必ずしも適していない。 そこで、報酬の問題を解くため、学習を要しない枠組みHindsight Reward Editing（HiRE）を提案する。成功した軌跡と失敗した軌跡を事後的に対比し、基盤表現モデルの広い知識を物理的な制御に関する情報と結び付ける。高い報酬が予測されながら最終的には失敗する「わな状態」と、その逆の状態を特定して基盤表現モデルを調整する。HiREはわな状態に明示的な罰則を与え、成功に重要な状態の報酬を高める。さまざまな基盤表現や強化学習アルゴリズムと組み合わせられる。実験では、密で制御に即したフィードバックにより、価値関数の崩壊や報酬の抜け道を防ぎ、他の報酬設計より一貫して優れたサンプル効率、安定した方策更新、高い性能上限を示した。例として、基準となる方策の少なくとも3倍の性能を達成した。定性的な結果は研究のウェブサイトで公開している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Pre-trained robot policies always require finetuning to adapt to specific environments. Reinforcement Learning (RL) offers high performance potential because it improves action optimality rather than simply mimicking data. However, such potential depends heavily on reward quality. Sparse rewards lack process feedback, human-designed rewards are costly and biased, and semantic rewards from foundation representations are often not control-centric. We propose Hindsight Reward Editing (HiRE), a training-free framework to break this reward bottleneck. HiRE bridges the broad knowledge of foundation representation models with physical control awareness, by contrasting successful and failed trajectories in hindsight. It calibrates foundation representation models by identifying "trap states" that are predicted as high-rewarding states yet eventually result in failure, and vice versa. HiRE explicitly penalizes these traps while boosting rewards for critical successful states. This approach can be flexibly compatible with any foundation representations and RL algorithms. Experiments show that HiRE consistently outperforms other reward recipes by delivering dense, control-aware feedback that prevents value function collapse and reward hacking, thereby achieving superior sample efficiency, stable policy updates, and higher performance ceilings, e.g., at least 3x performance of the base policies. Qualitative results are at https://hire-project.github.io .
著者のコメント
CoRL 2026
arXiv ID: 2609.27068 ／ 要約の誤りについて