事後ラベル付けで多目的強化学習の選好範囲が縮む
On Preference Coverage Collapse from Hindsight Relabeling in Multi-Objective Reinforcement Learning
この論文をやさしく読む
ひとことで言うと
多目的強化学習で達成結果に合わせて目標を後から付け替えると、扱える選好が狭まり性能が落ちる場合を示した。
何に役立つ？
選好を切り替える強化学習のデータ再利用方法を設計する際に役立つ。
この研究の面白いところ
36条件中19で悪化した原因を選好のカバレッジ低下として測り、一つの混合パラメータで16条件を基準まで戻した。
どこまで分かった？
結果はMO-Gymnasiumの連続制御課題と試した四つのアルゴリズムでの評価である。すべての多目的強化学習手法で同じ影響が出るとは示していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
事後ラベル付けは、行動の目標をエージェントが実際に達成した結果へ後から置き換える方法で、強化学習（RL）のサンプル効率を改善する有効な手段である。選好を条件とする多目的強化学習（MORL）では、要求された選好の向きではなく、達成された選好の向きで遷移をラベル付けする拡張が考えられる。本研究は、この拡張がしばしば有害なことを示す。連続制御のMO-Gymnasiumで、二種類の価値評価器の基盤と二種類の選好サンプリング方式にまたがる四つのオフポリシーアルゴリズムを評価したところ、36のアルゴリズムと環境の組のうち19で性能が低下し、低下幅は最大で標準偏差の4倍に達した。改善したのは1組だけで、残りは影響を受けなかった。 悪影響はラベルのノイズのせいではない。目標のノイズを除いてもほとんど回復せず、優先度付きサンプリングや、リプレイバッファの構造だけの選択でもこの現象は再現しなかった。繰り返しラベルを付け直すと、価値評価器が扱う選好の範囲が、エージェントが偶然訪れた狭い領域へ縮む。これを「選好カバレッジの崩壊」と名付け、放棄された選好の量（APM）という価値を考慮した統計量で定量化した。APMは害の大きさと相関し、ρ=−0.73だった。一方、構造だけを見るカバレッジの件数では追跡できなかった。次に、達成した向きを要求された選好へ引き戻す、一つのパラメータを持つ凸結合her_mixを導入した。すべてのアルゴリズムと環境で一つの固定値を使うと、悪化した19組のうち16組を基準性能へ戻し、もともと事後ラベル付けが有効だった1組の効果を維持し、さらに改善した。APMは69％から6％へ下がった。MORLで事後ラベル付けを安全に使う鍵は、ノイズのあるラベルを取り除くことではなく、選好単体上のカバレッジを守ることにある。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Hindsight relabeling which retroactively replacing a transition's goal with the outcome the agent actually achieved is an effective tool for improving sample-efficiency in Reinforcement Learning (RL). A natural extension to preference-conditioned multi-objective RL (MORL) relabels transitions with the preference direction the agent achieved rather than the one asked for. We show that this extension is frequently harmful: across four preference-conditioned off-policy algorithms spanning two critic backbones and two preference-sampling schemes on the continuous-control MO-Gymnasium suite, it degrades 19 of 36 algorithm-environment settings by as much as four standard deviations, improves only one, and leaves the rest unaffected. The harm is not a symptom of noisy relabels; denoising the target recovers almost nothing, and neither prioritized sampling nor any buffer-structural choice reproduces it. Instead, repeated relabeling collapses the critic's coverage onto whatever narrow region of the preference space the agent happened to visit. We name this failure mode \emph{Preference Coverage Collapse}, and quantify it with abandoned preference mass (APM), a value-aware statistic that tracks the harm ($\rho = -0.73$) where a purely structural coverage count does not. We then introduce \texttt{her\_mix}, a single-parameter convex combination pulling the achieved direction back towards the requested preference. At one fixed value across every algorithm and environment, it returns 16 of the 19 harmed settings to baseline, preserves and even improves the one setting in which relabeling helps, and cuts abandoned preference mass from $69\%$ to $6\%$. Protecting coverage over the preference simplex, not filtering noisy relabels, is what makes hindsight relabeling safe for MORL.
arXiv ID: 2609.26918 ／ 要約の誤りについて