複数の価値を調整する言語モデルの目的衝突を予測
Which Objectives Need a Dial? Predicting Objective Conflict and Covering Trade-offs in Steerable Pluralistic Alignment
この論文をやさしく読む
ひとことで言うと
複数の目的を調整できる言語モデルについて、目的の衝突を事前に見分け、トレードオフを広く扱う方法を調べた。
何に役立つ？
異なる利用者の選好に応じて調整できるモデルの学習計画を立てる際に役立つ。
この研究の面白いところ
人の注釈では学習前の測定が目的の整合性を予測したが、AIの注釈では応答長や反復が妨げになった。
どこまで分かった？
結果はHelpSteerとUltraFeedbackの七つの目的の組での評価であり、モデル選択やパラメータ統合は直接学習と常に同等ではない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
人々の価値観は多様で、ときには対立するため、一つの方針に合わせたモデルですべての人を満足させることはできない。複数の価値観を扱うアラインメントには、競合する目的のバランスを変えられるモデルが求められる。多目的直接選好最適化（MODPO）は、目的の重みを用いて、連続的なトレードオフを表す。本研究は、どのような場合に一つのモデルが二つの目的を同時に改善できるのか、また各トレードオフごとに個別のモデルを学習せずに多数のトレードオフをどう網羅できるのかを調べる。 HelpSteerとUltraFeedbackから得た七つの目的の組では、学習前に行う二種類の測定によって、人が注釈したデータで目的同士が整合するか衝突するかを予測できた。一方、AIが注釈したデータでは予測できなかった。そこでは応答の長さと反復が報酬モデルのスコアを交絡させるためである。より広いトレードオフをカバーするには、学習済みモデルの中から最も近いものを選ぶ方法も、モデルのパラメータを統合する方法も役立つが、どちらも直接学習した場合に一貫して並ぶわけではない。これらの知見は、多様な選好に対応して調整可能なモデルを構築するための実務的な指針を与える。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
People hold diverse, sometimes conflicting values, so no single aligned model can satisfy everyone. Pluralistic alignment therefore calls for steerable models that can balance competing objectives differently. Multi-Objective Direct Preference Optimization (MODPO) does this by using an objective weight to span a continuum of trade-offs. We study two questions: when can one model improve two objectives simultaneously, and how can many trade-offs be covered without training a separate model for each? Across seven objective pairs from HelpSteer and UltraFeedback, two pre-training measurements predict whether objectives align or conflict for human-annotated data, but not for AI-annotated data, where response length and repetition confound reward-model scores. For broader trade-off coverage, selecting the nearest trained model and merging model parameters both help, but neither consistently matches direct training. These findings yield practical guidance for building steerable models that serve diverse preferences.
著者のコメント
Preprint
arXiv ID: 2609.26929 ／ 要約の誤りについて