LLMエージェントの強化学習を軌跡内と軌跡間で最適化
Dual-Axis Policy Optimization for LLM Agents: Bayesian Feedback Attribution and Trajectory Mass Normalization
この論文をやさしく読む
ひとことで言うと
LLMエージェントの強化学習で、行動へのフィードバック配分と、複数の実行全体の重み付けを別々に改善する方法です。
何に役立つ？
環境からの評価を各行動へ反映させながら、長さなどが異なる実行を学習バッチで公平に扱う構成として役立ちます。
この研究の面白いところ
一つの軌道内ではベイズ的な事後分布を使い、軌道間では各完全軌道へ等しい最適化の重みを割り当てます。二軸の効果が独立にあり、組合せが最良だったとしています。
どこまで分かった？
GRPO・GiGPOと三評価環境での実験結果です。要旨に具体的な改善率はなく、任意のエージェント課題に最適という理論保証を述べてはいません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
LLMエージェントの強化学習には、異なる二つの最適化の側面がある。一つは軌跡の内部で環境からのフィードバックをどう活用するか、もう一つはバッチ全体で完結した軌跡をどう集約するかである。本研究はこれらを「軌跡内フィードバック帰属」と「軌跡間目的関数集約」として定式化し、二軸の方策最適化の枠組みBATON（Bayesian Attribution and Trajectory Objective Normalization）を導入する。 BATONは、サンプルされた行動についてフィードバックを条件とする事後分布を構築するBayesian Feedback Attributionにより第1の軸を実現する。第2の軸には、完結した各軌跡に等しい最適化の重みを割り当てるTrajectory Mass Normalization（TMN）を用いる。 ALFWorld、WebShop、SearchQAでGRPOおよびGiGPOを使って実験したところ、両軸はそれぞれ独立した改善をもたらし、組み合わせると、モデル規模をまたいで一貫して最も良い総合性能を達成した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Reinforcement learning for LLM agents involves two distinct optimization di- mensions: how environment feedback is exploited within a trajectory, and how complete trajectories are aggregated across a batch. We formulate these dimen- sions as Intra-Trajectory Feedback Attribution and Inter-Trajectory Objec- tive Aggregation, and introduce BATON (Bayesian Attribution and Trajectory Objective Normalization), a dual-axis policy optimization framework. BATON instantiates the first axis with Bayesian Feedback Attribution, which constructs a feedback-conditioned posterior over sampled actions, and the second with Trajec- tory Mass Normalization (TMN), which assigns equal optimization mass to com- plete trajectories. Experiments with GRPO and GiGPO on ALFWorld, WebShop, and SearchQA show that both axes provide independent gains and that their combi- nation consistently achieves the strongest overall performance across model scales.
arXiv ID: 2609.19830 ／ 要約の誤りについて