複数ターンのツール操作で学習が効く応答を特定する
Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use
この論文をやさしく読む
ひとことで言うと
AIが何度もツールを使う処理で、どの応答を学習し直すと改善につながるかを診断します。結果のばらつきが、その応答の良し悪しによるものか、後の偶然によるものかを分けます。
何に役立つ？
ツール利用エージェントを改善するとき、学習対象にする応答を選ぶ材料になります。研究では、同じ課題でも学習する位置が違うと改善しない場合があることを比較しています。
この研究の面白いところ
不足しているのが関数か引数かによって、有効な学習位置が違いました。単に失敗した一連の会話を学習するのではなく、改善余地がある状態を診断してから学習しています。
どこまで分かった？
約14パーセントポイントはBFCL v4の関数欠落課題での結果です。他の適用先にも言及していますが、それぞれの改善幅は要旨にありません。診断には課題で定める候補呼出しと局所報酬が必要です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
複数ターンにわたるツール使用の失敗は、一度のモデル呼出しに左右されることがある。しかし、報酬のばらつきだけでは、どの呼出しが学習によって改善するかは分からない。報酬が後続のやり取りに依存する場合、そのばらつきは現在の行動間の違いではなく、後段のランダム性を反映している可能性がある。我々は、複数ターンのやり取りの中で学習可能な状態を特定するCritical-State RLを導入する。課題によって定めた候補の呼出しと局所報酬が与えられると、この手法は、各報酬が行動の課題成功への影響を捉えているか、参照方策を上回る改善が可能かを評価する。その後、入れ子状のサンプリングで、行動に依存する報酬のばらつきと、後続過程のノイズを分離し、選んだ状態における方策を文脈付きバンディット学習で最適化する。Berkeley Function Calling Leaderboard（BFCL）v4での実験では、診断で選んだ状態での学習と、別の状態での学習を比較する。関数が欠けている課題では、診断はツールが利用可能になった後の応答を選ぶ。引数が欠けている課題では、不足する引数が与えられる前の応答を選ぶ。選択された応答を学習すると、関数欠落課題で約14パーセントポイントの改善を含む性能向上が得られた一方、別の応答を学習した場合、性能は横ばいか悪化した。さらに、ログを利用した繰り返し呼出しの回避やメモリ管理を含め、複数のモデルと課題へこの手順を適用する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Multi-turn tool-use failures can hinge on a single model call, yet reward variation alone does not reveal which call would benefit from training. When rewards depend on later interactions, their variation can reflect downstream randomness rather than differences between the current actions. We introduce Critical-State RL to identify trainable states in multi-turn interactions. Given task-defined candidate calls and local rewards, the method assesses whether each reward captures the action's effect on task success and whether improvement over a reference policy is possible. It then uses nested sampling to separate action-dependent reward variation from continuation noise and optimizes the policy at the selected states using contextual-bandit training. Experiments on the Berkeley Function Calling Leaderboard (BFCL) v4 compare training at diagnostic-selected states with training at alternative states. For missing-function tasks, the diagnostic selects the response after the tool becomes available; for missing-argument tasks, it selects the response before the missing argument is supplied. Training the selected responses improves performance, including about 14 percentage points on the missing-function task, while training the alternatives leaves performance flat or worse. We further apply the recipe across models and tasks, including logged repeat-call avoidance and memory management.
著者のコメント
31 pages, 8 figures, 7 tables
arXiv ID: 2609.24985 ／ 要約の誤りについて