ソフトウェア修正エージェントを課題別に鍛えて統合
One to More, More to One: Category-Aware Iterative Expert Training for Software Engineering Agents
この論文をやさしく読む
ひとことで言うと
種類によって得意不得意が出るコード修正エージェントを、課題別に学習させて一つにまとめる。
何に役立つ？
ソフトウェア修正エージェントの種類別の成績低下を見つけ、改善する訓練設計に役立つ。
この研究の面白いところ
成功した自分の軌道を再利用し、課題を選び直す専門家訓練を、一モデルへの蒸留につないだ。
どこまで分かった？
成績はPro-618とSWE-bench Multilingualの指定評価によるもので、すべての開発課題での改善は示していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
リポジトリ全体を扱うソフトウェア開発の課題には多様な種類があり、一つにまとめたエージェントの強化学習では、ある種類の改善と別の種類の悪化が同時に起こり得る。全体の解決率だけではこの偏りが隠れる。そこで課題の種類を考慮した専門家の訓練と方策の統合を提案する。実行可能な課題の構築と、証拠に基づき複数の軸で分類するSWE Labelerで訓練用の課題群を整理する。種類別の最初の強化学習は平均訓練成功率を高める一方、事例ごとの進歩は不均一だったため、成功した動きの明示的な定着と、方策に合わせた課題の再選択を導入する。同じ起源の種類別専門家は、長い手順のAgentic-miniRLとRefresh-Repair-Expandを交互に行う。更新した方策で課題ごとの習得度を調べ直し、自分自身が成功して検証された軌道をRepair SFTに再利用し、次の強化学習の課題を選び直す。ラベルで教師を振り分けるオンポリシー蒸留MOPDで専門家を一つの実用モデルにまとめ、ReLUゲート付きの報酬外挿で各教師の基準から改善する方向だけを残す。訓練と統合は、外部モデルから解答軌道や行動の目標を受け取らずに行う。まとめた強化学習、均衡させた強化学習、専門家の育成、一モデルへの統合を、全体と種類ごとの解決率などで評価した。最終的なMOPD方策の平均解決率はPro-618で58.04％、SWE-bench Multilingualで59.00％で、基盤モデルよりそれぞれ5.39、2.78パーセントポイント高かった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Repository-level software engineering (SWE) comprises heterogeneous task categories, whose progress under pooled agentic reinforcement learning can be uneven: gains in some categories coincide with regressions in others, while aggregate resolution obscures these changes. Motivated by this category see-saw, we develop a category-aware expert-training and policy-integration framework. Executable task construction and SWE Labeler, an evidence-grounded multi-axis labeling system, organize the training pools. Initial category-specific RL improves average training success while leaving uneven instance-level progress, motivating explicit consolidation of successful behavior and policy-adaptive task selection. Same-origin category experts alternate long-horizon Agentic-miniRL with Refresh-Repair-Expand (RRE): the updated policy refreshes instance mastery, reuses its own verified successful trajectories for Repair SFT, and reselects tasks for further RL. Label-routed multi-teacher on-policy distillation (MOPD) consolidates the experts into one deployable student, with ReLU-gated reward extrapolation keeping only each teacher's improving direction over the reference. Expert training and policy integration require no external model to provide solution trajectories or action targets. We evaluate Pooled RL and Balanced RL, expert development, and single-model integration through aggregate and per-category resolution, the minimum category lift over each joint-RL baseline, and expert-gain recovery. The final MOPD policy achieves mean resolution of 58.04% on Pro-618 and 59.00% on SWE-bench Multilingual, improving over the base model by 5.39 and 2.78 percentage points, respectively.
著者のコメント
44 pages, including appendices. Model available at https://huggingface.co/Logics-MLLM/Logics-SWE-Qwen3.6-27B
arXiv ID: 2609.23377 ／ 要約の誤りについて