段階的な追加学習でエージェントの既習能力を保つ
ACLArena: Agent Continue Learning in Multi-stage Post-training
この論文をやさしく読む
ひとことで言うと
AIエージェントに新しい能力を順番に教えると、前に覚えた能力を失うことがあります。この研究はその仕組みを調べ、過去の良い行動例の再利用と、専門化した小さな追加モデルの使い分けを組み合わせます。
何に役立つ？
複数分野の課題を段階的に追加するエージェントで、新しい能力と既存能力の両立を評価する枠組みになります。複数の蒸留方法やモデル統合との比較も行っています。
この研究の面白いところ
忘却をモデル全体だけでなくトークンの水準からも解析しています。その知見を、高品質軌跡の再生と、強化学習で専門化したLoRA群の振り分けという構成につなげています。
どこまで分かった？
要旨が示す評価は四つの推論・エージェント課題の領域内外の設定です。改善率や学習費用の数値は要旨になく、産業配備での効果を直接実証した記述でもありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
産業への配備に向けた汎用エージェントを構築するには、通常それぞれ異なる学習段階で獲得する複数の能力を統合する必要がある。しかし、エージェント継続学習（ACL）には現在、確立した手順がなく、既存の統合方式間のトレードオフも十分に理解されていない。この不足に対処するため、ACLを包括的に研究、解析、評価する枠組みACLArenaを導入する。 まず逐次的な学習パイプラインを構築し、モデル水準とトークン水準という相補的な二つの観点から、忘却と汎化の仕組みを説明する詳細な解析を行う。その解析に基づき、複数教師によるオンポリシー蒸留、自己蒸留型の微調整、モデル統合を体系的に比較し、新しく獲得した能力を維持しつつ、以前に学習した能力を回復する力を評価する。広範な実験を通して、能力が段階間でどのように転移するかについて詳しい理解を得る。 最後に、高品質な軌跡のオフライン再生と、それぞれ強化学習で専門化した複数のLoRAエキスパートを振り分けるネットワークを組み合わせた、新しいACLの手順を提案する。これにより、エージェントが複数の領域をまたいで学ぶ能力を大幅に改善する。四つの推論およびエージェント課題について、領域内と領域外の両設定で行った包括的な実験により、解析の価値と提案手法の有効性を示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Building general-purpose agents for industrial deployment requires integrating multiple capabilities, each typically acquired at a distinct stage of training. Yet there is currently no well-established recipe for Agent Continual Learning (ACL), with little understanding of the trade-offs among existing integration paradigms. To address this gap, we introduce ACLArena, a framework for comprehensively studying, analyzing, and evaluating ACL. We first build a sequential training pipeline and conduct an in-depth analysis that explains the mechanisms of forgetting and generalization from two complementary perspectives, the model level and the token level. Guided by these analyses, we systematically compare multi-teacher on-policy distillation, self-distilled fine-tuning, and model merging to assess their ability to recover previously learned capabilities while preserving newly acquired ones. Through extensive experiments, we develop a detailed understanding of how capabilities transfer across stages. Finally, we propose a new ACL recipe that combines offline replay over high-quality trajectories with a routed network of multiple LoRA experts each specialized via RL, substantially improving the agent's ability to learn across multiple domains. Comprehensive experiments on four reasoning and agentic tasks, evaluated under both in-domain and out-of-domain settings, demonstrate the value of our analysis and the effectiveness of our approach.
著者のコメント
25 pages, 7 figures, under review
arXiv ID: 2609.23989 ／ 要約の誤りについて