arXiv論文メモ
新着一覧
cs.AI / cs.LG / cs.SE · 査読状況未確認

AI研究エージェントが自分のコードを繰り返し改善

Recursive self-improvement of AI research agents

Dhruv Srikanth, Bingchen Zhao, Dixing Xu, Yuxiang Wu, Zhengyao Jiang

この論文をやさしく読む

ひとことで言うと

AI研究エージェントに自身のコードを改変・評価・採用させ、8日間で連続した改善を得た研究。

何に役立つ?

研究エージェントの改善を、非公開課題を使って選ぶ開発方式の検討に役立つ。

この研究の面白いところ

未使用の四つのベンチマークにも改善が移り、直接の目標ではない報酬の抜け道の利用率も下がった。

どこまで分かった?

8日間の特定システムと評価課題での結果。自己改善が無期限に続くことや、あらゆる研究分野で同じ効果があることは示していない。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

AIエージェントは学習効率の改善から推論の最適化まで、AI技術全体の研究開発を自動化し始めている。次の段階として、エージェント自身の研究効率を高めることが考えられる。最適化対象がAI研究エージェント自身のコードである場合、採用された書き換えが次の改変対象のエージェントになる。この循環を再帰的自己改善と呼ぶ。研究開発への累積支出が増えても成果は逓減するという長年の傾向に対し、持続的な自己改善は対抗する方法となり得る。AIDE²は、先端的なAI研究エージェントについてこの循環を実装したシステムである。自分のコードの変更を提案し、変更後の版をAI研究開発課題群で評価し、非公開の評価で最も良い変更を残す。8日間の自律運転では、探索方策の変更から増大する文脈を圧縮・管理する記憶機構まで、連続する七つの改善を見いだした。その改善は、機械学習工学、ヒューリスティックなアルゴリズム工学、物理モデルに基づく天気予報を含む、選択に使わなかった四つのベンチマークにも一般化した。天気予報は選択課題の分布外にある。四つすべてで、最も強い発見済みエージェントは、FML-Benchで上位に入る人間設計の実運用研究エージェントに匹敵するか、上回った。別の未使用の課題群では、明示的に最適化していなかった報酬の抜け道を利用する行動も減り、運転中に55%から32%へ低下して、人間設計のエージェントより7パーセントポイント低くなった。これらは、AI研究エージェントが再帰的自己改善で自分の研究効率を高め、その向上が循環中に見なかった課題や分野にも移ることを示す。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-22(UTC)
最新改訂
2026-09-22 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

AI agents are beginning to automate research and development across the AI stack, from improving training efficiency to optimizing inference. A natural next step is to improve the research efficiency of the agents themselves. When an AI research agent's own code is the object of optimization, each accepted rewrite becomes the agent that the next round edits. We refer to this loop as recursive self-improvement. Its significance lies in a long-standing trend, in which increased cumulative spending on R&D yields diminishing returns. Sustained self-improvement offers a way to counter this trend. We present AIDE^2, a system that implements this loop for a frontier AI research agent. It proposes changes to its own code, benchmarks modified versions of itself on a suite of AI R&D tasks, and keeps the changes that perform best on hidden evaluations. In an autonomous 8-day run, AIDE^2 discovered seven successive improvements, ranging from a new search policy to memory mechanisms that compress and manage the agent's growing context. These gains generalize to four held-out benchmarks spanning machine learning engineering, heuristic algorithm engineering, and physics-based weather forecasting, the last of which is out of distribution from the selection tasks. On all four, the strongest discovered agent matches or exceeds a human-engineered production research agent that ranks among the strongest on FML-Bench. On a separate held-out task family, the discovered agents also exhibit reduced reward hacking, a property the loop never explicitly optimized for: the rate falls from 55% to 32% during the run, 7 percentage points below the human-engineered agent. Together, these results show that an AI research agent can improve its own research efficiency through recursive self-improvement, and that these gains transfer to tasks and domains the loop never encountered.

著者のコメント

28 pages, 10 figures, 3 tables

arXiv ID: 2609.26457 / 要約の誤りについて