AIエージェントは機械学習論文の結果を再現できるか
RECLAIM: Can Agents Reproduce the Claims of Machine Learning Papers?
この論文をやさしく読む
ひとことで言うと
AIエージェントに機械学習論文の実験結果を再現させ、公開されているコードや重みの有無で成績がどう変わるか調べます。
何に役立つ？
研究作業を行うエージェントの評価や、失敗箇所の分析に役立つベンチマークです。論文の数値との照合不足という具体的な課題も示します。
この研究の面白いところ
再現対象、成功基準、計算予算を事前に固定し、エージェントの自己申告ではなくログと出力から採点しています。
どこまで分かった？
対象はNeurIPS 2025の100論文で、4種類のエージェントを各論文につき1回実行した結果です。採点には別の言語モデルを用います。ほかの学会や試行条件で同じ成功率になるとは要旨からは分かりません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
機械学習論文の再現には、ソフトウェアの導入やデバッグから実験の実行まで、研究の多くの工程が含まれる。AIエージェントがそうした作業を担う機会も増えている。本研究は、NeurIPS 2025の論文100本からなるベンチマークRECLAIMを導入する。新しい学会の論文を使って毎年作り直せる設計である。各論文について、再現する結果、成功とみなす基準、GPU使用時間の上限を事前に定める。エージェントは論文と著者の公開物を使って結果を再現しなければならない。 難易度は著者の公開物によって分かれる。Run段階ではコード、データ、学習済み重みがある。Retrain段階では重みがなく、エージェントがモデルを学習する。Reimplement段階ではコードがなく、エージェントが実装する。実行の成否は、エージェント自身の報告ではなく、ログと出力を別の言語モデルが評価する。 4種類のエージェントを各論文で1回ずつ実行した結果、各段階で最良のエージェントでも、再現できた論文はRunで41%、Retrainで27%、Reimplementで15%にとどまり、Reimplementではすべてのエージェントの成績が最も低かった。失敗した試行が使った予算は平均29%で、大半は予算を残して停止した。最も多い誤りは、論文中の数値とどの部分も照合しないまま手法を実装することで、400回の実行中63回に見られた。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Reproducing a machine learning paper involves most research steps, from installing software and debugging to running experiments, work that AI agents increasingly do. We introduce RECLAIM, a benchmark of 100 NeurIPS 2025 papers that can be rebuilt yearly from new conferences. For each paper we fix in advance the result to reproduce, what counts as a successful reproduction, and a GPU-hour budget. An agent must reproduce that result using the paper and whatever its authors released. What the authors released decides the difficulty tier. Run-tier releases include code, data, and weights; Retrain-tier releases lack weights, so the agent trains the model; Reimplement-tier releases lack code, so the agent writes it. A separate language model grades runs from logs and outputs rather than agents' reports. We run four agents once per paper; the best agent in each tier reproduces only 41% of Run-tier papers, 27% at Retrain, and 15% at Reimplement, where every agent does worst. Failed attempts use on average 29% of their budget, so most stop with budget left. The most common agent error is writing the method without checking any part against the paper's numbers, in 63 of 400 runs.
著者のコメント
87 pages, 51 figures, 14 tables
arXiv ID: 2609.28850 ／ 要約の誤りについて