LLM進化探索の順位は試行数と反復数で変わる
Evolution or Illusion? Rethinking Evaluation in LLM Evolutionary Search
この論文をやさしく読む
ひとことで言うと
LLMを使う進化的探索の性能順位は、初期候補の数と反復回数への予算配分で変わると示す研究です。
何に役立つ？
探索手法の公平な比較や、限られた計算予算をどう使うかの判断に役立ちます。一つの実行条件だけで最良の方法を決めることの問題を明らかにします。
この研究の面白いところ
3戦略・5課題について候補数と反復数の組合せ全体を調べます。ある課題では初期候補1個で最下位の戦略が40個では最良となり、幅と深さの交換関係が見えます。
どこまで分かった？
最適な配分は戦略・課題・総予算によって異なるという実験結果です。すべての探索課題に共通する最適反復数を示したものではなく、条件ごとの前線を報告する評価手順を提案しています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
LLM駆動の進化探索は、初期試行を開始し、それぞれを反復的に改良することでプログラムを見つける。論文では通常、1つの初期試行を固定回数反復するという単一の予算設定を報告し、その1点だけで手法に順位を付けている。本研究では、それでは不十分であることを示す。 この分野の論文で結果報告によく使われる5つの最適化課題について、3つの進化探索戦略を評価する。初期試行数と反復数の全格子にわたって解析を行う。その結果、固定予算を初期試行数の増加（幅）と反復数の増加（深さ）にどう配分するのが最善かは、戦略、課題、総予算によって変わることが示唆された。さらに、戦略の順位自体も予算によって変わることを観察した。ある課題では、初期試行が1つのときに最悪に見える戦略が、40試行では最良になる。別の課題では、最適な反復数は実務で一般的な値を大きく下回り、深さを追加すると、試行数に回せばスコア改善につながる予算を浪費してしまう。 初期試行数と反復数のフロンティアを報告する測定プロトコルと、その利用に関する実践的な指針を提供する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
LLM-driven evolutionary search finds programs by launching seeds and iterating each one. Papers report a single budget setting, usually one seed run for a fixed number of iterations, and rank methods from that one point. We show this is not enough. We evaluate three evolutionary search strategies on five optimization tasks, commonly used by papers in the genre to report results. We run the analysis over a full grid of seeds and iterations. Our findings suggest that the best way to split a fixed budget between more seeds (width) and more iterations (depth) changes with the strategy, the task, and the total budget. Furthermore, we observe that the ranking of strategies also changes with the budget. On one task the strategy that looks worst at one seed is best at forty seeds. On another the best number of iterations is well below the value common in practice, so extra depth wastes budget that more seeds would turn into score. We provide a measurement protocol that reports the seeds-by-iterations frontier and practical guidance for using it.
arXiv ID: 2609.19799 ／ 要約の誤りについて