系譜を使ってニューラルネットワーク構造を探索
EvoTreeNAD: Genealogy-Guided Evolution for LLM-Driven Neural Architecture Discovery
この論文をやさしく読む
ひとことで言うと
設計の親子関係を系譜として残し、その成績から次のニューラルネットワーク構造を探す方法です。
何に役立つ？
構造探索で評価費用を使う方向を決め、得られた設計の履歴を活用する際に参考になります。
この研究の面白いところ
空の根から探索を始め、子孫を含む上位成績で系統を選び、2種類のエージェントが設計と実装を担当します。
どこまで分かった？
性能はCIFARとMedMNIST-v2で比較した基準法に対する結果です。理論的な確率の解釈には指定された変異の仮定があります。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
AIによる科学的発見は、解決策や設計を自律的に開発して研究を速める。大規模言語モデル（LLM）のエージェントは反復的な生成と評価を支えるが、その反復だけでは進歩の蓄積や次に進む方向の決定は保証されない。評価費用の高さも探索範囲を制約する。ニューラルネットワーク構造の発見には、自由度の高い設計と資源を使う実験という両方の課題がある。本研究は、種となる構造や手作業で指定した探索空間なしに、学習可能な構造を作る、系譜に導かれた進化的アルゴリズムEvoTreeNADを導入する。 空の根から始め、各節点が完成した構造を表す永続的な系譜を成長させる。各節点とその子孫から計算する上位百分位の値で、次に進める系統を選ぶ。選んだ設計履歴を用い、Idea Agentが変種を提案し、Code Agentが実装する。評価した変種はそれぞれ子節点となり、系譜を広げるとともに、次の系統選択の根拠となる。理論解析では、系譜が成長するとき定常的な変異の領域が存在することを示す。指定された変異に関する仮定の下では、持続する系統の上位百分位の値が、その領域で高い報酬の構造を生む確率を定量化する。EvoTreeNADが発見した構造は比較対象のNASおよびNADの基準法を上回り、CIFAR-10とCIFAR-100のテスト誤差はそれぞれ2.05±0.06%、15.09±0.22%だった。MedMNIST-v2の6課題すべてでも、発見した構造が挙げられた最良の基準法を上回った。さらにCIFAR-10の統制した研究では、直接生成、上位N個から貪欲に継続する方法、系統全体の平均値で進路を決める方法を上回った。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
AI-driven scientific discovery accelerates research by autonomously developing solutions and designs. Large language model (LLM) agents support this process through iterative generation and evaluation. Yet these iterations alone do not ensure cumulative progress or establish which directions to pursue next. Costly evaluation further constrains the scope of exploration. Neural architecture discovery brings these challenges together, coupling open-ended design with resource-intensive experimentation. We introduce EvoTreeNAD, a genealogy-guided evolutionary algorithm that constructs trainable architectures without a supplied seed or a hand-specified search space. Starting from an empty root, it grows a persistent genealogy in which each new node represents a complete architecture. Top-percentile values computed from each node and its descendants guide lineage selection. Using the selected design history, an Idea Agent proposes a variant and a Code Agent implements it. Each evaluated variant becomes a child node, expanding the genealogy while providing evidence for subsequent lineage selection. Our theoretical analysis establishes the existence of stationary variation regimes as the genealogy grows. Under specified variation assumptions, sustained top-percentile family values quantify the probability of generating high-reward architectures in these regimes. EvoTreeNAD discovers architectures that outperform the compared NAS and NAD baselines, achieving CIFAR-10/100 test errors of $2.05{\pm}0.06\%$ and $15.09{\pm}0.22\%$. On all six MedMNIST-v2 tasks, the discovered architectures surpass the strongest listed baselines. A controlled CIFAR-10 study further shows that EvoTreeNAD outperforms direct generation, best-of-$N$ greedy continuation, and full-family-mean routing.
著者のコメント
31 pages, 5 figures, including appendices
arXiv ID: 2609.29016 ／ 要約の誤りについて