短時間の追加学習でニューラルネット構造を選ぶLESS
LESS: Lightweight Evolutionary Supernet Search in Minutes
この論文をやさしく読む
ひとことで言うと
ネットワークの構造候補を短時間だけ学習してから比較し、良い候補を選び損ねることを減らす手法です。
何に役立つ？
画像分類ネットワークの構造探索に使う計算時間を抑える用途が考えられます。要旨では複数の画像分類データセットと2種類の探索空間で評価しています。
この研究の面白いところ
探索中に見つかった最良候補の性能はあまり変わらず、最後に選ばれる候補の性能が改善しました。探索範囲を広げることより、候補を正しく選ぶ効果が中心だと分かります。
どこまで分かった？
NAS-Bench-201では約409秒ですが、DARTS空間ではGPU1台で約43.5分です。FairNASとの時間比較は出典の報告値に基づき、すべてが同一装置での比較とは要旨から確認できません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
低コストのニューラルアーキテクチャ探索（NAS）では、高性能な構造を探索すると同時に、それを確実に見分ける必要がある。しかし、評価コストを下げると候補比較の忠実度が低下しやすい。学習を行わない手法は、学習によるタスクのフィードバックを初期化時に測定する代理指標に置き換えて評価コストを削減する。本研究では、短時間で公平にハードパスを学習するウォームアップと、単一のCMA-ES分布の下での離散探索を組み合わせる、データ駆動型のLESS（Lightweight Evolutionary Supernet Search）を導入する。各提案候補は、候補に条件付けたスーパーネットの更新を6回行った後、復号された離散的な遺伝子型として評価される。 NAS-Bench-201において、LESSは409.1秒でCIFAR-10のテスト精度93.189±0.467％を達成し、FairNASの出典で報告された探索時間の約24分の1で、その精度との差を0.04パーセントポイント以内に収めた。条件を揃えた対照比較では、較正により選択された候補の検証精度は0.577ポイント改善した一方、探索中に訪れた最良候補の精度の変化は0.054ポイントにとどまった。これは主な効果が選択時の後悔を小さくすることにあると示している。固定した設定を調整せずCIFAR-100とImageNet16-120へ移すと、それぞれ69.615±1.139％、43.720±1.697％の精度を得た。さらに広いDARTS探索空間へ調整せず適用した場合、CIFAR-10で96.95±0.14％、CIFAR-100で82.43±0.80％を達成し、各探索はGPU1台で約43.5分で完了した。これらの結果は、短時間で均衡の取れたデータ依存の更新により、異なるデータセットと探索空間にわたり、数分単位で競争力のあるニューラルアーキテクチャ探索が可能になることを示している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Low-cost NAS must both explore high-performing architectures and identify them reliably, yet reducing evaluation cost often weakens the fidelity of candidate comparisons. Training-free methods reduce evaluation cost by replacing learned task feedback with proxy signals measured at initialization. We introduce LESS (Lightweight Evolutionary Supernet Search), a data-driven method that combines a brief fair hard-path warm-up with discrete search under a single CMA-ES distribution. Each proposal is evaluated as its decoded hard genotype after six candidate-conditioned supernet updates. On NAS-Bench-201, LESS achieves \(93.189\pm0.467\%\) CIFAR-10 test accuracy in 409.1 seconds, coming within 0.04 percentage points of FairNAS using approximately \(1/24\) of its source-reported search time. Matched controls show that calibration improves selected validation accuracy by \(0.577\) percentage points while changing best-visited accuracy by only \(0.054\) points, indicating that its primary effect is to reduce selection regret. The frozen configuration transfers without tuning to CIFAR-100 and ImageNet16-120 with \(69.615\pm1.139\%\) and \(43.720\pm1.697\%\) accuracy. Applied without tuning to the larger DARTS space, LESS achieves \(96.95\pm0.14\%\) on CIFAR-10 and \(82.43\pm0.80\%\) on CIFAR-100, with each search completing in approximately 43.5 minutes on a single GPU. Together, these results show that short, balanced, data-dependent updates enable competitive neural architecture search across datasets and search spaces within minutes.
著者のコメント
33 pages, 4 figures. Code: https://github.com/AviralGandhi/LESS
arXiv ID: 2610.01468 ／ 要約の誤りについて