学習中にネットワークの必要な大きさを決めるNGN
NGN: Learning Neural Network Size as a Differentiable Count
この論文をやさしく読む
ひとことで言うと
ネットワークの構造要素を何個使うかを、重みと同時に学習する方法。
何に役立つ？
モデルの大きさを学習前に固定せず、必要な容量を選ぶ設計に役立つ。
この研究の面白いところ
学習可能な境界より先の要素を捨てても、多くの設定で性能がほとんど変わらなかった。
どこまで分かった？
要旨は多様なモデル族への適用を述べるが、個々の設定の具体的な性能値は示していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ニューラルネットワークの大きさは通常、学習前に選ばれ、構造の選択と重みの最適化が分かれている。本研究は、モデルが順序付きの構造要素をいくつ使うべきかを学ぶための微分可能なパラメータ化、Neurogenesis Network（NGN）を導入する。順序のある各要素群について、学習可能な一つの境界が、モデルのパラメータの学習と同時に、使用する先頭からの連続部分を選ぶ。この境界は小さな初期値から成長でき、学習後には境界を超える要素を捨てて運用できる。制御した実験で、境界の収束、運用する先頭部分の性能、固定サイズのモデルや容量を学ぶ別手法との比較を調べる。次に同じ仕組みをMLP、畳み込みネットワーク、グラフネットワーク、Transformer、状態空間モデル、LoRA、アダプターに適用する。これらの設定では、学んだ先頭部分だけを運用しても通常は性能がほとんど変わらず、選ばれた構造の性能は同サイズで学習した固定モデルと同程度だった。結果は、構造上の容量を個数として直接最適化できることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Neural network size is usually chosen before training, separating architecture selection from weight optimization. We introduce the Neurogenesis Network (NGN), a differentiable parameterization for learning how many ordered structural components a model should use. For each ordered component group, one learnable boundary selects an active prefix while the model parameters are trained. The boundary can grow from a compact initialization and can be deployed by discarding components beyond the learned boundary. Controlled experiments examine convergence of the learned boundary, the performance of deployed prefixes, and comparisons with fixed-size models and alternative approaches to learning capacity. We then apply the same mechanism to MLPs, convolutional and graph networks, Transformers, state-space models, LoRA, and adapters. Across these settings, deploying only the learned prefix usually changes performance little, and the selected architectures perform similarly to fixed models trained at the same size. These results show that structural capacity can be optimized directly as a count.
著者のコメント
20 pages, 7 figures
arXiv ID: 2609.27291 ／ 要約の誤りについて