ノルムを制限したReLUネットワークのソボレフ近似誤差
Error bounds in Sobolev norms for approximations with norm constrained ReLU neural networks
この論文をやさしく読む
ひとことで言うと
重みにノルム制約を設けたReLUネットで、関数の値だけでなく一階微分も含めて近似する誤差を解析しています。
何に役立つ？
滑らかな関数をネットで表す際に、幅・深さ・重みの大きさが近似能力へ与える影響を理解する理論になります。
この研究の面白いところ
一様近似からSobolevノルムへ拡張し、浅いネットと深いネットで異なる誤差上界を導きます。深い場合は十分な幅と深さにより滑らかさの制約を除いています。
どこまで分かった？
誤差はW¹,pノルムで測り、浅い場合の滑らかさや入力次元などに条件があります。近似が存在するという上界は、学習算法がその重みを必ず見つける保証とは別です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
近年の研究では、重みにパスノルム制約を課したReLUニューラルネットワークによって、滑らかな関数を良好に近似できることが示されている。本研究は、これらの結果を一様近似からソボレフノルムでの近似へ拡張する。具体的には、W^{n,p}に属するソボレフ関数を、幅W、深さL、パスノルムの上限Kのニューラルネットワークでどの程度よく近似できるかを、W^{1,p}ノルムによる近似誤差で解析する。 深さL = 1の浅いネットワークについて、入力がd次元で、滑らかさの指数がn < s = (d + 3)/2を満たす場合、近似誤差の上界O(max{W^{−(n−1)/d}, K^{−(n−1)/(s−n)}})を導く。深いネットワークについては、幅Wと深さLが十分に大きければ、近似誤差の上界O(K^{−(n−1)/(d+d/p+1)})が成り立つことを示し、滑らかさに関する制限を取り除く。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Recent studies have shown that smooth functions can be well approximated by ReLU neural networks with path norm constraint on the weights. We extend these results from uniform approximation to approximation in Sobolev norm. Specifically, we analyze how well Sobolev functions in $W^{n,p}$ can be approximated by neural networks with width $W$, depth $L$ and path norm bounded by $K$, when the approximation error is measured in the $W^{1,p}$-norm. For shallow networks with depth $L=1$, we derive the approximation error bound $\mathcal{O}(\max\{W^{-(n-1)/d}, K^{-(n-1)/(s-n)}\})$, when the smoothness index satisfies $n<s=(d+3)/2$ and the input is $d$-dimensional. For deep networks, we remove the restriction on the smoothness by showing that the approximation bound $\mathcal{O}(K^{-(n-1)/(d+d/p+1)})$ holds if the width $W$ and depth $L$ are sufficiently large.
arXiv ID: 2609.19937 ／ 要約の誤りについて