arXiv論文メモ
新着一覧
cs.LG · 査読状況未確認

同じ関数でも座標表現で変わる最適化の挙動を解析

Optimization Geometry of Equivalent Brownian RKHS Representations

Mahdi Mohammadigohari and Gustau Camps-Valls

この論文をやさしく読む

ひとことで言うと

表せる関数を変えずに、パラメータの座標だけを変えたとき、学習の進み方がどう変わるかを調べる研究です。

何に役立つ?

モデルの表現能力による違いと、最適化手法が座標に依存することによる違いを切り分けるための基礎になります。

この研究の面白いところ

同じ条件ならGD/SGDの軌跡は対応する一方、Adamは一般の直交座標変換に対して同じ性質を持たないことを示します。条件数が格子の細かさに依存しない評価も与えます。

どこまで分かった?

結果は定めた有限Brownian RKHS、正規化、Adamの規約に基づきます。要旨ではAやhの具体的な定義は省略されており、任意のニューラルネットワークで同じ結論になるとは述べていません。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

等価な有限パラメータ表現は、同じ関数と内在的なノルムを表していても、異なる最適化アルゴリズムを誘導しうる。本研究は、この効果を節点、増分、スペクトルの各座標を持つ、制御された有限Brownian再生核ヒルベルト空間(RKHS)で調べる。古典的な有限要素法、RKHS補間、Brownian共分散、混合境界条件の離散コサイン変換(DCT)の恒等式を用い、共通の仮説クラス、Brownianエネルギー、近似作用素、座標写像を明示する。 主な結果は、この固定モデルの最適化幾何に関するものである。初期値を対応付け、同じスカラーのステップ幅と同じミニバッチを使うと、節点座標とスペクトル座標の勾配降下法・確率的勾配降下法(GD/SGD)は、写像で対応させた軌跡が厳密に一致する。増分座標のGDは、係数1/hを持つ一定のBrownian/Sobolev計量に対する陽的Eulerステップである。Brownian正則化付き最小二乗では、固定したA、ρ>0と記載の正規化の下で、格子解像度Gによらず、κ₂(H_inc)≤1+A/ρが成立する。 記載の標準Adamの規約の下では、普遍的な直交同変性群は符号付き置換と厳密に一致し、ブロックDCT-VIII変換はこれに含まれない。五つの格子にわたるFloat64の試験で、有限の恒等式、写像で対応させた1層および再帰的な軌跡、条件数の予測、定理と一致するAdamの軌跡の分離を数値的に検証する。こうして、表される関数、内在的な正則化、近似空間を変更せずに、座標の効果を分離する。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-18(UTC)
最新改訂
2026-09-18 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Equivalent finite parameterizations can represent the same functions and intrinsic norm yet induce different optimization algorithms. We study this effect in a controlled finite Brownian RKHS with nodal, increment, and spectral coordinates. Classical finite-element, RKHS-interpolation, Brownian-covariance, and mixed-boundary DCT identities make the shared hypothesis class, Brownian energy, approximation operator, and coordinate maps explicit. Our main results concern the optimization geometry of this fixed model. With mapped initialization, identical scalar steps, and identical minibatches, nodal and spectral GD/SGD have exactly the same mapped trajectories. Increment GD is an explicit Euler step for the constant Brownian/Sobolev metric, with factor $1/h$. For Brownian-regularized least squares, $\kappa_2(\mathbf H_{\mathrm{inc}})\le1+A/\rho$, independently of grid resolution $G$ for fixed $A$, $\rho>0$, and the stated normalization. Under the stated standard-Adam convention, the universal orthogonal equivariance group is exactly the signed permutations; the block DCT-VIII transform is not one. Float64 tests over five grids numerically verify the finite identities, mapped one-layer and recursive trajectories, conditioning predictions, and theorem-matched Adam separation. Thus coordinate effects are isolated without changing the represented functions, intrinsic regularizer, or approximation space.

arXiv ID: 2609.21693 / 要約の誤りについて