arXiv論文メモ
新着一覧
cs.LG / math.MG / math.NT / math.OC / stat.ML · 査読状況未確認

p進数パラメータを連続的な勾配降下で学習

Continuous Optimization for p-adic Models

Julian Salazar, Dimitri Kanevsky, Matt Harvey, Pascal Getreuer, Lucas Dixon

この論文をやさしく読む

ひとことで言うと

p進数の機械学習モデルを、連続的な勾配降下で学習する方法。

何に役立つ?

p進数の構造を持つ課題で、離散探索以外の最適化法を設計するための基礎になる。

この研究の面白いところ

Berkovichアフィン直線によって、完全不連結なp進数を道連結な空間で扱う。

どこまで分かった?

剰余演算や二進符号化階層などで方法を示した。一般的な実世界データでの優位性は要旨に報告されない。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

p進数のパラメータを持つ機械学習モデルに対し、p進数の世界で直接使える連続的な勾配降下法を初めて提示する。従来のネイティブな最適化法は主に離散的な組み合わせ探索である。p進数体ℚ_pは完全不連結で、標準的な損失は最小点以外では平坦になるためだ。連続最適化を可能にするため、ℚ_pをBerkovichアフィン直線を通じて扱う。これはℚ_pの等長写像を保ち、解析写像を一意に拡張する、標準的で道連結な拡大である。この包は、解釈できる点と局所微分を持つ距離木であり、有効な最適化と誤差逆伝播を可能にすることを示す。勾配降下を定式化し、その近似によって、ℚ_p係数の線形モデルが剰余演算を効率よく学習できることを示す。これは実数体ℝ上の線形モデルでは表現できないXORに似た課題である。さらに運動量法とAdamの変種、線形回帰、二進符号化された階層(Quillianの意味ネットワーク)での分類も示し、Martinsが2025年に提起した未解決問題に取り組む。ライブラリは著者らのGitHubに公開されている。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-21(UTC)
最新改訂
2026-09-21 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

We present the first method for native, continuous gradient descent for machine learning models with $p$-adic parameters. Existing native optimizers are discrete, mostly combinatorial searches, as the $p$-adic numbers $\mathbb{Q}_p$ are totally disconnected, with standard losses that are flat away from their minima. To enable continuous optimization, we propose working with $\mathbb{Q}_p$ via its Berkovich affine line: a canonical, path-connected expansion of $\mathbb{Q}_p$ that preserves its isometries and uniquely extends its analytic maps. This hull is a metric tree with interpretable points and local derivatives, which we show enables effective optimizers and backpropagation. We formulate gradient descent and show that its approximations efficiently learn linear models with coefficients in $\mathbb{Q}_p$ to do modular arithmetic, an XOR-like task not expressible by linear models in $\mathbb{R}$. We also demonstrate momentum and Adam variants, linear regression, and classification on binary-encoded hierarchies (Quillian semantic networks), addressing open problems posed by Martins (2025). Library at https://github.com/google-deepmind/padic-ml

arXiv ID: 2609.25501 / 要約の誤りについて