arXiv論文メモ
新着一覧
math.PR / cs.DM / cs.NE / math.CO / stat.ML · 査読状況未確認

しきい値ニューロンの記憶容量を高精度で評価

Boolean threshold functions, neuron capacity, and memory retrieval

Xinyuan Xie

この論文をやさしく読む

ひとことで言うと

ブールしきい値関数の数を非常に小さい誤差まで求め、単一ニューロンの理論上の記憶容量を精密化した。

何に役立つ?

しきい値ニューロンの表現能力と記憶取り出し模型を理解するための数学的な基準になる。

この研究の面白いところ

関数数の漸近式を誤差O(n^−99)まで改善し、記憶の基底状態が変わる鋭いしきい値も特定している。

どこまで分かった?

要旨に記載されるのは数学的な証明と模型での帰結。実際の生物学的ニューロンや訓練済みネットワークの記憶性能を測ったものではない。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

一つのニューロンはどれほどの情報を記憶でき、ニューラルネットワークはいくつの記憶を偽の記憶を生まずに取り出せるのか。これらは、x∈{−1,1}^n上のブールしきい値関数 f(x)=sgn(a₀+⟨a,x⟩) が何個あるかという基本問題につながる。本論文は、異なる関数の数Tₙが 2×C(2^n−1,n)×(1+O(n^−99)) であることを示す。同じことを容量で表すと、単一のしきい値ニューロンの容量は n²−log₂(n!)+1+O(n^−99) ビットであり、Kahn–Komlós–Szemerédiによる結果の誤差O(n)をO(n^−99)へ改善する。証明のため、1≤r≤n−1で{−1,1}^nから無作為に選んだv₁,…,vᵣについて、それらの張る空間と{−1,1}^nの共通部分が±v₁,…,±vᵣだけである確率が1−O(n^−99)であると示す。記憶の取り出しを表すKanter–Sompolinskyハミルトニアンでは、r=n−1が鋭いしきい値であり、ほぼすべてのr個の記憶集合で基底状態はそれらの記憶と符号反転だけになる。この結果はKalai–Linial–Odlyzko予想の弱い形を確認し、ブールしきい値関数の指定数に関するM. Anthonyの最近の未解決問題も解決する。さらに、すべての1≤r≤n−1について、v₁,…,vᵣが線形従属となる確率が 2×C(r,2)×2^−n+O(2^−n e^−cn) であると示し、Kahn–Komlós–Szemerédiの予想を確認する。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-24(UTC)
最新改訂
2026-09-24 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

How much information can a single neuron remember? How many memories can neural networks retrieve without creating false memories? These questions are related to a basic question: how many Boolean threshold functions $f(x)=\operatorname{sgn}(a_0+\langle a,x\rangle)$, $x\in\{-1,1\}^n$, are there? In this paper, we show that the number $T_n$ of distinct Boolean threshold functions is \[ T_n=2\binom{2^n-1}{n}\bigl(1+O(n^{-99})\bigr). \] Equivalently, the capacity of a single threshold neuron is $n^2-\log_2(n!)+1+O(n^{-99})$ bits, improving the $O(n)$ error term in the result of Kahn--Komlós--Szemerédi to $O(n^{-99})$. To prove this, we show that, for $1\le r\le n-1$, and $v_1,\ldots,v_r$ are chosen at random from $\{-1,1\}^n$, \[ \mathbb P\!\left\{ \langle v_1,\ldots,v_r\rangle\cap\{-1,1\}^n =\{\pm v_1,\ldots,\pm v_r\} \right\} =1-O(n^{-99}). \] In the context of the Kanter--Sompolinsky Hamiltonian for memory retrieval, this identifies $r=n-1$ as a sharp threshold, at which, for almost every collection of $r$ memories, the only ground states are these memories and their negatives, confirming a weaker form of the Kalai--Linial--Odlyzko conjecture. It also settles a recent open problem posed by M. Anthony on the specification number of Boolean threshold functions. In addition, we show that, for every $1\le r\le n-1$, \[ \mathbb P\{v_1,\ldots,v_r\text{ are linearly dependent}\} =2\binom r2\,2^{-n}+O\!\left(2^{-n}e^{-cn}\right), \] confirming a conjecture of Kahn--Komlós--Szemerédi.

arXiv ID: 2609.29756 / 要約の誤りについて