多様な活性化関数をスパイキングニューロンへ変換
Activation-Flexible ANN-to-SNN Conversion with Finite-State Markov Neurons
この論文をやさしく読む
ひとことで言うと
通常のニューラルネットのさまざまな活性化関数を、少数状態のスパイキングニューロンで近似する方法です。
何に役立つ？
既存のANNをSNNへ変換する際、元の活性化関数ごとに異なるニューロンを設計する負担を減らす手掛かりになります。
この研究の面白いところ
任意の連続・非負・単調な関数への一様近似を証明し、MNISTではSynOpsを27％減らす条件も示しています。
どこまで分かった？
VGG-11/CIFAR-10では改善の傾向が逆転しました。実験結果は評価した入力範囲とモデルに依存します。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
人工ニューラルネットワーク（ANN）からスパイキングニューラルネットワーク（SNN）への変換法の多くは、元の活性化関数とスパイクするニューロンの動きの間に、特定の対応があることを前提とする。本研究は、有限状態の連続時間マルコフ連鎖（CTMC）を用いるニューロンの枠組みを提案する。その定常的なスパイク流量は、コンパクトな区間上の任意の連続・非負・単調な活性化関数を近似できる。入力に依存するアフィンな遷移を持つ一般化CTMC族について、この関数クラスを任意の精度で一様に近似できることを証明し、明示的な近似誤差の上界を導く。実際には、2状態と3状態のCTMCが、評価した入力範囲でReLU、シグモイド、softplus、上限で切ったReLUに適合した。各活性化関数について、層ごとの発火率の調整を使うMLP変換も評価した。適度な上限での切り取りはMNISTのMLPで変換の費用と精度の釣り合いを改善し、VGG-11/MNISTではANNとSNNの精度差をそろえた条件でSynOpsを27％減らした。一方、VGG-11/CIFAR-10では傾向が逆転した。平均場と層ごとの診断から、有限時間窓でのサンプリングと最終層の不一致が主な残存誤差と分かった。これらの結果は、固定の活性化関数とニューロンの対応に依存しないANNからSNNへの変換に対し、有限状態CTMCニューロンが理論的根拠を持つ枠組みになることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Most ANN-to-SNN conversion methods rely on a specific correspondence between the source activation and the spiking neuron dynamics. We propose a finite-state continuous-time Markov chain (CTMC) neuron framework whose stationary spike flux can approximate every continuous nonnegative monotone activation function on a compact interval. For a generalized CTMC family with affine input-dependent transitions, we prove uniform approximation to arbitrary accuracy over this function class and derive an explicit approximation error bound. In practice, two- and three-state CTMCs fit ReLU, sigmoid, softplus, and clipped ReLU on the evaluated input ranges, and we evaluate corresponding MLP conversions for each activation with layerwise rate scaling. Moderate clipping improves the conversion cost-accuracy tradeoff on the MNIST MLP and reduces SynOps by 27% on VGG-11/MNIST at matched ANN-SNN accuracy gap criteria, whereas the trend reverses on VGG-11/CIFAR-10. Mean-field and layerwise diagnostics indicate that finite-window sampling and terminal-layer mismatch are the main residual errors. Overall, our results establish finite-state CTMC neurons as a theoretically grounded framework for activation-flexible ANN-to-SNN conversion beyond fixed activation-neuron correspondences.
arXiv ID: 2609.30102 ／ 要約の誤りについて