エッジCPU向け画像モデルの混合精度量子化を選ぶ方法
RAMP: Robust Adaptive Mixed-Precision Quantization for Edge CPU Vision Models
この論文をやさしく読む
ひとことで言うと
画像モデルをエッジCPUで速く動かすため、どの層をINT8に量子化するかを選ぶ感度指標と方策を比較した研究。
何に役立つ？
GPUや勾配計算を使わず、精度を大きく落とさずにエッジCPU向けの量子化設定を選ぶ際の参考になる。
この研究の面白いところ
13指標、4モデル、2種類のARM64環境を調べ、Jensen–Shannonダイバージェンスでは致命的失敗がなかった。K-meansによる選択で平均1.81倍の高速化を報告した。
どこまで分かった？
結果は調べた4モデルと2プラットフォームに基づく。ほかの構造やCPUでも同じ失敗率や高速化が得られるかは要旨だけでは分からない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
エッジCPUで深層学習モデルを動かす際には、計算量とメモリーの制約が障害となる。混合精度量子化は精度を保ちながら推論遅延を短縮できる可能性があるが、量子化の影響は層の種類によって一定ではない。このため、どの層なら精度低下を抑えつつ遅延を減らせるかを見極めることが重要であり、その影響はモデル全体の配備時に大きな節約にも、許容できない性能劣化にもなりうる。この見極めには、候補ごとにタスク精度を測らず、層単位の劣化を推定する感度指標を使う。しかし、広く使われる指標は現代的なモデル構造では系統的に失敗する。 本研究は、異なる4つのニューラルネットワークで層単位のINT8量子化に対する13種類の感度指標を実証的に調べ、得られた方策を2つのARM64プラットフォームで検証する。モデルとハードウェアの8組のうち、勾配に基づく感度法は4組、重みに基づく統計量は2組で失敗した。一方、Jensen–Shannonダイバージェンスには致命的な失敗がなく、安全に量子化できない層を安定して特定した。感度指標だけでは方策は決まらず、固定の閾値は現代的なモデル構造の大きく偏った分布に対して脆弱である。そこでK-meansクラスタリングを用い、精度の損失をほぼなくしながら、全精度モデルに対して平均1.81倍の高速化を達成した。最後に、感度にかかわらず高速化の小さい層を量子化から除外すると、計算グラフが分断され、演算子融合が働かなくなるため、逆効果になりうることを示す。結果は、GPUや勾配計算を使わずに異種のエッジCPUへ量子化した画像モデルを配備する際の、具体的な配分方策となる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Deploying deep learning models on edge CPUs is bottlenecked by computational and memory constraints. Mixed-precision quantization promises to reduce inference latency while preserving accuracy. However, quantization affects different layer types in inconsistent ways, so identifying where accuracy loss is minimized and latency reduction is maximized is critical, as the effect accumulates over a full deployment into substantial savings or unacceptable task degradation. Such identification relies on sensitivity metrics, proxies that estimate layer-wise degradation without evaluating the task accuracy of every candidate policy. Nevertheless, widely used metrics fail systematically on modern architectures. We present a systematic empirical study of 13 sensitivity metrics for layer-wise INT8 quantization across four distinctly different neural networks, and validate the resulting policies on two ARM64 platforms. Gradient-based sensitivity methods fail on 4 out of 8 model-hardware configurations and weight-based statistics on 2. In contrast, the Jensen-Shannon Divergence achieves zero catastrophic failures, reliably isolating the layers that cannot be safely quantized. A sensitivity metric alone does not define a policy, and the fixed thresholds typically used for that step are fragile over the highly skewed distributions of modern architectures. We address this with K-Means clustering, achieving near-lossless accuracy and a mean speed-up of $1.81\times$ over the full-precision model. Finally, we reveal that excluding from quantization the layers whose speed-up is negligible, regardless of their sensitivity, can be counterproductive, as it induces computational graph fragmentation and disables operator fusion. Our results yield concrete allocation policies for practitioners and researchers deploying quantized vision models on heterogeneous edge CPUs, without GPU access or gradient computation.
著者のコメント
Accepted at the 37th British Machine Vision Conference (BMVC) 2026. 13 pages, 4 figures, 2 tables. Code available at https://github.com/davidpob99/ramp-mpq
arXiv ID: 2609.28262 ／ 要約の誤りについて