視覚言語モデルの重みを球面表現で低ビット化する
SPHQuant: Efficient extreme low bit weight quantization for Vision-Language Models
この論文をやさしく読む
ひとことで言うと
画像と文章を扱うモデルの重みを小さく保存し、生成処理を速くするため、重みの大きさと向きを分けて圧縮する方法です。
何に役立つ？
考えられる用途は、メモリが限られた機器でのVLM実行です。要旨ではRTX A6000上でのデコード性能の改善が実証されています。
この研究の面白いところ
外れ値の大きさを半径へ集め、その部分に多めの精度を割り当てます。数学的な表現と共有メモリ向けの実装を組み合わせています。
どこまで分かった？
30.3%の改善はRTX A6000上のQTIPとの比較です。別の機器でも同じ改善が得られるとは示されておらず、コードについては公開済みではなく公開予定とされています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
近年の基盤モデルは、生来マルチモーダルな視覚言語モデル（VLM）へ移行しており、VLMは次世代基盤モデルの中心的な形となっている。しかし、大規模な言語バックボーンはメモリ使用量が大きく、自己回帰デコードもメモリ性能に律速されるため、エッジでの実行が難しい。重みのみを対象とする学習後量子化は実用的な解決策だが、VLMを極端に低いビット幅にすることは依然として難しい。既存の回転なし手法は2〜3ビットで外れ値の影響を受け、回転を使う手法は精度を改善するものの実行時の追加負荷が生じる。 本研究では、VLM向けに回転を用いず、球面表現に基づいて重みだけを量子化する枠組みSPHQuantを提案する。重みを直交座標で直接量子化する代わりに、各8次元重みベクトルを、各座標の符号、半径、正の単位方向に分解する。この表現では、方向を有界で統計的に規則的な状態に保ちながら、外れ値の大きさを半径へ切り分けられる。この考え方に基づき、半径に追加の精度を割り当て、外れ値による精度低下を緩和する。さらに、正の方向を表す小さなコードブックを使い、角度によるパラメータ化を通じてその要素を微調整することで、単位球面の制約を維持する。 また、方向コードブックを共有メモリで参照できる小ささに保ち、半径のビットを効率よく詰め込む、ハードウェアに適した行列ベクトル積（GEMV）カーネルも設計する。実験では、SPHQuantは最先端の極低ビット量子化手法と同等の性能を達成しつつ、RTX A6000でQTIPよりデコードのスループットを30.3%改善した。コードはhttps://github.com/Pushazf/SPHQuantで公開予定である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Recent foundation models are moving toward native multimodal Vision-Language Models (VLMs), making VLMs a central form of next-generation foundation models. However, their large language backbones make edge deployment difficult due to high memory footprint and memory-bound autoregressive decoding. Weight-only post-training quantization is a practical solution, but pushing VLMs to extreme low bit-widths remains challenging: existing rotation-free methods suffer from outliers at 2-3 bits, while rotation-based methods improve accuracy at the cost of additional runtime overhead. We propose SPHQuant, a rotation-free spherical weight-only quantization framework for VLMs. Instead of quantizing weights directly in Cartesian coordinates, SPHQuant decomposes each 8D weight vector into coordinate signs, radius, and a positive unit direction. This representation isolates outlier magnitude into the radius while keeping directions bounded and statistically regular. Based on this insight, SPHQuant allocates extra precision to the radius to mitigate accuracy degradation induced by outliers. It further uses a compact positive-direction codebook and fine-tunes codebook entries through angular parameterization to preserve the unit-sphere constraint. We also design a hardware-friendly GEMV kernel that keeps the direction codebook small enough for shared-memory lookup and packs radial bits efficiently. Experiments show that SPHQuant matches the performance of state-of-the-art extreme low-bit quantization methods while improving decode throughput over QTIP by 30.3% on RTX A6000. Code will be released in https://github.com/Pushazf/SPHQuant.
著者のコメント
16 pages, 5 figures, including appendix. Code will be released at https://github.com/Pushazf/SPHQuant
arXiv ID: 2609.24875 ／ 要約の誤りについて