arXiv論文メモ
新着一覧
cs.AR / eess.IV · 査読状況未確認

小規模FPGAで動くベクトル量子化画像圧縮

VQ-LIC: Shared Vector-Quantized Learned Image Compression on a Resource-Constrained FPGA

Muhammad Fahd Ibrahim Bhatti, Abdullah Bin Faisal, Ahsan Usman, Naveed Anwar Bhatti, Muhammad Ali Siddiqi

この論文をやさしく読む

ひとことで言うと

小型FPGA側で画像を圧縮し、クラウド側で復元するための専用設計と実チップ評価。

何に役立つ?

計算資源の少ない装置で学習型画像圧縮を動かす際の演算器共有と遅延設計の参考になる。

この研究の面白いところ

ベクトル量子化と画像変換で同じ演算エンジンを使い、遅延モデルを実チップで0.26%と0.05%以内に検証した。

どこまで分かった?

性能はZynq-7020とCLIC 2017での結果。比較手法よりPSNRに一定の代償があると要旨に記載されている。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

学習型画像圧縮を資源の非常に少ないFPGAに実装するのは難しい。実際の速度は演算数だけでなく、メモリ転送、演算間の負荷の偏り、ハードウェアが処理をまとめる方法にも依存するからである。著者らは、エッジとクラウドで処理を分担する非対称の画像符号化方式VQ-LICを提示する。エッジでは小型のINT8の深さ方向・点方向の解析変換と複数コードブックのベクトル量子化(VQ)を、再利用可能な演算エンジンの組で実行し、復元はより大きいクラウド側の復号器が担う。VQのコード語照合は内積で表せるため、同じ点方向演算エンジンへ直接割り当て、専用のVQ演算配列を不要にする。著者らの知る限り、これはFPGA上の学習型画像圧縮では初めての構成である。FPGAの読み出し、深さ方向演算、点方向演算、書き込みの決定論的なRTLサイクル数から新しい遅延モデルを導き、解析変換のブロック当たり遅延を予測する。VQも同じ演算経路を共有するため、このモデルを適用できる。実際のチップで検証すると、実装した解析処理とVQの遅延をそれぞれ0.26%と0.05%以内で予測でき、16、48、64の3ブロック変換の選択に役立った。学習後のコードブック削減により、VQの演算量とコードブックの保存容量をそれぞれ4分の1にし、固定幅の潜在表現も小さくした。220個のDSPを備えたZynq-7020では、中程度のビットレート設定でCLIC 2017上の0.1398ビット毎画素、PSNR 28.69 dB、MS-SSIM 13.06 dBを達成した。同程度の大きさのニューラル符号器を上回り、3桁大きな符号器に匹敵するレート・歪みの範囲に達した。画素当たり0.1945 kMACの解析・VQ全体は、実チップ上で毎秒47.98フレーム、1フレーム当たり42.84 mJで動く。比較可能なFPGAの学習型画像圧縮アクセラレーターよりDSPを約1桁少なく使い、PSNRではある程度の代償を伴うものの、低いビットレート、高い処理速度、低いフレーム当たりエネルギーを実現した。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-24(UTC)
最新改訂
2026-09-24 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Learned image compression (LIC) is hard to deploy on severely resource-constrained FPGAs, since how fast it actually runs depends not just on arithmetic count, but also on memory traffic, imbalance between different operations, and how the hardware batches its work. We present VQ-LIC, an asymmetric edge-cloud codec in which a compact INT8 depthwise (DW)-pointwise (PW) analysis transform and multi-codebook vector quantization (VQ) run at the edge on a reusable DW/PW engine pair, while reconstruction is handled by a larger cloud decoder. Since VQ codeword matching is expressible as a dot product, it is mapped directly onto the same PW engine, removing the need for a separate VQ compute array, to our knowledge a first for FPGA LIC. A novel latency model, derived from deterministic RTL cycle counts of an FPGA's read, DW, PW, and write costs, predicts an analysis transform's per-block latency; since VQ shares the same PW datapath, the model applies to VQ as well. Validated directly against silicon, the model predicts deployed analysis and VQ latency within 0.26\% and 0.05\%, and guides the selection of a three-block $16$-$48$-$64$ transform. Post-training codebook reduction then cuts VQ arithmetic and codebook storage by $4\times$ and shrinks the fixed-width latent representation. On a 220-DSP Zynq-7020, VQ-LIC's mid-rate preset reaches 0.1398 bits per pixel at 28.69 dB PSNR and 13.06 dB MS-SSIM on CLIC~2017, outperforming a similarly sized neural encoder and reaching a rate-distortion range comparable to a codec three orders of magnitude larger. The complete 0.1945-kMAC/pixel analysis-VQ pipeline runs at 47.98 frames per second and 42.84 mJ per frame on silicon, using an order of magnitude fewer DSPs than comparable FPGA LIC accelerators while achieving lower bitrate, higher throughput, and lower energy per frame at a modest PSNR tradeoff.

arXiv ID: 2609.29727 / 要約の誤りについて