FP4で正確な整数行列積に必要な演算回数を削減
AWE: Adaptive Weight Encoding for Exact Integer Matrix Products with Fewer GEMMs on FP4 Tensor Cores
この論文をやさしく読む
ひとことで言うと
低精度のFP4演算器で誤差のない整数行列積を作るため、数値の分け方と組み合わせ方を工夫しています。INT8同士の積では必要な行列乗算を9回から6回に減らします。
何に役立つ?
高精度の行列演算を低精度の高速な演算器で組み立てる際の部品になります。考えられる用途はOzaki方式による高精度計算の演算量削減です。
この研究の面白いところ
通常の13進表現に固定せず、桁の重みや格納する線形結合も探索します。FP4で表せる値の制約を守りながら、再構成時には正確な積を得る設計です。
どこまで分かった?
報告された削減は必要な積の回数です。9回から6回という値が、そのまま実行時間の1.5倍高速化を意味するわけではありません。入力幅15付近という境界の単位や詳細な性能測定は要旨に示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
Ozaki方式のように高精度の浮動小数点行列乗算をエミュレートする手法では、入力を低精度の成分に分割し、成分の各組を乗算する。これらの積には誤差があってはならず、それぞれは整数行列積にスケール係数を掛けたものである。FP4 Tensor CoreはNVIDIA B200とB300で最も高速だが、INT8のオペランドを保持できない。FP4の値を2倍した集合S={0,±1,±2,±3,±4,±6,±8,±12}は13を法とするすべての剰余を含むため、桁上がりを用いれば任意の整数をFP4に格納できる13進の桁へ分割できる。先行研究は各INT8オペランドを重み(1,13,169)の3桁、すなわち3つのリムに分割し、各組を乗算するため、INT8×INT8に9回のFP4行列乗算(GEMM)を使う。Karatsuba法やToom–Cook法など積の数を減らす古典的手法は、そのままでは使えない。リムの和が±24まで達してSから外れるためである。 本論文は、1つの整数行列積に何回のFP4 GEMMが必要かを問う。提案する適応的重み符号化(AWE)では、リムの整数重みを自由に選び、格納する各プレーンをリムの線形結合とし、FP4 GEMMの結果に再構成係数を掛けて足し合わせることで正確な積を得る。各入力範囲について、より少ない積で済む符号化を探索し、INT8×INT8を6回、INT4×INT8を4回の積で計算するものを見いだした。この定式化は法mでも成立し、Ozaki方式IIの剰余数系も扱える。FP64の仮数については、先行研究の75回の積を59回に減らす。剰余を用いる符号化と用いない符号化で積の数の優劣が分かれる境界は、入力幅15付近にある。見いだした符号化を公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21(UTC)
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Emulation of high-accuracy floating-point matrix multiplication, as in the Ozaki scheme, splits the inputs into low-precision components and multiplies them pairwise. These products must be error-free, and each is an integer matrix product times a scale factor. FP4 Tensor Cores are the fastest on the NVIDIA B200 and B300 but cannot hold INT8 operands. The FP4 values scaled by 2 form the set $S = \{0, \pm1, \pm2, \pm3, \pm4, \pm6, \pm8, \pm12\}$, which contains every residue modulo 13, so with carries any integer splits into base-13 digits that FP4 can store. Prior work splits each INT8 operand into 3 such digits (limbs) with weights $(1, 13, 169)$ and multiplies them pairwise, 9 FP4 matrix multiplications (GEMMs) for INT8$\times$INT8. The classical ways to reduce products, such as the Karatsuba and Toom--Cook methods, do not apply as they stand: sums of limbs reach $\pm 24$ and leave $S$. This paper asks how many FP4 GEMMs are needed for one integer matrix product. We propose Adaptive Weight Encoding (AWE): the limbs take freely chosen integer weights, the stored planes are linear combinations of limbs, and the exact product is the sum of the FP4 GEMMs scaled by reconstruction coefficients. For each input range, we searched these choices for encodings with fewer products and found INT8$\times$INT8 in 6 products and INT4$\times$INT8 in 4. The formulation also holds modulo $m$, which covers the residue number systems of Ozaki scheme II: for the FP64 significand, the 75 products of prior work are reduced to 59. The boundary in product count between encodings with and without residues lies near input width 15. We release the encodings found.
arXiv ID: 2609.24519 / 要約の誤りについて