arXiv論文メモ
新着一覧
cs.DC · 査読状況未確認

GPUの整数演算で見逃される誤りを検出・診断

Syndrome Decoding for Silent Data Corruption in Quantized Integer GPU Arithmetic

Pranav Napolean, Vikas Srivastava, Napolean Periathambi

この論文をやさしく読む

ひとことで言うと

量子化されたニューラルネットの整数行列計算で、警告なしに生じる誤りを検知し、場所と大きさまで特定する方法です。

何に役立つ?

GPU計算の信頼性確認と故障診断に役立ちます。元の行列積を変えず、出力を検査する追加カーネルとして動きます。

この研究の面白いところ

単純な行・列の合計では相殺して隠れる誤りを、有限体の検査と誤り訂正符号の復号で扱います。1行に最大4個の誤りを特定する構成です。

どこまで分かった?

H100の注入実験で全対象故障を検知し、医療LLMの評価では観測された破損を除きましたが処理量が30%低下しました。試験した全構成ではその場修復より再計算が速く、検査自体の費用も重要です。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

量子化ニューラルネットワークの推論では、GPUのテンソルコア上で整数行列積を実行するが、その内部のINT32アキュムレータにはパリティもECCもない。このデータ経路で一時的な故障が起きると、有効な形式を持ちながら誤った整数が返り、割り込みも発生しない。チェックサムに基づくアルゴリズムベース耐故障性(ABFT)は、このようなサイレントデータ破損(SDC)を検出できるが、判定は二値にとどまる。破損した要素や誤りの大きさは特定できず、重みなしの行・列チェックサムは、両軸で相殺される誤りを構造上検出できない。 本研究では、変更を加えていないベンダー製GEMMの出力を読み取る後段の検証カーネルSProbeを提案する。61ビット素数体内の独立な3評価点を用いるランダム化Freivaldsゲートでは、非ゼロの誤りを見逃す確率は高々2⁻¹⁴¹である。ゲートが誤りを検出すると、3つの素数を用いた行ごとのべき和シンドロームを、Berlekamp–Massey法、Chien探索、Forney法からなるリード・ソロモン復号手順で復号し、各行で最大4つの競合する誤りの列位置と正確な大きさを復元する。その後、SProbeはアキュムレータをその場で修復するか、GEMMを再計算する。 NVIDIA H100上では、7種類の故障クラスと4種類の行列サイズにわたり、注入したすべての故障を検出した。これにはTR-ABFTが決して検出できないよう構成したパターンや、重み付き格子符号では検出できても訂正できないパターンも含まれる。ゲートのコストは、N=16384ではcuBLASLtのGEMM時間の49%、N=65536では11%である。INT8の医療用LLMでは、保護によって観測されたすべてのサイレント破損がなくなり、スループットの低下は30%だった。 測定では、試したすべての構成で、その場での復元より再計算の方が速く、復旧コストを支配するのは修復よりも診断だった。検証器自体の検証中に見つかった不具合も報告する。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-17(UTC)
最新改訂
2026-09-17 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Quantized neural network inference runs integer matrix multiplications on GPU tensor cores, and the INT32 accumulators inside those cores have neither parity nor ECC. A transient fault in this datapath returns a valid but wrong integer and raises no interrupt. Checksum based Algorithm Based Fault Tolerance (ABFT) can detect such silent data corruptions (SDCs), but its verdict is binary. It cannot identify the corrupted element or its magnitude, and unweighted row and column checksums are blind by construction to errors that cancel on both axes. We present SProbe, a trailing verification kernel that reads the output of an unmodified vendor GEMM. A randomized Freivalds gate with three independent evaluation points in a 61 bit prime field misses a nonzero error with probability at most $2^{-141}$. When the gate fires, per row power sum syndromes over three primes are decoded with the Reed Solomon chain of Berlekamp Massey, Chien search, and Forney, recovering the column and exact magnitude of up to four colliding errors per row. SProbe then repairs the accumulator in place or recomputes the GEMM. On an NVIDIA H100, SProbe detects every injected fault across seven fault classes and four matrix sizes, including constructed patterns that TR-ABFT never detects and patterns that a weighted grid code detects but cannot correct. The gate costs 49% of the cuBLASLt GEMM time at N=16384 and 11% at N=65536. In an INT8 medical LLM, protection eliminates all observed silent corruptions at a 30% throughput cost. Our measurements also show that recomputation is faster than in place recovery in every configuration we tested, that diagnosis rather than repair dominates recovery cost, and we report the defects we found while validating the verifier itself.

arXiv ID: 2609.19743 / 要約の誤りについて