Whisperのエンコーダーを6層減らし無ラベル音声で回復
Six Layers Less: Encoder Pruning for Whisper with Label-Free Recovery
この論文をやさしく読む
ひとことで言うと
Whisperのエンコーダーを6層削り、無ラベル音声で性能を一部回復する方法。
何に役立つ？
専用の推論コードを作らずに音声認識モデルを小さくする際の参考になる。要旨には実際の速度やメモリ削減量は記されていない。
この研究の面白いところ
各層を外したときのWER変化から削る層を決め、蒸留で平均WERを21.9％から20.1％へ改善した。
どこまで分かった？
蒸留後の平均WERは元の18.2％まで戻っていない。報告されたWERは4言語の平均であり、各言語の値は要旨にない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
OpenAIのWhisperのような大規模な事前学習済みTransformer音声認識モデルでは、不要な部分を削る手法が広く使われている。デコーダーを削ると、書き起こしの処理全体を大幅に高速化できるためである。例えばwhisper-large-v3-turboではデコーダーを32層から4層に減らし、Distill-Whisperも2層に減らした。一方、エンコーダーの小型化にも取り組みはあるが、広く採用された方法はない。圧縮モデルの利点を生かすのに専用の推論実装が必要になるためかもしれない。 本研究は、エンコーダーの各層を一つずつ外したときの単語誤り率（WER）の変化で層を順位付けする方法を示す。変化が最も小さい6層を削り、エンコーダー全体の18.5％を減らす。モデルは単に層が少ない浅いエンコーダーになるため、専用の推論コードは要らない。さらに、ラベルのない単一言語の音声データで蒸留を行い、層をそのまま削った際の性能低下を回復する。4言語の平均WERは、元の18.2％に対し、層削除だけでは21.9％、蒸留後は20.1％だった。コードと削減したモデルを公開している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Pruning large pre-trained transformer-based ASR models such as OpenAI's Whisper has seen great adoption, as pruning the decoder led to significant end-to-end transcription speedups. For instance, the {\tt whisper-large-v3-turbo} variant reduced the decoder from 32 to 4 layers, while Distill-Whisper similarly reduced the decoder to only 2 layers. Although some attention has been put towards reducing the size of the encoder, no approach has seen wide adoption. This could be due to the need for custom inference implementations to take advantage of the compressed model. We present an approach that ranks encoder layers by the leave-one-layer-out change in Word Error Rate (WER). The six layers that cause the least change are removed, corresponding to $18.5\%$ of the encoder stack. The pruned model requires no custom inference code as it is simply a more shallow encoder with fewer layers. We further distill using unlabeled monolingual speech data to recover performance degradation caused by the zero-shot layer pruning. Mean WER across four languages increases to $20.1\%$ after distillation, compared to $21.9\%$ zero-shot, going from a baseline of $18.2\%$. We release all of our code (https://github.com/rasgaard/whisper-encoder-layer-prune) and the pruned model (https://huggingface.co/rasgaard/whisper-large-v3-turbo-encoder-pruned).
著者のコメント
4 pages, 5 figures, Generalizing from Limited Resources in the Open World workshop at International Joint Conference on Artificial Intelligence
arXiv ID: 2609.27980 ／ 要約の誤りについて