非ストリーミング音声認識の対応経路を逐次認識へ移す
Alignment-Path Distillation from Non-streaming ASR-LLMs for Streaming Speech Recognition
この論文をやさしく読む
ひとことで言うと
一括処理する音声認識LLMの注意情報から音声と文字の対応を取り出し、逐次音声認識の学習へ移します。
何に役立つ？
別の音響モデルが作る強制アラインメントとの不一致を減らし、ストリーミング認識の誤りを改善するための学習方法です。
この研究の面白いところ
対応経路だけの蒸留と、出力分布・内部状態の蒸留を分けて比較します。経路変更だけで相対誤り率5.2%減、全体で16.6%減という異なる比較を示します。
どこまで分かった？
両方式に出力・内部状態蒸留を使った比較では、誤り率3.9%減と同程度の平均出力遅延の一方、表示の揺れが増えます。精度改善だけで使い勝手の全面改善を結論付けられません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）を用いたストリーミング自動音声認識（ASR）に向けて、アラインメント経路を蒸留する枠組みを提案する。音声とテキストを交互に並べるストリーミングASR-LLMは、CTC（Connectionist Temporal Classification）で学習したモデルなどのアラインメントモデルから得られる強制アラインメント（FA）を使い、音声・テキストの学習系列を構築する。しかし、別の音響モデルが求めた対応付けは、LLMに基づくASRが学習する対応付けと整合しない場合がある。そこで、非ストリーミングASR-LLMから対応情報を移し、ストリーミング認識の改善を図る。 具体的には、非ストリーミングの教師モデルのソフトなテキスト・音声間アテンションから単調なアラインメント経路を抽出し、それを用いて交互に並べた学習系列を構築する。この枠組みには、教師の出力分布と内部表現から学ぶためのロジット蒸留と隠れ状態蒸留も含まれる。 実験では、ロジット蒸留も隠れ状態蒸留も用いない場合、教師由来の対応経路での学習は、強制アラインメントでの学習に比べて誤り率を相対的に5.2%低減した。比較する両モデルでロジット蒸留と隠れ状態蒸留を用いた場合には、教師由来の対応付けによって誤り率が相対的に3.9%低減し、平均出力遅延は同程度だったが、途中の認識出力の書き換わりは多くなった。枠組み全体では、ロジット蒸留・隠れ状態蒸留なしの強制アラインメントによる学習と比べ、誤り率を相対的に16.6%低減した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
In this paper, we propose an alignment-path distillation framework for streaming automatic speech recognition (ASR) with large language models (LLMs). Interleaved streaming ASR-LLMs use forced alignments (FA) from alignment models, such as those trained with connectionist temporal classification (CTC), to construct speech-text training sequences. However, alignments obtained from a separate acoustic model may be inconsistent with those learned by LLM-based ASR. This motivates us to transfer alignment information from a non-streaming ASR-LLM to improve streaming recognition. Specifically, we extract monotonic alignment paths from a non-streaming teacher's soft text-audio attention and use them to construct interleaved training sequences. The framework also includes logit and hidden-state distillation to learn from the teacher's output distributions and internal representations. Experimental results show that, without logit or hidden-state distillation, training with teacher-derived alignment paths achieves a 5.2% relative error rate reduction compared with training using forced alignments. When both models use logit and hidden-state distillation, teacher-derived alignments yield a 3.9% relative error rate reduction, with similar mean emission latency but higher flicker. The complete framework achieves a 16.6% relative error rate reduction compared with training using forced alignments without logit or hidden-state distillation.
著者のコメント
5 pages, 1 figure, 2 tables
arXiv ID: 2609.20121 ／ 要約の誤りについて