音声と文字の長さをそろえて言語モデルへの接続を軽くする
Align, Integrate, and Fire: Efficient Token-Level Alignment for Zero-Shot SpeechLLMs
この論文をやさしく読む
ひとことで言うと
音声の長いフレーム列を文字のトークン数に合わせて圧縮し、言語モデルへつなぐための学習を軽くする方法です。
何に役立つ？
考えられる用途は、既存の言語モデルに音声認識や音声翻訳を加える際の学習費用の削減です。初期段階で言語モデルの順伝播を省く構成です。
この研究の面白いところ
音声と文字の対応を明示して長さをそろえることと、後段で1層だけを使う蒸留を組み合わせています。
どこまで分かった？
ゼロショットという名称でも、接続部分の初期学習とその後の微調整を含みます。要旨には削減率や評価得点はなく、全処理で言語モデルの計算が不要になるという意味ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデルは自然言語処理に優れるが、その能力を音声入力へ効率よく広げることは依然として大きな課題である。SpeechLLMを構築する既存手法は、計算費用の大きいモデル全体の微調整に頼ることが多い。また、パラメータ効率のよい射影器を用いても、トークン列の長さが非効率で、モデル全体を使う教師信号の計算に費用がかかる。 本論文では、ゼロショット音声処理の高効率な枠組みAligned Continuous Integrate-and-Fireを導入する。動的時間伸縮法による明示的な対応付けを利用し、連続的な音響フレームを、対象テキストの離散トークン数と完全に一致する長さへ動的に圧縮する。これにより、初期学習段階では軽量な距離指標を使って音響と意味を強く結び付けられ、計算費用の大きいLLMの順伝播を完全に省ける。 続く微調整では、LLMの1層だけを対象とする、メモリ効率のよい知識蒸留の目的関数を提案する。これはモデル全体の交差エントロピー学習に比べて計算費用を大幅に減らしつつ、競争力のある性能を示す。自動音声認識と音声翻訳での広範な評価により、従来のパラメータ効率を重視した比較手法を上回る性能を示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
While Large Language Models excel in natural language processing, efficiently extending their capabilities to spoken input remains a significant challenge. Existing methods for building SpeechLLMs often rely on computationally expensive full-model fine-tuning, or employ parameter-efficient projectors that suffer from inefficient token sequence lengths and costly full-model supervision. In this paper, we introduce Aligned Continuous Integrate-and-Fire, a highly efficient framework for zero-shot speech processing. Our method dynamically compresses continuous acoustic frames into the exact discrete token length of the target text utilizing explicit Dynamic Time Warping alignments. This allows our initial training stage to establish a robust acoustic-to-semantic bridge using lightweight distance metrics, entirely bypassing the computationally expensive LLM forward pass. For subsequent fine-tuning, we propose a memory-efficient knowledge distillation objective that targets a single LLM layer, performing competitively with full-model cross-entropy training at a fraction of the computational cost. Through extensive evaluations on Automatic Speech Recognition and Speech Translation, we demonstrate that our method achieves superior performance compared to prior parameter-efficient baselines.
著者のコメント
Accepted at WMT2026
arXiv ID: 2609.18516 ／ 要約の誤りについて