音声表現の変化と認識精度の低下は一致しない
Quieter Than the Room: Representation Drift and Task Robustness in Speech Encoders
この論文をやさしく読む
ひとことで言うと
雑音で音声AIの内部表現が変わる量と、実際の認識性能の悪化が対応するか調べた研究。
何に役立つ？
考えられる用途は、音声モデルの雑音への頑健性を評価するとき、内部表現と課題性能を別々に確認すること。
この研究の面白いところ
同じ雑音でも発話中と発話の合間で、表現の変化と性能低下の関係が逆転する場合がある。
どこまで分かった？
結果は八つの固定エンコーダー、四課題、七種類の音での評価。表現の変化だけでは性能低下を安定して予測できない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
音声以外の音が混ざると、音声の内部表現は変わっても、課題の性能が同じ程度には落ちないことがある。本研究は、固定した八つの音声エンコーダーを四つの課題で試し、録音の全体、発話中、発話の合間に非音声の雑音を加える。 録音全体に雑音を加えた場合、七種類の音について、埋め込み表現の変化と課題の性能低下は対応し、Spearman相関の平均は0.81～0.88だった。しかし、同じ雑音を発話中から合間へ移すと、この関係が変わる。小さい音から中程度の音量では、発話の合間の雑音の方が表現の変化は大きいが、意図の認識、話者の照合、音声認識では、発話中の雑音の方が通常は性能を大きく下げた。感情認識では、入れる位置による影響は弱かった。 発話の合間の雑音は、雑音を入れた区間以外の発話フレームの表現も変えた。録音の推定背景雑音より小さい音でも、同じ発話を繰り返し録ったときと同程度に埋め込みが変わりうる。表現の変化は雑音ごとの影響を順位づける助けになるが、変化が大きいほど課題の性能低下が大きいとは一貫して言えない。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Non-speech interference can change a speech representation without causing comparable task loss. We test eight frozen encoders on four tasks, adding non-speech sounds throughout recordings, during speech, or in pauses. Under whole-recording interference, embedding drift tracks task loss across seven sounds, with mean Spearman correlations of 0.81-0.88. Moving the same sound between speech and pauses changes this pattern. At quiet to moderate levels, pause interference produces larger drift, while speech interference usually causes greater loss on intent recognition, speaker verification and speech recognition. Emotion recognition shows a weaker placement effect. Pause interference also changes speech-frame representations beyond the injected region. Even below the estimated recording background, interference can change embeddings as much as repeated speech takes do. Drift helps rank the effects of different sounds, but larger drift does not consistently indicate greater task loss.
arXiv ID: 2609.27195 ／ 要約の誤りについて