合成音声の不自然な箇所を時間軸上で特定する
XSQ-AST: An Explainable Audio Spectrogram Transformer Framework for Localising Synthetic Speech Artifacts
この論文をやさしく読む
ひとことで言うと
合成音声全体に点数を付けるだけでなく、どの時点が不自然に聞こえるかを示す方法です。既存の品質評価モデルの注目箇所を、音素や時間に対応付けます。
何に役立つ？
考えられる用途は、音声合成の問題箇所の点検や、品質評価結果の確認です。再学習せずに局所的な診断を得る構成になっています。
この研究の面白いところ
複数の説明手法を人の聴取結果と比較し、1つの手法がすべての問題に最適という扱いをしていません。時間分布と音素境界の両方で結果を整理します。
どこまで分かった？
検証は40人の聴取試験と5つの知覚的側面です。要旨には相関係数やAUCの具体値はなく、完全な検出精度を示したものではありません。問題の種類で適した説明手法が異なります。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
合成音声のアーティファクトの位置を特定することは、ほとんどの評価法が全体の品質スコアしか出さないため、依然として難しい。本論文では、SQ-AST音声品質モデル、WhisperXによる音素アラインメント、複数の顕著性手法を組み合わせ、モデルを再学習せずにアーティファクトの発生箇所を時間軸上で診断する枠組みXSQ-ASTを提示する。 顕著性マップを、カーネル密度推定によって連続的な分布へ投影し、音素単位に離散化した顕著性マップによって音素境界へも投影する。40人の参加者による聴取試験で、5つの知覚的な側面にわたり枠組みを検証した。Attention Rollout、Attention Flow、調整したGradCAMが生成する時間分布は、聴取者が指摘した箇所と相関し、アーティファクトの種類によって最適な手法は異なった。AUC-ROC解析により、偶然水準を上回る判別性能が確認された。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Localising artifacts in synthetic speech remains challenging, as most evaluation methods yield only global quality scores. This paper presents XSQ-AST, a framework that combines the SQ-AST speech quality model with WhisperX phoneme alignment and multiple saliency methods to produce temporally localised artifact diagnostics without model retraining. Saliency maps are projected onto continuous distributions via kernel density estimation and onto phoneme boundaries via phoneme-discretised saliency maps. A 40-participant listening test validated the framework across five perceptual dimensions. Attention Rollout, Attention Flow and an adapted GradCAM produced temporal distributions that correlated with listener highlights, with different methods best suited to different artifact types. An AUC-ROC analysis confirmed discrimination above chance.
著者のコメント
Submitted to IEEE ICASSP 2027
arXiv ID: 2609.24770 ／ 要約の誤りについて