arXiv論文メモ
新着一覧
eess.AS · 査読状況未確認

音声合成Transformerの層を繰り返し使う配置を比較

Depth through recurrence: Looped transformers for flow-matching TTS

Jiabao Ai, Peng Han, Yuchen Song, Zhengjun Yue

この論文をやさしく読む

ひとことで言うと

音声合成モデルの層を共有して小さくする際、どの順序と位置で繰り返すかを比較した研究です。

何に役立つ?

モデル容量を抑えた音声合成器の設計で、サンプリング回数に応じた配置選びの参考になります。

この研究の面白いところ

同じ18回のブロック実行でも共有の配置によって品質が変わり、少ないサンプリング回数で差が大きくなりました。

どこまで分かった?

結果は2データセットと評価した7配置、4回・32回などの条件に基づきます。最良の配置は重視する品質指標にも依存します。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

著者らは、フローマッチングによるテキスト音声合成で、重みを再利用する量、順序、位置を変え、繰り返し計算を使ったTransformerの深さの構成を調べる。7種類の配置は共通の学習目標とサンプラーの下で、ネットワーク評価1回につきブロックを18回呼び出す。Seed-TTSとLibriSpeech-PCでは、9ブロックを各2回連続で使うSEQUENCEが、重みを共有しない基準モデルよりパラメータを47.1%減らしながら、32回のサンプリングで音声の聞き取りやすさ、話者の類似性、予測される音声品質について競争力を保った。6ブロックを3周させるとモデルはさらに小さくなるが、9ブロックを2周させる場合より32回サンプリング時の単語誤り率が上がった。 パラメータ数と実行する深さをそろえても、再利用の順序と共有する位置により品質のバランスが異なる。比較結果はサンプリング回数にも依存する。前方だけ共有するPrefixと後方だけ共有するSuffixは32回サンプリングの単語誤り率が近いが、4回ではSuffixの方が2データセットでそれぞれ3.44、5.97パーセントポイント悪かった。Middleだけが両データセットで、32回と4回の平均単語誤り率の双方において1位または2位となった。繰り返し計算の構成は合成品質に影響するため、サンプリング回数と重視する品質指標に合わせて選ぶ必要がある。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-24(UTC)
最新改訂
2026-09-24 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

We study how to organize Transformer depth through recurrence in flow-matching text-to-speech, varying the amount, order, and place?ment of weight reuse. Seven layouts perform 18 block calls per network evaluation under a common training objective and sam?pler. On Seed-TTS and LibriSpeech-PC, SEQUENCE applies each of nine blocks twice consecutively, retaining competitive intelligibil?ity, speaker similarity, and predicted speech quality at 32 sampling steps with 47.1% fewer parameters than the unshared baseline. Cy?cling six blocks three times further reduces model size but raises 32-step word error rates relative to cycling nine blocks twice. At matched parameter counts and executed depth, reuse order and shar?ing position produce different quality trade-offs. These comparisons depend on sampling budget: Prefix and Suffix have similar 32-step word error rates, but Suffix is worse by 3.44 and 5.97 percentage points at four steps on the two datasets, respectively. Only Middle ranks first or second in mean word error rate at 32 and four steps on both datasets. These results show that the organization of recurrent computation affects synthesis quality, and that reuse layouts should be selected for both the sampling budget and the quality dimensions of interest.

arXiv ID: 2609.29768 / 要約の誤りについて