声の有無を指定して口の動きに合わせる吹き替え音声
Not Quite My Tempo: Voice Activity-aware Speech Synthesis for Lip-Synchronous Dubbing
この論文をやさしく読む
ひとことで言うと
吹き替え音声の発声と無音のタイミングを、単純な二値信号で指定する方法。
何に役立つ？
映像編集で口の動きに合わせる制約を調整しながら、自然な音声を作る用途が考えられる。
この研究の面白いところ
唇の動きそのものではなく声の有無を条件にし、学習時のランダムな条件遮断で推論時に条件を任意にしている。
どこまで分かった？
要旨には評価データや数値の詳細がなく、あらゆる言語・映像で同じ精度かは分からない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自動的に口の動きに合わせた吹き替えでは、自然な視聴体験のために、目標言語の発声と無音の交替を元映像のタイミングに正確に合わせる必要がある。従来研究は映像から抽出した唇の動きを条件として音声を合成してきた。本研究は、表現が軽量で複数の方法で生成できる二値の音声活動信号を条件にして音声を生成する。広範な客観評価と主観評価により、モデルがこの信号に高精度で従いながら、自然な韻律と文中の意味に合った間の置き方を維持することを示す。学習中にこの条件をランダムに隠すことで、推論時には完全に任意で使える機能とし、編集者が必要に応じて口の動きとの同期制約を強めたり緩めたりできるようにする。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Automatic lip-synchronous dubbing requires a speech synthesis model to generate alternating voice and silence patterns in the target language that match the timing of the source clip precisely to ensure an optimal viewing experience. Prior works address this problem by conditioning the speech synthesis process on lip movements extracted from the video signal. In this work, we condition the speech generation on a binary voice-activity signal, which has a lightweight representation and can be produced in multiple ways. We show that the model follows the voice-activity signal with high accuracy while maintaining natural prosody and semantically appropriate pause placement within sentences, as demonstrated through extensive objective and subjective evaluations. By randomly masking this condition during training, we make the feature entirely optional during inference, allowing editors to enforce or relax lip-sync constraints when desired.
著者のコメント
accepted at Interspeech 2026
arXiv ID: 2609.26486 ／ 要約の誤りについて