カメラの動きを手掛かりに音源の方向を学習する
Supervising Sound Localization by In-the-wild Egomotion
この論文をやさしく読む
ひとことで言うと
カメラが動いたときに音源の見かけの方向も変わることを使い、音から方向を当てるモデルを学習させます。左右の音の違いに加え、映像から推定した動きを手掛かりにします。
何に役立つ？
考えられる用途は、移動しながら撮影した音声付き動画を、音源定位の学習データとして利用することです。要旨では実世界の動画データセットを提案し、そのデータからの学習と定位性能を評価しています。
この研究の面白いところ
音源方向を直接教える代わりに、映像で分かるカメラの動きと矛盾しない方向を予測させます。弱い教師信号でも多く得られることを利用し、従来の両耳音の情報と組み合わせています。
どこまで分かった？
要旨にはデータセット規模、定位誤差の数値、比較手法、録音環境の詳細は示されていません。実世界のデータで良好な性能と述べていますが、どの環境まで適用できるかはこの要旨からは分かりません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自身の移動を教師信号として用い、両耳音による音源定位を学習する方法を提示する。動画の中では、カメラが動くにつれて、カメラから見た音源の方向も変化する。そこで、従来の多視点幾何の手法で得たカメラ運動の視覚的推定と整合する音の方向を予測するよう、音声モデルを訓練する。 これは弱いものの豊富に得られる教師信号となり、従来の両耳の音の手掛かりと組み合わせる。この方法を評価するため、自身の移動を含む実世界の音声付き動画のデータセットを提案する。本モデルが実世界のデータからうまく学習でき、音源定位課題で良好な性能を示すことを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 掲載先の記載あり
著者による掲載先の記載：Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025。出版社での独立確認は未実施です。
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We present a method for learning binaural sound localization using egomotion as a supervisory signal. Over the course of a video, the cameras direction to a sound source will change as the camera moves. We train an audio model to predict sound directions that are consistent with visual estimates of camera motion, which we obtain using traditional methods from multi-view geometry. This provides a weak but plentiful form of supervision that we combine with traditional binaural cues. To evaluate this method, we propose a dataset of real-world audio-visual videos with egomotion. We show that our model can successfully learn from real-world data and that it performs well on sound localization tasks
著者のコメント
CVPR 2025 Highlight (IEEE/CVF Conference on Computer Vision and Pattern Recognition)
arXiv ID: 2610.01388 ／ 要約の誤りについて