音声モデルの内部表現を再利用して存在しない音の言及を削減
REVE: Efficient Hallucination Correction for Large Audio-Language Models via Reused Encoder States
この論文をやさしく読む
ひとことで言うと
音声AIが実際にはない音を説明してしまう問題に対し、すでに計算した内部表現から音の有無を確認します。
何に役立つ？
考えられる用途は、音声説明の誤ったイベント言及を、別の音声エンコーダを動かす費用を抑えて減らすことです。
この研究の面白いところ
音全体の集約と連続区間の集約を組み合わせ、検証処理の遅延をCED-Base経路の約18分の1にしたと報告しています。
どこまで分かった？
92.9%はAudioSetでラベルの裏付けがない言及の除去率です。全回答の正答率ではなく、忠実な言及の再現率制約の値も要旨にはありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模音声言語モデルは、入力に存在しない音響イベントに言及することがある。別の音響イベント検出器で言及を検証できるが、そのためには二つ目の音声エンコーダと別の順伝播が必要になる。そこで、対象モデルがすでに計算した状態を利用する軽量な手法REVE（イベント検証のためのエンコーダ状態再利用）を提案する。一方の読み出しは音声フレーム全体のクラススコアを集約し、もう一方は連続する四つのフレーム区間からプーリングした状態を使う。クラスを考慮したスコア融合で両者の出力を組み合わせ、音声を再符号化せずに、生成されたイベントへの言及を検証する。AudioSetでは、忠実な言及の再現率に制約を設けた条件で、ラベルに裏付けられない言及の92.9%を除去する。追加パラメータが少なく、二度目の音声符号化を行わないにもかかわらず、CED-TinyおよびCED-Baseと同程度の削減を達成する。検証全体の遅延は、CED-Baseを使う処理経路のおよそ18分の1である。条件を制御したDESEDの混合音や、異なる対象モデルのアーキテクチャでの結果も、エンコーダ状態再利用の有効性を裏付ける。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large audio-language models may mention acoustic events that are absent from the input. A separate audio event detector can verify these mentions, but doing so requires a second audio encoder and a separate forward pass. We propose Reused Encoder States for Verifying Events (REVE), a lightweight method that uses states already computed by the target model. One readout summarizes class scores across audio frames, while another uses pooled states from four consecutive frame intervals. Class-aware score fusion combines their outputs to verify generated event mentions without encoding the audio again. On AudioSet, REVE removes 92.9% of label-unsupported mentions under a faithful-mention recall constraint. With fewer added parameters and no second audio-encoding pass, REVE achieves a reduction comparable to those of CED-Tiny and CED-Base. Its complete verification latency is about 1/18 of the CED-Base path. Results on controlled DESED mixtures and different target-model architectures further confirm the effectiveness of encoder-state reuse.
arXiv ID: 2609.26028 ／ 要約の誤りについて