話しながら聞き、ツールも使う音声対話モデル
NemotronLabs VoiceChat: An Open Full-duplex Speech-to-Speech Model with Tool Calling Capabilities
この論文をやさしく読む
ひとことで言うと
相手の話を聞きながら話し、相づちや割り込みに応じ、必要なら外部ツールも呼び出す音声モデルです。
何に役立つ？
自然な間合いを保つ音声アシスタントとツール操作の統合に向けた評価例になります。発話交代や相づち後の再開を別々に測っています。
この研究の面白いところ
音声の入出力だけでなく、逐次文字起こしと構造化された関数呼び出しを並列の経路で扱います。複数の全二重会話ベンチマークで時間的な挙動を評価しています。
どこまで分かった？
100%はユーザー割り込み後の話者交代の指標で、全機能の成功率ではありません。82.5%はツール選択F1であり、引数の正しさや実行完了率とは別です。後二者には改善の余地が明記されています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ネイティブなツール呼び出し機能を持つ、公開された全二重音声対音声モデルNemotronLabs VoiceChatを紹介する。ストリーミング音声エンコーダとデコーダ専用言語モデルに、エージェントの文章と構造化された関数呼び出しのための並列で専門化した出力系列、ユーザー発話を逐次文字起こしする補助RNN-T分岐、ストリーミングTTSデコーダを組み合わせる。この設計により、自然な会話に必要な時間的挙動を保ちながら、聞く、文字起こしする、推論する、ツールを呼ぶ、話すという機能を統一したストリーミング構成で実行できる。 Full-Duplex-Bench 1.0では、評価した公開重みのシステムの中で、発話の間を扱う際の割り込み率が最も低く、ユーザーの割り込み後には100%の話者交代を達成し、その後の応答品質は5点満点で4.33だった。Full-Duplex-Bench 1.5では、ユーザーの相づちの後に93%のケースで応答を再開する。VoiceBenchでは正規化平均55.1を得て、Full-Duplex-Bench 3.0（FDB 3.0）ではツール選択F1が82.5%となった。一方、引数の正確さと端から端までのツール実行には改善の余地が残る。これらの結果は、リアルタイムの会話挙動を損なわずに、全二重の対話、音声認識・生成、一般的な言語能力、外部ツールの使用を、一つの公開音声対音声モデルへ統合できることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We introduce NemotronLabs VoiceChat, an open full-duplex speech-to-speech model with native tool-calling capabilities. NemotronLabs VoiceChat combines a streaming speech encoder and decoder-only language model with parallel specialized output streams for agent text and structured function calls, an auxiliary RNN-T branch for incremental user transcription, and a streaming TTS decoder. This design enables the model to listen, transcribe, reason, invoke tools, and speak within a unified streaming architecture while preserving the temporal behavior required for natural conversation. On Full-Duplex-Bench 1.0, NemotronLabs VoiceChat achieves the lowest pause-handling takeover rates among evaluated open-weight systems, 100\% takeover following user interruptions, and a 4.33/5 post-interruption response-quality score. On Full-Duplex-Bench 1.5, it resumes its response after user backchannels in 93\% of cases. NemotronLabs VoiceChat obtains a 55.1 normalized average on VoiceBench and, on Full-Duplex-Bench 3.0 (FDB 3.0), achieves 82.5\% tool-selection F1, while argument accuracy and end-to-end tool execution remain areas for improvement. These results demonstrate that full-duplex interaction, speech recognition and generation, general language capabilities, and external tool use can be integrated in a single open speech-to-speech model without sacrificing real-time conversational behavior.
arXiv ID: 2609.21967 ／ 要約の誤りについて