音声対話と非同期タスクを組み合わせるQwen-Audio-Agent
Qwen-Audio-Agent Technical Report
この論文をやさしく読む
ひとことで言うと
音声会話を続けながら、すぐできる操作と時間のかかる作業を振り分けるエージェントの設計です。
何に役立つ？
デスクトップ操作や音声案内などで、会話を中断せずに長い作業を進める構成を検討する際の参考になります。効果の数値は社内コックピット評価に基づきます。
この研究の面白いところ
音声を遮る操作と仕事そのもののキャンセルを分け、作業の完了と結果を伝える時機も分離しています。
どこまで分かった？
成功率の比較は社内コックピット評価134件、遅延の比較は成功した対応ターンに限られます。ほかの適用例について、要旨に同様の定量結果は示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
著者らは、前景・背景構成によって双方向の同時音声対話と非同期のタスク実行を組み合わせる基盤、Qwen-Audio-Agentを提示する。フロントエンドエージェントが対話を管理し、ツールを直接使うか、タスクを委任するかを選ぶ。バックエンドエージェントは別の文脈で委任されたタスクを実行する。オーケストレーション用ランタイムはタスクの状態を保持し、ユーザーへの入力や許可の依頼を調整し、結果を会話へ戻す時機を決める。このランタイムは、音声の中断とタスクのキャンセル、実行の完了と結果の通知をそれぞれ分け、委任された作業が進む間も会話を続けられるようにする。環境で起きる出来事と永続的な記憶は、セッション内とセッション間の文脈を提供する。独立したアダプターにより、異なるフロントエンドモデル、バックエンドエージェント、クライアントと統合できる。この構成をデスクトップ支援、車両の知的コックピット、音声顧客対応に適用する。社内のコックピット評価134件では、直接実行と委任を組み合わせた方式のタスク成功率は91.04%で、直接実行のみの72.39%、すべて委任する方式の80.60%を上回った。別の遅延評価では、成功した対応ターン同士を比較すると、混合方式の平均タスク実行遅延は、これら2つの基準方式よりそれぞれ26.73%、30.91%短かった。これらの結果は、即時の操作には直接のツール呼び出し、複数段階の作業にはバックエンドへの委任を組み合わせることを支持する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We present Qwen-Audio-Agent, a harness that combines full-duplex voice interaction with asynchronous task execution through a foreground-background architecture. A Frontend Agent manages dialogue and selects between direct tool use and delegation, while a Backend Agent carries out delegated tasks in a separate context. An Orchestration Runtime maintains task state, coordinates requests for user input and authorization, and schedules the return of results to the conversation. The runtime separates speech interruption from task cancellation and execution completion from result delivery, allowing conversation to continue while delegated work proceeds. Environmental events and persistent memory provide context within and across sessions. Independent adapters support integration with different frontend models, backend agents, and clients. We instantiate the architecture in desktop assistance, intelligent cockpits, and voice customer service. On an in-house cockpit benchmark of 134 cases, mixed execution achieves a task success rate of 91.04%, compared with 72.39% and 80.60% for the direct and all delegated configurations, respectively. In a separate latency evaluation on matched successful turns, mixed execution reduces mean task execution latency by 26.73% and 30.91% relative to these baselines, respectively. These results support the complementary use of direct tool calls for immediate operations and backend delegation for multi-step tasks.
arXiv ID: 2609.25195 ／ 要約の誤りについて