自律走行車へ低遅延で指示するオフライン音声助手
Talk to Me, Jarvis: An Open-Source Edge-Deployable Voice Assistant Framework for Autonomous Racecars
この論文をやさしく読む
ひとことで言うと
ネット接続に頼らず、自律走行車への音声指示を理解する助手です。用途に特化した7Bモデルで、言葉を高水準の行動指示に分類します。
何に役立つ？
考えられる用途は、通信状況による遅延の揺れを避けたい車両の操作支援です。実験では意図認識精度97.63%と平均処理遅延1.39秒を報告しています。
この研究の面白いところ
大きなオンラインモデルではなく、用途に合わせて学習したローカルモデルを音声入出力と組み合わせています。
どこまで分かった？
指示分類の精度と平均遅延は、車両の走行安全性や最悪時の応答時間の保証ではありません。評価データや実行機器の詳細は要旨には示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
近年の大規模言語モデルの進歩により、とりわけ意図理解と文脈を踏まえた入力分類において、音声アシスタントのバックエンドとしての有効性が高まった。しかし、オンラインでホストされたモデルはネットワークへの依存と変動する推論遅延をもたらし、時間制約の厳しい自律運転用途への適性が限られる。本研究では、これらの問題に対処するため、自律車両に高水準の行動指示を与えるオフライン音声アシスタントJarvisを開発する。 その構成は、音声認識と音声合成を自然言語による指示分類と統合した、軽量でローカルに動作する枠組みである。Jarvisの中核は、Mistral 7Bを分野に特化してファインチューニングした、低遅延で推論するテキストから指示への分類器である。実験評価では、より大きなオンライン提供モデルを上回り、意図認識精度97.63%、平均処理遅延1.39秒を達成した。この結果は、素早い応答を必要とする運用に適したものである。さらなる研究とファインチューニングを支援するため、オープンソースの実装を提供する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Recent advances in large language models have improved their effectiveness as back-end components for voice assistants, particularly in intent understanding and context-aware input classification. However, online-hosted models introduce network dependency and variable inference latency, limiting their suitability for time-critical autonomous driving applications. In this work, we address these issues by developing Jarvis, an offline voice assistant for high-level behavioral commands of autonomous vehicles. Its architecture integrates speech recognition and synthesis with natural language command classification into a lightweight, local framework. Jarvis core component is a text-to-command classifier, built using a domain-specific fine-tuning of the Mistral 7B model, demonstrating low-latency inference. Our experimental evaluation demonstrates that our solution outperforms larger online-hosted models, achieving 97.63 % intent recognition accuracy with an average processing latency of 1.39 s, making it well-suited for operations requiring quick response times. To support further research and fine-tuning, we provide an open-source implementation.
arXiv ID: 2609.21109 ／ 要約の誤りについて