車載音声命令の認可におけるLLM安全性評価
From Intent to Action: Benchmarking LLM Safety in Vehicle Voice Command Authorization
この論文をやさしく読む
ひとことで言うと
車の音声指示を実行する前に、実行・拒否・確認など7種類の判断をLLMが正しく選べるかを評価しています。
何に役立つ？
話者の役割、認証、車の状態、利用可能な機能を踏まえた、車載音声操作の権限確認を設計するための試験です。
この研究の面白いところ
202シナリオで、APIモデルの一致率は83.2〜89.1%でも、実行すべきでない161件中2〜3件を実行判断しました。高い全体成績と危険な少数誤りを別々に数えています。
どこまで分かった？
構造化した方針で小型モデルの一致率は上がっても誤実行は消えません。著者らは、車両状態とツール権限を別途確認する強制層が必要と結論しています。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデル（LLM）は車載音声アシスタントへ組み込まれつつある。しかし、自然言語の要求を車両機能へ結び付けることは、安全性が重要な認可問題を生む。命令を実行する前に、システムは、実行、拒否、明確化、確認要求、手動操作への委譲、緊急対応の起動、ツール呼び出しなしのいずれを選ぶか決めなければならない。私たちの知る限り、従来の評価は、話者の役割、認証状態、車両状態、ツールの利用可能性をまたいだこの実行前決定を切り出していなかった。 そこで、7クラスの分類体系による基準決定を備えた202シナリオのベンチマークを導入する。ローカルのオープンウェイトモデル2種とAPI型LLM3種を、決定整合性と安全性に特化した誤り指標で評価した。整合性はLlama 3.2 3Bの40.1%からGemini 3.1 Pro Previewの89.1%までで、API型モデルは83.2〜89.1%だった。API型モデル間に統計的に有意な差はなかった。 それでも、これらのモデルは、実行しないべき161シナリオの中で2〜3件の誤実行を生み、確認要求と手動操作の判断にも持続的な誤りが残った。制御したLlama 3.2 3Bのアブレーションでは、構造化された認可ポリシーのもとで整合性が40.1%に上がったが、スキーマだけのベースラインでは28.2〜29.2%であり、一般的な安全性ベースラインも同程度だった。それでも誤実行はなくならなかった。 したがって、構造化したLLMの判断だけでは単独の安全機構として不十分であり、展開には、車両機能を呼び出す前にツール権限と車両状態の制約を検証する独立した強制層が必要である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large language models (LLMs) are increasingly integrated into vehicle voice assistants. But linking natural-language requests to vehicle functions creates a safety-critical authorization problem. Before executing a command, the system must choose whether to execute, refuse, clarify, require confirmation, defer to manual control, trigger an emergency response, or make no tool call. To our knowledge, prior evaluations do not isolate this pre-action decision across speaker role, authentication status, vehicle state, and tool availability. We introduce a 202-scenario benchmark with Reference Decisions under a seven-class taxonomy. We evaluate two local open-weight models and three API-based LLMs using Decision Alignment and safety-specific error metrics. Alignment ranges from 40.1% for Llama 3.2 3B to 89.1% for Gemini 3.1 Pro Preview. The API-based models score between 83.2% and 89.1%, with no statistically significant differences among them. Even these models produce two to three False Executes among 161 non-execution scenarios, and persistent errors remain in confirmation and manual-control decisions. A controlled Llama 3.2 3B ablation increases alignment to 40.1% under the structured authorization policy, versus 28.2-29.2% under schema-only and generic-safety baselines, but it does not eliminate False Executes. Structured LLM decisions are therefore insufficient as a standalone safety mechanism, and deployment requires an independent enforcement layer that verifies tool permissions and vehicle-state constraints before invoking any vehicle function.
arXiv ID: 2609.19630 ／ 要約の誤りについて