軽量な意思決定モデルでスマートフォン操作を速めるJev-Mobile
Jev-Mobile: Jev as an Executor for Mobile GUI Agents
この論文をやさしく読む
ひとことで言うと
スマートフォン画面の操作を、VLMの大きな判断と軽量モデルの細かな実行に分ける方法。
何に役立つ？
モバイル画面操作エージェントの実行時間とモデル費用を減らすために役立つ。要旨はAndroidWorld全課題での比較を示す。
この研究の面白いところ
成功した操作経路では、段階ごとにVLMを使う方法より実行時間が32.7％短く、API費用は73.4％少なかった。
どこまで分かった？
課題成功率79％は、比較した段階ごとのVLM基準の84％より低い。時間と費用の改善は成功した経路に限って報告されている。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
視覚言語モデル（VLM）は自律的なモバイル画面操作エージェントの一般的な基盤となっている。しかし、多くの既存システムは、ほぼすべての操作で計画と操作対象の特定の両方をVLMに任せるため、待ち時間とモデル提供費用が大きい。本研究は、VLMによる計画の頻度を下げ、軽量な実行を高頻度で行うJev-Mobileを導入する。VLMが局所的な目標を指定し、アクセシビリティツリーが構造化された実行可能な操作空間を定め、高速で型付けされた意思決定モデルJevがその空間内で繰り返し操作を選ぶ。この設計により、VLMの一回の判断の下で複数の画面操作を行い、高費用なVLM推論を減らしつつ、状況に応じた操作を保てる。AndroidWorldの全課題では、Jev-Mobileの課題成功率は79％で、SeeAct-Vは78％、各段階でVLMを用いる基準手法は84％だった。成功した操作経路に限ると、各段階でVLMを用いる基準手法に対し、平均の実行時間を32.7％、モデルAPI費用を73.4％減らした。高水準のVLMによる推論と低水準の操作実行を分けることで、競争力のある課題性能を維持しながらモバイル画面操作エージェントの効率を大きく改善できることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Vision-language models (VLMs) have become a common foundation for autonomous mobile GUI agents, but most existing systems rely on the VLM for both planning and action grounding at nearly every interaction step, leading to substantial latency and model-serving cost. We introduce Jev-Mobile, which shifts this paradigm to low-frequency VLM planning and high-frequency lightweight execution: the VLM specifies local goals, the accessibility tree defines a structured executable action space, and Jev, a fast typed decision model, repeatedly selects actions within this space. This design allows multiple GUI actions to be executed under a single VLM decision, reducing expensive VLM inference while preserving adaptive interaction. On the full AndroidWorld task suite, Jev-Mobile achieves 79% task success, compared with 78% for SeeAct-V and 84% for a Step-wise VLM baseline. Among successful trajectories, it reduces mean end-to-end execution time by 32.7% and mean model API cost by 73.4% relative to Step-wise VLM. These results show that decoupling high-level VLM reasoning from low-level action execution can substantially improve mobile GUI agent efficiency while maintaining competitive task performance.
arXiv ID: 2609.30186 ／ 要約の誤りについて