操作履歴の一部を隠して学ぶGUIエージェントの操作手法
Towards Omni-dimensional GUI Agent Navigation with Masked Trajectory Prediction
この論文をやさしく読む
ひとことで言うと
GUI操作の履歴を一つの軌跡として学び、一部を隠して予測することで複数種類の操作課題を統一した研究。
何に役立つ？
異なる画面操作データを組み合わせてGUIエージェントを学習させる際の方法の参考になる。
この研究の面白いところ
課題別の目的の食い違いをマスク予測でそろえ、トークンの役割に応じて表現空間を振り分ける。
どこまで分かった？
効果は五つの代表的なベンチマークで示されている。要旨には実運用の成功率や具体的な性能差の数値はない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
GUIエージェントはユーザーの依頼を達成するためにソフトウェアを自律的に操作する。その中でも画面を移動して操作を進める能力は重要かつ難しく、段階ごとの意思決定、状態と行動の対応付け、長い手順の計画を組み合わせる必要がある。対応する複数の操作課題を直接混ぜて学習する方法は自然に見えるが、最適化の目的の不一致とデータの大きな異質性が障害となる。本研究は、異なるGUI操作課題を統一するMasked Trajectory Prediction（MaP）を提案する。複数ターンのGUI操作を軌跡として表し、構成要素の一部を隠して予測する学習目的を定めることで、課題ごとの周辺分布を最適化する方式から、一貫した目的へ移す。さらに課題間のデータの異質性に対応するため、役割を認識するアダプター学習部を設計し、各トークンを専門化した表現空間へ動的に振り分ける。代表的な五つのGUI操作ベンチマークでの幅広い実験では、MaPは勾配の衝突を効果的に和らげ、課題を直接混ぜる学習を大きく上回った。これにより、複数課題のGUI操作のための安定した枠組みを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Graphical User Interface (GUI) Agents autonomously interact with software to fulfill user requests, where GUI navigation stands out as the most critical and challenging capability. Mastering this capability demands a complex synergy of step-wise decision-making, state-action alignment, and long-horizon planning. While directly mixing these corresponding navigation tasks seems intuitive to simultaneously acquire these skills, such a direct combination is severely bottlenecked by inconsistent optimization objectives and profound data heterogeneity. To overcome these barriers, we propose the MaP (stands for ``\textbf{M}asked Tr\textbf{a}jectory \textbf{P}rediction''), a unified framework that seamlessly harmonizes divergent GUI navigation tasks. By modeling multi-turn GUI interactions as a trajectory and defining training objectives through component masking and prediction, MaP shifts the optimization from task-specific marginal distributions to a consistent objective. Furthermore, to handle the data heterogeneity across multiple navigation tasks, we design a role-aware adapter learning module that dynamically routes each token to a specialized representation space. Extensive experiments on five representative GUI navigation benchmarks demonstrate that MaP effectively mitigates gradient conflicts and significantly outperforms the direct mixture training, establishing a robust paradigm for multi-task GUI navigation.
著者のコメント
Accepted to EMNLP 2026
arXiv ID: 2609.25769 ／ 要約の誤りについて