自分の操作履歴から学ぶ複数手順のGUIエージェント
Learn How to Act from Your Own Interactions: On-Policy Self-Distillation for GUI Agents
この論文をやさしく読む
ひとことで言うと
画面操作エージェントが自分の実行から、次の操作に必要な推論と記憶を学ぶための手法。
何に役立つ？
複数手順を要するGUI操作の成功率を改善するための研究材料になる。評価はAndroidWorldとMobileWorldで行われた。
この研究の面白いところ
同じ画面状態で特権情報の有無を変えた実行を共同で学習し、段階ごとの推論と記憶を選んで蒸留する。
どこまで分かった？
要旨には成功率の具体的な数値は示されていない。コードと学習データは公開予定とされ、公開済みとは書かれていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
GUIエージェントは、ソフトウェア環境との複数回のやり取りを通じて複雑な利用者の指示を実行する。そのため、操作を導く各段階の推論と、タスクに関係する情報を保持する長期的な記憶がそれぞれ必要になる。近年のオンポリシー自己蒸留（OPSD）手法は、特権情報を条件とする自己教師からトークン単位の密な教師信号を得ることで、GUIエージェントの基礎的な部分課題である画面上の対象位置の特定に高い性能を示した。しかし、既存のOPSDを複数手順のGUIエージェントに広げるには、自己教師が特権情報に従う能力の不足と、特権情報による指導の不足が障害となる。本論文はGUI-SDの次の版GUI-SD-v2を提案し、二段階の学習枠組みによってOPSDを対象位置の特定から複数手順のGUI操作に広げ、主要な制約に対処する。まず、同じGUI状態から特権情報による指導がある場合とない場合の実行軌跡を共同で最適化し、特権情報に従う能力を強める。さらに、特権情報を条件とする自己教師を用いて、各段階に固有の推論と記憶の指導を選択的に蒸留する。これにより操作の判断と、後続のやり取りに必要な情報の保持を支える。代表的な二つのGUIエージェント評価基準AndroidWorldとMobileWorldでの広範な実験では、GUI-SD-v2は既存のOPSD手法と比べて良好であり、評価した最先端手法をPass@1とPass@3の成功率の両方で一貫して上回った。コードと学習データは公開予定である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Graphical User Interface (GUI) agents enable the fulfillment of complex user instructions through multi-turn interactions with software environments, requiring step-wise reasoning and long-horizon memory to guide actions and retain task-relevant information, respectively. Recent on-policy self-distillation (OPSD) methods have achieved strong performance on GUI grounding, a foundational subtask for GUI agents, owing to dense token-level supervision from privilege-conditioned self-teachers. However, extending existing OPSD methods to multi-turn GUI agents is hindered by self-teachers' limited privilege-following ability and insufficient privileged guidance. In this paper, we introduce GUI-SD-v2, the next version of GUI-SD, which extends OPSD from GUI grounding to multi-turn GUI interaction and addresses key limitations through a two-stage training framework. Specifically, GUI-SD-v2 first strengthens privilege following by jointly optimizing rollouts with and without privileged guidance from the same GUI states. Furthermore, it selectively distills step-specific reasoning and memory guidance through a privilege-conditioned self-teacher, supporting action decisions and the retention of task-relevant information for subsequent interactions. Extensive experiments on two representative GUI agent benchmarks, AndroidWorld and MobileWorld, show that GUI-SD-v2 compares favorably with existing OPSD baselines while consistently outperforming the evaluated state-of-the-art methods in both Pass@1 and Pass@3 success rates. Code and training data will be publicly released.
著者のコメント
Under Review
arXiv ID: 2609.27307 ／ 要約の誤りについて