画面の候補領域を順位付けしてGUI操作位置を特定
RankGround: Efficient High-Resolution GUI Grounding via Lightweight Reranker-Guided Crop Selection
この論文をやさしく読む
ひとことで言うと
画面内の操作対象を探す前に、軽いモデルで見るべき領域を選び、重い視覚言語モデルの呼び出しを1回に抑える方法です。
何に役立つ？
高解像度の画面で、小さいボタンや似た部品を自然言語の指示から特定する処理の高速化に役立つ可能性があります。
この研究の面白いところ
単に画像を小さくするのではなく、多数の候補の包含関係と微妙な違いを順に学び、有望な切り出し画像を選びます。
どこまで分かった？
1.4倍と5.5%は著者が比較した基盤モデル・画面サイズでの平均的な結果です。要旨は5.5%を相対改善かパーセントポイントか明示せず、長い操作手順全体の成功率も示していません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
グラフィカルユーザーインターフェース（GUI）のグラウンディングは、マルチモーダルエージェントが自然言語の指示を解釈し、デジタル画面を操作するための基礎的な知覚タスクである。既存手法には精度と効率の根本的なトレードオフがある。画像全体を直接推論すると、小さいUI要素や見た目の似たUI要素を捉えられないことが多い。一方、複数の切り出し画像を使う方法は位置特定を改善するが、問い合わせごとに高コストの視覚言語モデル（VLM）を複数回呼び出す必要がある。 この課題に対し、問い合わせごとに1回のVLM呼び出しで正確なGUI位置特定を実現する二段階の枠組みRankGroundを提案する。中心となるのは、密な候補集合から最も有望な切り出し領域を特定する軽量マルチモーダル再順位付けモデルGroundRankerである。利用可能な既成のランキングデータセットがないため、既存の位置特定データセットから順位付けの教師データを構築する。厳密な包含基準と境界を考慮した正例拡張により、混雑したレイアウトでの対応の整合性と空間的な網羅性を改善する。 GroundRankerは二段階のカリキュラムで学習する。まずポイントワイズな目的で大まかな包含関係を学び、その後リストワイズな目的で、見た目の似た切り出し画像間の微妙な意味的・空間的な違いを洗練する。実験では、RankGroundは計算コストを削減しながら強力なベースラインを一貫して上回った。すべての基盤モデルと画面サイズにわたり、2位の手法と比較して平均で推論速度が1.4倍になり、位置特定精度が5.5%向上し、GUI位置特定の効率と精度の両方で新たな最高性能を達成した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Graphical User Interface (GUI) grounding is a fundamental perception task for multimodal agents, enabling them to interpret natural language instructions and interact with digital interfaces. Existing methods face a fundamental trade-off between accuracy and efficiency: direct full-image inference often fails to capture small or visually similar UI elements, while multi-crop strategies improve localization at the cost of multiple expensive Vision-Language Model (VLM) calls per query. To address this challenge, we propose RankGround, a two-stage framework that achieves accurate GUI grounding with a single VLM call per query. Central to our approach is GroundRanker, a lightweight multimodal reranker that identifies the most promising crop from a dense candidate set. Because no off-the-shelf ranking dataset is available, we construct ranking supervision data from existing grounding datasets. A strict containment criterion and boundary-aware positive augmentation improve alignment and spatial coverage in cluttered layouts. GroundRanker is then trained with a two-stage curriculum: a pointwise objective first learns coarse containment, and a listwise objective refines subtle semantic and spatial distinctions among visually similar crops. Experimental results show that RankGround consistently outperforms strong baselines while reducing computational cost. It achieves 1.4 times faster inference and improves localization accuracy by 5.5% on average over the second-best method across all backbones and screen scales, establishing a new state of the art in both efficiency and precision for GUI grounding.
著者のコメント
10 pages, 6 figures. Accepted to ACM Multimedia 2026 (MM '26)
arXiv ID: 2609.18690 ／ 要約の誤りについて