座標の桁の重みでGUIクリックの確信度を推定する
How Many Pixels Is a Digit Worth? Place-Aware Coordinate Entropy for GUI Agent Confidence Estimation
この論文をやさしく読む
ひとことで言うと
クリック座標の予測では、1の位を迷うことと100の位を迷うことの影響が違います。その桁の違いを使ってクリックの確からしさを見積もります。
何に役立つ？
GUIエージェントが自信の低いクリックを見分けるための信号として利用できます。クリック自体の成功率を直接改善する学習法とは異なります。
この研究の面白いところ
複数回生成せず、1回の推論で得た数字トークンのエントロピーに桁の重みを掛ける簡単な方法です。
どこまで分かった？
評価は挙げられた2ベンチマークの固定スケールのエージェントです。AUROCと選択的正解率の改善は確信度による順位付けの評価で、誤操作がなくなる保証ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
GUIエージェントはクリック座標を数字トークンの列として予測するが、テキスト向けLLMの標準的な確信度推定法では、正しいクリックと誤ったクリックの順位付け能力が弱い。GUI固有の代替手法はK個のサンプルや新たな教師情報を使うものの、改善の余地がある。本研究では、その原因の一部を桁の非対称性に求める。クリックがバウンディングボックス内にあるかという正しさの判定では、下位の桁より上位の桁が重要になることが多く、一様に集約すると正しさを決める信号が弱まる。 解決策は、各数字のシャノンエントロピーに桁の値による重みを付けることである。これをPlace-Aware Coordinate Entropy（PACE）と呼ぶ。ScreenSpot-ProとScreenSpot-v2における固定スケールのエージェントの評価で、PACEは1回の順伝播だけで、すべての主要比較においてAUROCと選択的正解率の両方で優位だった。Kサンプルのベースラインと同等以上の性能を、その費用の一部で達成する。PACEはクリックごとの確信度推定を提供し、座標トークンの内部情報をGUIエージェントの導入に使える実用的な確信度信号へ変える。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
GUI agents predict click coordinates as digit-token sequences, but standard text-LLM confidence estimation methods rank correct clicks from wrong ones only weakly. GUI-specific alternatives use K samples or new supervision, but still leave room for improvement. We trace part of this to place-value asymmetry: bounding-box correctness often makes higher-place digits more important than lower-place digits, so uniform aggregation weakens the signal that determines correctness. The fix is to weight each digit's Shannon entropy by its place value. We call this Place-Aware Coordinate Entropy (PACE). Across fixed-scale agents on ScreenSpot-Pro and ScreenSpot-v2, PACE wins both AUROC and selective accuracy on all primary comparisons in a single forward pass, matching or outperforming K-sample baselines at a fraction of the cost. PACE provides a per-click confidence estimate that turns coordinate-token internals into a practical confidence signal for GUI agent deployment.
著者のコメント
Accepted to EMNLP 2026 (Main Conference)
arXiv ID: 2609.24277 ／ 要約の誤りについて