画面録画と音声からWeb編集の意図を読み取る評価
Omni2Web: Benchmarking Audiovisual Website Development
この論文をやさしく読む
ひとことで言うと
画面録画を見ながら話した曖昧なWeb編集指示を、モデルが理解して実行できるか評価した。
何に役立つ？
画面録画と音声から編集指示を整理し、コードを変更するモデルへ渡す仕組みの評価に役立つ。
この研究の面白いところ
編集の実行と意図の復元を分けて測り、復元した指示を別の固定モデルで使う実験も行った。
どこまで分かった？
正解指示のEFS 89.69に対し最良の復元指示でも51.08であり、現状の性能には大きな差が残る。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
Webページ編集の画面録画には「これ」「そこ」のような曖昧な指示語が含まれ、その対象は音声、カーソルの動き、ページの状態、編集履歴によって決まる。このため、仕様が明示されていると想定する従来のWeb編集ベンチマークより、意図の復元が難しい。Omni2Webは、13,907の編集段階にまたがる918事例からなる二言語のベンチマークである。録画から直接ページを編集するDirect Editing、明示的な意図を復元するInstruction Recovery、復元した指示で固定のコード実行モデルを動かすInstruction Utilityという三つの課題を設ける。公開・非公開の17モデルを評価した。最良モデルの直接編集での編集忠実度EFSは51.17、指示復元のIRSは49.14だった。固定の実行モデルでは、最も良い復元指示でEFS 51.08となったが、正解指示を使ったときの89.69には大きく及ばない。段階ごとの分析では、参照先を正しく特定しても編集が成功するとは限らず、一部のマルチモーダルモデルが復元した指示は、そのモデル自身の直接編集より固定のコードモデルでかなり良く実行できた。対照実験は時間的に対応した音声と映像の価値を示し、別の採点方法でも首位と大まかな順位は保たれた。意図復元とコード実行の双方に改善余地がある。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Screen-recorded web editing requests contain weak deictic expressions such as ``this'' and ``there,'' whose referents depend on speech, cursor trajectories, page state, and edit history. Such requests require intent recovery beyond the explicit specifications assumed by many existing web-editing benchmarks. We introduce Omni2Web, a bilingual benchmark of 918 instances spanning 13,907 edit steps. It defines three complementary tracks: Direct Editing evaluates webpage editing from recordings, Instruction Recovery measures explicit intent recovery, and Instruction Utility tests whether recovered instructions can drive a fixed code executor. We evaluate 17 open- and closed-source models. The best models attain 51.17 on the Edit Fidelity Score (EFS) for Direct Editing and 49.14 on the Instruction Recovery Score (IRS); under the fixed executor, the strongest recovered instructions reach 51.08 EFS, still far below the 89.69 EFS obtained with oracle instructions. Step-level analyses show that correct grounding does not guarantee successful edits, while some Omni models recover instructions that the fixed coding model executes substantially better than their direct edits. Controlled ablations further demonstrate the value of temporally aligned audiovisual evidence, while alternative judges preserve the leader and broad ordering. Together, these findings reveal substantial headroom in multimodal intent recovery and code execution and highlight the promise of pairing Omni rewriters with coding models.
著者のコメント
32 pages, 6 figures, 18 tables
arXiv ID: 2609.23417 ／ 要約の誤りについて