画像編集を採点するAIは、編集と無関係な情報に左右されるか
Do MLLM Judges Judge the Edit? Auditing Bias in Image Editing Evaluation with Verified Quality Preservation
この論文をやさしく読む
ひとことで言うと
画像編集の出来が変わらなくても、採点AIは無関係な絵や「多数派の意見」、提示順序に影響されるかを調べた研究です。5つの評価AIすべてに、通常の応答の揺らぎを超える判断の変化がありました。
何に役立つ？
画像編集モデルの比較や学習用の採点にAIを使う際、採点のどこが不安定かを点検するために役立ちます。人との一致率だけでなく、順序や無関係な情報への反応も評価する根拠になります。
この研究の面白いところ
判断が変わっただけで偏りと決めつけず、編集品質が保たれていることと、評価AI自身のノイズ水準の両方を確認しています。提示順を変えるだけで判断が最大60.9％反転した点も具体的です。
どこまで分かった？
1,196件の編集サンプル、13種類の手がかり、5つの評価者での実験結果です。すべての画像編集や評価AIについて同じ反転率になると示したものではありません。評価者の順位や特徴も、用いる3つの指標で異なります。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
マルチモーダル大規模言語モデル（MLLM）は、指示に基づく画像編集の自動評価者や、モデル学習の報酬信号として使われることが増えている。しかし、編集品質と無関係な手がかりに評価者が影響されるかを体系的に監査するのは難しい。視覚的な介入そのものが、評価対象の品質を変える可能性があるためである。したがって、判断の変化をバイアスに帰するには、介入が元の編集品質を保っていることを検証する必要がある。 この課題に対し、品質の保持を検証した反実仮想ベンチマークEditJudgeBiasを提案する。これは実際の画像編集サンプル1,196件と、評価の4つの箇所に挿入する13種類の手がかりからなる。較正したマルチモーダル検証器、対照条件、人による点検を用い、要求された編集について品質が保たれていることを確認する。そのうえで、5つのMLLM評価者を、品質を保つ手がかりに対する不変性、人の判断との一致、ペア比較の選好の安定性という相補的な3つの観点から監査する。観測された変化はゼロと比較するのではなく、各評価者自身の介入量ゼロ時および再問い合わせ時のノイズ水準を基準に評価する。 実験では、品質を保つ手がかりによって、すべての評価者の判断がそれぞれのノイズ水準を超えて変化した。捏造した多数派の意見は評点を上げ、無関係な視覚要素は画像全体への操作より大きな変化を引き起こし、候補の提示順序を入れ替えるとペア比較の判断が最大60.9％反転した。編集領域内の手がかりには、人との判断の一致を低下させる傾向もあった。3つの指標では評価者の特徴が異なって現れ、頑健性を単一の指標では捉えられないことが示された。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-10-01（UTC）
- 最新改訂
- 2026-10-01 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-10-01 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Multimodal large language models (MLLMs) are increasingly used as automated judges for instruction-based image editing and as reward signals for model training. However, systematically auditing whether these judges are influenced by cues irrelevant to editing quality is challenging because visual interventions may themselves alter the quality being evaluated. A judgment shift can therefore be attributed to bias only when the intervention is verified to preserve the underlying editing quality. To address this challenge, we introduce EditJudgeBias, a counterfactual benchmark with verified quality preservation, comprising 1,196 real editing samples and 13 cues injected across four evaluation sites. We verify quality preservation for the requested edit using calibrated multimodal validators, controls, and human inspection. We then audit five MLLM judges along three complementary dimensions: invariance to quality-preserving cues, agreement with human judgments, and stability of pairwise preferences. Importantly, observed shifts are evaluated against each judge's own zero-dose and re-query noise floors rather than against zero. Experiments show that quality-preserving cues move every judge beyond its own noise. Fabricated majority opinions increase ratings, irrelevant visual elements cause larger shifts than whole-image manipulations, and swapping candidate order reverses up to 60.9% of pairwise decisions. Edit-region cues also tend to reduce human agreement. The three measures characterize judges differently, showing that robustness cannot be captured by a single metric.
著者のコメント
30 pages, 9 figures
arXiv ID: 2610.01670 ／ 要約の誤りについて