変化を説明する文章から衛星画像の変化領域を学ぶ
From Change Captions to Change Detection: Semantic-Appearance Agreement Framework for Remote Sensing Change Detection
この論文をやさしく読む
ひとことで言うと
二時点の衛星画像について、変化を説明する文章だけから変化した画素を予測する方法。
何に役立つ？
画素ごとのマスクを大量に作らずに、土地被覆の変化検出モデルを学習する方法を考える際に役立つ。
この研究の面白いところ
説明文に一致する画像対を生成し、文章が示す意味とRGBの見た目の差を合わせて位置を特定する。
どこまで分かった？
優位性は示された二つのデータセットと評価手順、および再現した限定的教師あり手法との比較に基づく。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
リモートセンシングによる変化検出は、土地被覆や都市開発を監視するうえで重要だ。しかし多くの手法は、画素ごとの変化領域を示すマスクを必要とし、その注釈には費用と時間がかかる。弱教師あり手法は画像単位の変化ラベルを使ってこの負担を減らすが、そのラベルは変化の有無しか示さず、位置と意味を得るには追加の複雑な仕組みが要る。変化の説明文なら、何が何に変わり、どこで起きたかを直接示せる。そこで本研究は、変化の説明文だけを課題固有の教師情報として使い、人手で注釈した変化マスクを使わずに変化領域を学習する方法を提案する。枠組みは二つの部分からなる。一つは、各説明文に合う制御された変化を持つ、二時点のリモートセンシング画像の組を大規模に生成する処理である。もう一つは、説明文にある変化の意味によって導かれる変化検出器である。検出器は意味と見た目の一致を用いる SAAF により、説明文に結び付いた意味的な応答とRGBの差を合わせて変化位置を特定し、文章の条件付けで画素密度の高い予測を導く。新たに作成した Flair-RSGen データセットと WHU-CDC での実験では、評価した手順の下で、SAAF は再現した中で最も近い限定的教師ありの比較手法を、マクロ平均したIoUとF1値で上回った。コードは公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Remote sensing change detection (RSCD) is essential for monitoring land-cover changes and urban development. However, most methods demand pixel-level change masks, which are costly and time-consuming to annotate. Weakly supervised methods reduce this cost by using image-level change labels. Yet these labels indicate only whether a change occurs, leaving models to recover the location of the change and semantic meaning through additional and complex mechanisms. This missing information can be supplied directly by change captions, which describe what changes, what it becomes, and where it occurs. Therefore, we introduce change-caption-guided RSCD, using change captions as the sole task-specific supervision to learn change masks without manually annotated change masks. Our framework has two components: a caption-driven generation pipeline that produces bi-temporal remote sensing image pairs at scale with controlled changes matching each caption, and a change detector guided by the caption's transition semantics. The detector uses our Semantic-Appearance Agreement Framework (SAAF) to combine caption-grounded semantic responses with RGB differences for change localization, while text conditioning guides dense prediction. Experiments on our newly constructed Flair-RSGen dataset and WHU-CDC show that SAAF outperforms the closest reproduced limited-supervision baselines in macro-averaged IoU and F1 under the evaluated protocols. Code is publicly available at https://github.com/qianyuancs/SAAF.
著者のコメント
12 pages, 6 figures, 6 tables. Code: https://github.com/qianyuancs/SAAF
arXiv ID: 2609.28192 ／ 要約の誤りについて