大規模モデルの知識を小型の洪水画像判別モデルへ移す
Cross-Architecture Foundation-Model Distillation for Edge Flood Segmentation
この論文をやさしく読む
ひとことで言うと
大きな地球観測AIを教師にして、洪水領域を見分ける小型AIを育てます。
何に役立つ？
手作業で付けた252場面のラベルを起点に、未ラベル画像へ教師の判定を付けて学習を拡張できます。小型端末で動作する洪水画像処理への利用が考えられます。
この研究の面白いところ
3億パラメータの教師から70万パラメータの生徒へ知識を移し、INT8版を1.5MBのエンジンにしています。Xavier NXで512角画像のGPU計算が5.57ミリ秒という実機測定もあります。
どこまで分かった？
生徒の水領域IoUは0.787、教師は0.822です。外部評価では教師に並ぶ場合と下回る場合があり、単純な水指数のしきい値も競争力があります。学習モデルが常に優れるとの結果ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
地理空間の基盤モデルは洪水域のセグメンテーションで高い性能を発揮できるが、モデルの大きさが、メモリの限られたエッジ機器への導入を制約する。本研究では、手作業でラベルを付けたSen1Floods11の訓練用252シーンで微調整した、3億パラメータのPrithvi-EO-2.0教師モデルを、70万パラメータのEfficientViT-B0生徒モデルへ蒸留する。教師モデルが追加のラベルなしSentinel-2画像に教師信号を与えることで、新たな手作業の注釈を加えずに、生徒モデルの訓練集合を拡張する。 252シーンという同じデータ予算で比べると、教師モデルによる指導での訓練は直接訓練に匹敵し、検証した構成全体でSTURM-Floodの性能を改善する。幾何学的条件をそろえた対照実験から、この差はラベルの由来だけでは説明できないことが分かる。教師モデルによる指導対象を2,500シーンへ増やすと、生徒と教師の残る性能差が縮まる。浮動小数点の生徒モデルはSen1Floods11のテスト分割で、水域のIntersection over Unionが0.787に達するのに対し、教師モデルは0.822である。また、本研究の評価手順ではSTURM-Floodで教師と同等になり、WorldFloods-v2では教師を下回る。 活性化関数の置き換えと量子化を考慮した訓練の後、生徒モデルは1.5 MBの8ビット整数（INT8）TensorRTエンジンとしてJetson Xavier NX上で動作する。512×512画像1枚当たりのGPU計算時間は5.57ミリ秒で、実行時のデバイスメモリ使用量は約14 MBである。固定した修正正規化差分水指数（MNDWI）の閾値による方法も、二つのクリーンな外部ベンチマークでは両モデルに匹敵する。そのため、これらのベンチマークは汎化の試験と解釈し、スペクトルに基づく規則に対する学習モデルの優位性の証拠とは解釈しない。結果は、基盤モデルによる指導によって、一定の手動注釈予算から大幅に大きな訓練集合を生み出し、コンパクトでエッジ機器に導入可能なモデルを得られるという結論を支持する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Geospatial foundation models can provide strong flood-segmentation performance, but their size limits deployment on memory-constrained edge hardware. We distill a 300-million-parameter Prithvi-EO-2.0 teacher, fine-tuned on the 252 manually labeled Sen1Floods11 training scenes, into a 0.7-million-parameter EfficientViT-B0 student. The teacher supervises additional unlabeled Sentinel-2 imagery, allowing the student training set to grow without new manual annotations. At the matched budget of 252 scenes, teacher-supervised training is competitive with direct training and improves STURM-Flood performance across tested configurations; a geometry-matched control shows that label source alone does not explain the difference. Scaling the teacher-supervised pool to 2,500 scenes narrows the remaining student--teacher gap: the float student reaches 0.787 water intersection over union on the Sen1Floods11 test split against 0.822 for the teacher, matches the teacher on STURM-Flood under our evaluation protocol, and remains below it on WorldFloods-v2. After activation replacement and quantization-aware training, the student runs as a 1.5-megabyte 8-bit integer (INT8) TensorRT engine on a Jetson Xavier NX at 5.57 milliseconds of graphics processing unit (GPU) compute per 512-by-512 image, with approximately 14 megabytes of runtime device memory. A fixed modified normalized difference water index (MNDWI) threshold is competitive with both models on the two clean external benchmarks, so we interpret those benchmarks as generalization tests rather than as evidence of learned-model superiority over a spectral rule. The results support the conclusion: foundation-model supervision can amplify a fixed manual annotation budget into a substantially larger training set and yield a compact, deployable edge model.
著者のコメント
Main paper (17 pages) with supplementary material (11 pages). Submitted to IEEE JSTARS, Special Section on Generalist-Specialist Model Synergy for Remote Sensing: Theories, Methods, and Applications
arXiv ID: 2609.20441 ／ 要約の誤りについて