arXiv論文メモ
新着一覧
cs.CV · 査読状況未確認

可視光と赤外線の周波数成分を選んで航空画像を検出

FoCal: Frequency-Oriented Cross-Modal Interaction and Spectral Calibration for Aerial Visible-Infrared Object Detection

Ben Liang, Chao Sui, Junqi Bai, Yuan Liu, Chunlai Li, Xiubao Sui, and Qian Chen

この論文をやさしく読む

ひとことで言うと

航空画像の可視光と赤外線を、周波数ごとに使い分けて物体を検出する方法です。

何に役立つ?

照明や環境が変わる航空画像で、二種類の画像を組み合わせた検出器の設計に役立ちます。

この研究の面白いところ

低周波では共通の構造をまとめ、高周波ではそれぞれの画像に固有の情報を選んで残します。

どこまで分かった?

精度と速度は指定された三つのデータセットと実験条件での結果です。実運用で同じ性能を保証するものではありません。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

航空画像で可視光と赤外線を組み合わせて物体を検出する際には、複雑な照明や環境条件のもとで、二つの情報源が補い合う情報を有効に使うことが重要である。既存の複数情報源を使う検出器は、主に画像上の位置関係での相互作用か、特定の周波数特徴の強化に注目しており、周波数成分ごとの情報源間の相互作用は十分に調べられていない。また、スペクトルの差異には有益な補完情報と信頼性の低い情報源固有の反応の両方が含まれ得るため、周波数を無差別に融合するのは最適でない。そこで、航空可視光・赤外線画像の物体検出のため、周波数に着目した枠組みFoCalを提案する。まず、周波数を考慮した二領域較正モジュールFADCによって、周波数に依存する情報源間の相互作用を明示的にモデル化する。低周波成分は共同でまとめて共有の構造に関する合意を作り、高周波成分は選択的な情報交換によって各情報源に固有の情報を保つ。周波数を考慮して得た手掛かりを元の特徴領域へ戻し、情報源間の較正を調節する。次に、差異に基づくスペクトル変調モジュールDGSMを導入する。信頼度で重みを付けた相対的な振幅差から、情報源間のスペクトルの不均衡を捉え、上限のある符号付きゲートに変えて、統合スペクトルを適応的に強化、保持、または抑制する。DroneVehicle、ESCVehicle、ATR-UMODでの広範な実験では、mAP50がそれぞれ83.5%、54.8%、64.6%だった。FoCalはパラメーター数300万で毎秒113.6フレームの処理速度を達成し、高い検出精度を保ちつつ精度と効率の良好な両立を示した。コードは要旨記載の場所で公開されている。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-24(UTC)
最新改訂
2026-09-24 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

In aerial RGB--IR object detection, effectively exploiting complementary information across modalities is critical for robust perception under complex illumination and environmental conditions. Existing multimodal detectors mainly focus on spatial-domain interaction or frequency-specific feature enhancement, while the cross-modal interaction patterns of different frequency components remain insufficiently explored. Moreover, spectral discrepancy itself may contain both useful complementary cues and unreliable modality-specific responses, making indiscriminate frequency fusion suboptimal. To address these issues, we propose FoCal, a frequency-oriented framework for aerial RGB--IR object detection. First, a Frequency-Aware Dual-Domain Calibration (FADC) module is developed to explicitly model frequency-dependent cross-modal interaction. Low-frequency components are collaboratively consolidated into a shared structural consensus, whereas high-frequency components preserve modality-specific information through selective cross-modal exchange. The resulting frequency-aware cues are further transferred to the original feature domain to regulate cross-modal calibration. Second, we introduce a Discrepancy-Guided Spectral Modulation (DGSM) module, which characterizes cross-modal spectral imbalance using confidence-weighted relative amplitude discrepancy and transforms it into a bounded signed gate for adaptive enhancement, preservation, or attenuation of the joint multimodal spectrum. Extensive experiments on DroneVehicle, ESCVehicle, and ATR-UMOD demonstrate the effectiveness of FoCal, yielding $\mathrm{mAP}_{50}$ values of 83.5\%, 54.8\%, and 64.6\%, respectively. Meanwhile, with only 3.0M parameters, FoCal achieves 113.6 FPS while preserving leading detection accuracy, highlighting a favorable accuracy--efficiency trade-off. Code is available at {https://github.com/universeliang/FoCal.

arXiv ID: 2609.29125 / 要約の誤りについて