arXiv論文メモ
新着一覧
cs.CV · 査読状況未確認

劣化した複数画像の位置合わせと融合を同時に改善

Diff-RF: Mutually Reinforced Image Registration and Fusion via Degradation-Aware Learning

Xunpeng Yi, Zaixi Du, Qinglong Yan, Yibing Zhang, Han Xu, and Jiayi Ma

この論文をやさしく読む

ひとことで言うと

暗さや雑音で劣化した異種画像について、画質の回復、位置合わせ、融合を結び付けて改善する方法。

何に役立つ?

劣化した複数の撮像データを重ね合わせて情報を統合する画像処理の設計に役立つ可能性がある。

この研究の面白いところ

同一モダリティ内の復元と、異なるモダリティ間での拡散型の位置合わせ・融合を相互に作用させる。

どこまで分かった?

要旨は複数の拡張データセットでの実験結果を述べるが、具体的な数値や実運用での性能は記していない。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

画像の位置合わせと融合は、ずれた異なる種類の元画像の間に空間的な対応を作り、互いに補う情報を統合する。しかし現実の撮像では、元画像は暗さや雑音など複雑で多様な劣化を受けることが多く、位置合わせと融合の効果を大きく損なう。本研究は、劣化を考慮した学習によって位置合わせと融合を相互に強める拡散モデルの枠組みDiff-RFを提案する。劣化した条件での位置合わせ・融合と情報の復元の内在的な結び付きを利用し、複雑な劣化の下で、未位置合わせの画像から質の高い融合画像を得る。 まず、同じモダリティ内での復元モジュールが、そのモダリティ内の情報を使って固有の劣化を緩和する。これにより、位置合わせに必要な構造表現の信頼性を高め、後のモダリティ間融合を助ける。次に、モダリティ間の拡散型位置合わせ・融合モジュールを開発し、両者の双方向の相互作用を作る。融合から得られる視覚的な手掛かりと、対応関係に基づく幾何学的な条件を拡散過程へ組み込み、空間的な整合を段階的に改良しながら、モダリティ間の相補的な情報を活用して協調的に画質を改善する。劣化を考慮した復元と、位置合わせ・融合の協調的な最適化を密に結び付けることで、全体の性能を改善した。複数の拡張データセットでの広範な実験は、さまざまな劣化条件でDiff-RFが優れた位置合わせ精度と融合品質を達成し、頑健性と汎化性能を示した。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-23(UTC)
最新改訂
2026-09-23 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Image registration and fusion aim to establish spatial correspondences from misaligned multi-modal source images, and integrate complementary information. However, in real-world imaging scenarios, source images are often affected by complex and diverse degradations, such as low illumination, noise, etc., which severely hinder the effectiveness of registration and fusion. To address this issue, we propose a mutually reinforced image registration and fusion diffusion framework via degradation-aware learning, termed Diff-RF. It explores the intrinsic coupling between registration-fusion and information restoration in the degradation conditions, enabling high-quality fusion of unregistered images under complex degradation conditions. First, the intra-modal restoration module is designed to alleviate modality-specific degradations by leveraging information within each modality, thereby providing more reliable structural representations for registration and facilitating subsequent cross-modal fusion. Second, we develop a cross-modal diffusion registration and fusion module that establishes bidirectional interaction between registration and fusion. By integrating fusion-derived visual cues and correspondence-based geometric conditions into the diffusion process, the proposed framework progressively refines spatial alignment and exploits cross-modal complementary information to achieve collaborative enhancement. Rather than treating them as independent components, degradation-aware information restoration and the collaborative optimization of registration and fusion are tightly coupled, achieving overall performance improvements. Extensive experiments on multiple extended datasets demonstrate that Diff-RF achieves superior registration accuracy and fusion quality under various degraded scenarios, exhibiting strong robustness and generalization ability.

arXiv ID: 2609.28235 / 要約の誤りについて