雨の流れを使って動画の雨筋を除去
FluidRain: Incompressible Rain Flow as an Attention Bias for Loop-in-Loop Video Deraining
この論文をやさしく読む
ひとことで言うと
雨筋の向きに沿って隣接する動画フレームを参照し、雨を取り除く軽量なモデルです。
何に役立つ？
激しい雨で通常の動き推定が難しい動画を復元する方法の検討に役立つ可能性があります。
この研究の面白いところ
雨の流れを発散のない場として扱い、同じ注意演算子を尺度と時間の両方で再利用します。
どこまで分かった？
競争力のある結果は4ベンチマークでの報告です。要旨に個別の性能数値や実動画での具体的な得点は記載されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
既存の動画からの雨の除去法は、通常、明示的な位置合わせか暗黙の時空間集約で周辺フレームを利用する。明示的な位置合わせは正確な動き推定に依存し、激しい雨の下では信頼性が落ちうる。一方、暗黙の集約は位置合わせを避けられるが、雨の方向性と時間的な一貫性を明示的に導けない。このため、信頼できる時間的集約と雨の動きの明示的なモデル化の間に隔たりが残る。本研究は、その制約に対処する軽量な動画雨除去法FluidRainを提案する。発散のない雨の流れを用い、異なる尺度と隣接フレームにまたがるLoop-in-Loop注意機構を導く。 流体力学から着想を得て、雨の動きを画像空間で発散のない流れとしてモデル化し、複数尺度と時間方向の情報の集約を組み立てる。具体的には、各フレームの雨の流れの場を推定し、発散のない部分空間へ射影する。得られた流れは雨筋に沿って窓内の注意機構を導き、明示的な位置合わせなしに隣接フレームを集約できる。雨の流れの構造は尺度や近隣フレームをまたいで保たれるため、Loop-in-Loopは両方向で同じ注意演算子を再利用し、3フレームでパラメータ数がわずか80万のモデルとなる。4つのベンチマークでの実験では、より大規模な復元モデルに対して競争力のある結果を示した。さらに、入力の見方を変えたとき時間的な証拠がどう増えるかを調べる。フレーム間で雨の動きが変わっても信頼できるか評価するため、既存のベンチマークに雨筋の方向の制御された変化を加えるRainSyn-Gustを導入する。また、雨のない正解画像を必要とせずに実際の雨の除去を評価する、物理に基づく指標も開発する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Existing video deraining methods typically exploit neighboring frames through either explicit alignment or implicit spatiotemporal aggregation. Explicit alignment relies on accurate motion estimation, which can become unreliable under dense rain, while implicit aggregation avoids alignment but lacks explicit guidance on the directional and temporally coherent structure of rain. This leaves a gap between reliable temporal aggregation and explicit modeling of rain motion. To address these limitations, we propose FluidRain, a lightweight video derainer that uses divergence-free rain flow to guide Loop-in-Loop attention across scales and neighboring frames. Motivated by fluid mechanics, we model rain motion as a divergence-free image-space flow and use it to organize multi-scale and temporal aggregation. Specifically, FluidRain first estimates a rain-flow field for each frame and projects it onto the divergence-free subspace. The resulting flow steers window attention along rain streaks, enabling neighboring frames to be aggregated without explicit alignment. Since rain-flow structure is preserved across scales and nearby frames, Loop-in-Loop reuses the same attention operator across both dimensions, resulting in a three-frame model with only 0.80M parameters. Experiments on four benchmarks show that FluidRain remains competitive with substantially larger restoration models. We further examine how temporal evidence scales with different input views. To evaluate whether the model remains reliable when rain motion changes across frames, we introduce RainSyn-Gust, which injects controlled changes in rain-streak direction into existing benchmarks. We also develop a physics-based no-reference metric that evaluates real-rain removal without requiring clean targets.
著者のコメント
11 pages, 6 figures, 3 tables
arXiv ID: 2609.29006 ／ 要約の誤りについて