イベントカメラでRGB画像間の密な予測を補うLiFR v2
LiFR v2: Completion-Augmented Event Propagation for High-Rate Dense Prediction
この論文をやさしく読む
ひとことで言うと
RGB画像の間に起きる変化をイベントカメラで追い、新しく見える領域も補って高頻度に予測する方法です。
何に役立つ？
考えられる用途は動く環境での意味分割や深度推定です。要旨では指定されたデータセットで精度と毎秒100フレーム超の速度を評価しています。
この研究の面白いところ
従来の伝播が苦手な新規出現・遮蔽解除領域を補完し、補完済み表現を次の問い合わせで再利用しています。
どこまで分かった？
精度の数値はDSECとSHF-Emergeにおける結果です。実機での長期運用やすべてのカメラ条件での性能は要旨にありません。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
動的な環境で高頻度に密な知覚結果を出すことは、RGBカメラの更新頻度が低く、フレーム間に場面が急変し得るため難しい。イベントカメラは時間方向には密で空間方向には疎な観測を与え、空間的に密なRGB観測を補完する。単純な融合ではこの相補性を十分に活用できず、イベントに導かれる伝播は、新しく現れた領域や遮蔽が解けた領域に有効なRGB情報がないと失敗する。本研究は、RGBのキーフレームとイベントから、因果的で任意時点のストリーミング型の密な予測を行うため、伝播、補完、記憶を統合したLiFR v2を提示する。イベント誘導補完モジュールEGCMが伝播できない領域で課題に関係する表現を復元し、履歴検索モジュールHRMが連続する問い合わせの間で補完済みの表現を再利用する。この枠組みは意味分割、単眼深度推定、複数課題の密な予測に対応する。また、物体の急な出現や遮蔽の解消を評価するSHF-Emergeを導入する。LiFR v2はDSECでmIoU 74.37%、SHF-Emergeで56.13%を達成し、後者ではLiFR-Segより1.85ポイント高かった。SHF-Emergeの深度RMSEも、伝播のみの基準手法の1.564 mから1.118 mへ下げた。意味分割と深度推定の両方で毎秒100フレームを超え、RGBのフレームレートを超える正確で効率的な高頻度知覚を示した。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-23 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
High-rate dense perception in dynamic environments is limited by the low update rate of RGB cameras, as rapid scene changes can occur between frames. Event cameras offer temporally dense but spatially sparse measurements, complementary to spatially dense RGB observations. Direct fusion cannot fully exploit this complementarity, while event-guided propagation fails on newly appearing or disoccluded regions without valid RGB support. We present LiFR v2, a unified propagation-completion-memory framework for causal anytime and streaming dense prediction from an RGB keyframe and events. LiFR v2 introduces an Event-Guided Completion Module (EGCM) to recover task-relevant representations where propagation is unsupported, and a History Retrieval Module (HRM) to reuse completed representations across successive queries. The framework supports semantic segmentation, monocular depth estimation, and multi-task dense prediction, and we further introduce SHF-Emerge to evaluate rapid object emergence and disocclusion. LiFR v2 achieves 74.37% mIoU on DSEC and 56.13% on SHF-Emerge, improving LiFR-Seg by 1.85 percentage points on the latter, while reducing SHF-Emerge depth RMSE from 1.564 m to 1.118 m over the propagation baseline. It also exceeds 100 FPS for both segmentation and depth, demonstrating accurate and efficient high-rate perception beyond RGB frame rates.
著者のコメント
15 pages, 9 figures, 6 tables
arXiv ID: 2609.25803 ／ 要約の誤りについて