自動運転の物体対応付けに幾何情報と特徴表現を併用
MatchFusion: Explicit-Implicit Instance Matching for Spatio-Temporal Multimodal Autonomous Driving
この論文をやさしく読む
ひとことで言うと
自動運転で、カメラ・LiDAR・過去の観測に写る同じ物体を対応付けて融合する方法。
何に役立つ？
複数のセンサーや時刻の情報を使う知覚処理で、精度と計算資源の両立を図る際に役立つ可能性がある。要旨の実証はnuScenesでの評価。
この研究の面白いところ
幾何とカテゴリで候補を絞り、曖昧な候補だけを学習した特徴表現で詳しく調べる。比較対象に対しFLOPsを55.3％削減した。
どこまで分かった？
性能と資源削減は対象構成とnuScenesでの比較結果。実車の安全性や運転性能の改善を直接示したものではない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
疎な物体インスタンス表現は、LiDARとカメラの空間的な情報、および過去と現在の時間的な情報を、多モーダル知覚とエンドツーエンド自動運転で結び付ける簡潔な手段となる。ただし、幾何的なずれや異なる意味表現があっても、物体同士の対応を正しく求める必要がある。注意機構は文脈情報を使える反面、専用の表現合わせを要し計算負荷が増えがちである。一方、構造化した物体状態による対応付けは効率的で解釈しやすいが、曖昧な対応を解く文脈情報が不足する。本研究は両者を組み合わせ、空間と時間にまたがる多モーダル自動運転向けに、学習可能な対応付け・融合モジュールMatchFusionを提案する。まず幾何的な類似性とカテゴリの整合性で物体対の親和度を初期化し、構造上あり得る対応だけを物体の埋め込み表現で選択的に精緻化する。得られた柔らかい対応表は、共通の残差集約演算による適応的な情報交換を導く。LiDARとカメラの空間的な対応には複数視点の画像平面の幾何を、過去と現在の対応には運動補償した鳥瞰図の幾何を、それぞれ構造的な事前情報として使う。nuScenesでの実験では、さまざまな前段構成にわたり知覚性能が一貫して改善した。従来のインスタンス中心の融合方法と比べ、知覚精度を高めながらFLOPsを55.3％、GPUメモリ使用量を39.3％削減し、対応付け・融合モジュールが知覚処理全体の遅延に占める割合は3.7％だった。時間方向のMatchFusionをSparseDriveへ組み込んだ場合も、追加の教師信号なしにエンドツーエンド構成で知覚性能が改善した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Sparse instance representations provide a compact interface for spatial LiDAR-camera and temporal past-current interaction in multimodal perception and E2EAD. Effective interaction requires reliable instance correspondences despite geometric discrepancies and heterogeneous semantic representations. Attention-based methods exploit contextual semantics but often require specialized representation alignment, increasing computational overhead. In contrast, association based on structured object states is efficient and interpretable but lacks contextual evidence to resolve ambiguous matches. To combine these complementary strengths, we propose MatchFusion, a learnable instance matching and fusion module for spatio-temporal multimodal autonomous driving. MatchFusion initializes pairwise affinities using geometric similarity and category consistency, then selectively refines structurally plausible associations using instance embeddings. The resulting soft matchmap guides a common residual aggregation operator for adaptive information exchange. This unified matching-fusion formulation supports spatial LiDAR-camera and temporal past-current interaction, using multi-view image-plane geometry and motion-compensated BEV geometry as the respective structural priors. Experiments on nuScenes demonstrate consistent perception gains across diverse front-end configurations. Compared with a prior instance-centric fusion method, the MatchFusion-equipped system achieves higher perception accuracy while reducing FLOPs by 55.3% and GPU memory usage by 39.3%, with the matching-fusion module accounting for only 3.7% of total perception latency. Integrating temporal MatchFusion into SparseDrive further improves perception within an E2E framework without additional supervision. These results establish explicit-implicit matching as an effective and efficient mechanism for spatio-temporal instance interaction.
著者のコメント
8 pages, 4 figures
arXiv ID: 2609.25860 ／ 要約の誤りについて