arXiv論文メモ
新着一覧
cs.CV / cs.RO · 査読状況未確認

長い画像列を記憶して地図と立体描画を作るモデル

Adaptive World Memory 3D Foundation Model for Scalable 3D Mapping, Localization, and Rendering

Tianchen Deng, Guole Shen, Yilin Shen, Wenhua Wu, Yilin Fang, Ziqi Ma, Tianjun Zhang, Shenghai Yuan, Wolfram Burgard, Hesheng Wang

この論文をやさしく読む

ひとことで言うと

ロボットが見た画像を順次記憶し、現在位置、周囲の3D形状、見た目をまとめて復元するモデルです。古い情報を残すか忘れるかも調整します。

何に役立つ?

考えられる用途は、長時間移動するロボットの地図作成や、観測した場所の視覚的な再現です。地図と描画を同じモデルから得られる構成になっています。

この研究の面白いところ

記憶を単純に蓄積せず、時間変化と空間的一貫性で更新を調整します。局所地図をまとめ直す仕組みも組み合わせ、長い移動に対応しようとしています。

どこまで分かった?

公開データと多様なロボット由来の独自データで既存手法より改善したという報告です。要旨には具体的な改善量や処理速度はなく、コードとデータの公開は予定として述べられています。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

近年の3D基盤モデルは、RGB画像から汎化可能な幾何学的推論を行えるようになったが、持続的な記憶、拡張性、描画可能なシーンのモデル化には依然として限界がある。本研究では、拡張可能なロボットの自己位置推定、再構成、ガウシアン描画に向けた、記憶を中心とする3D基盤モデルを提示する。中核は、Transformerに基づくゲート付き更新と、テスト時の時間・空間的な調整を組み合わせた適応的な世界記憶機構である。学習されたゲートが再帰的な記憶の伝達を制御し、時間的な状態変化と空間的な観測・状態の整合性が、長い画像列にわたってトークンごとの更新と忘却を調整する。 大規模地図作成に対応するため、記憶を局所サブマップに編成し、逐次的な地図作成と追跡、ループ閉じ込み、SL(4)に基づく大域的な改善を統合して、局所的な精度と大域的な整合性を維持する。ガウシアン再構成ヘッドは、記憶によって強化された特徴を描画可能な基本要素へ復号し、カメラ姿勢推定、密な点群の再構成、写実的な描画を単一モデル内で統合する。公開ベンチマークと多様なロボットプラットフォームから独自収集したデータセットでの実験により、既存の3D基盤再構成モデルおよびSLAMベースラインよりも、軌跡精度、再構成の完全性、描画品質が向上することを示す。これらの結果は、適応的記憶が持続的なロボットの世界モデル化の基盤になることを支持している。データセットとコードは https://github.com/dtc111111/AWM-3DFM で公開予定である。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-18(UTC)
最新改訂
2026-09-18 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Recent 3D foundation models enable generalizable geometric reasoning from RGB images but remain limited in persistent memory, scalability, and renderable scene modeling. We present a memory-centric 3D foundation model for scalable robotic localization, reconstruction, and Gaussian rendering. Its core is an adaptive world memory mechanism that combines transformer-based gated updates with test-time temporal-spatial regulation. Learned gates control recurrent memory propagation, while temporal state evolution and spatial observation-state consistency regulate token-wise updates and forgetting over long image sequences. To support large-scale mapping, we organize memory into local submaps and integrate progressive mapping and tracking, loop closure, and SL(4)-based global refinement to maintain local accuracy and global consistency. A Gaussian reconstruction head decodes memory-enhanced features into renderable primitives, unifying camera pose estimation, dense point-cloud reconstruction, and photorealistic rendering within a single model. Experiments on public benchmarks and self-collected datasets from diverse robotic platforms demonstrate improved trajectory accuracy, reconstruction completeness, and rendering quality over existing 3D foundation reconstruction and SLAM baselines. These results support adaptive memory as a foundation for persistent robotic world modeling. The dataset and code will be made publicly available at \href{https://github.com/dtc111111/AWM-3DFM}{https://github.com/dtc111111/AWM-3DFM}.

arXiv ID: 2609.21502 / 要約の誤りについて