物体の文章リストだけで3次元の場面地図を更新
A Scene Language Model for Open-Vocabulary Scene Mapping
この論文をやさしく読む
ひとことで言うと
画像を見るたびに物体の文章リストを書き換え、周囲の場面地図を保つモデルです。画像や埋め込みを永続保存せず、テキストだけを記憶として使います。
何に役立つ?
考えられる用途は、メモリーが限られたロボットで物体を探したり位置を扱ったりすることです。四足歩行ロボットのエッジ機器でオンライン実行を確認しています。
この研究の面白いところ
専用モジュールを組み合わせた地図作成システムと競合する性能を、一つの視覚言語モデルと文章リストで実現します。表現の大きさは6分の1〜12分の1と報告されています。
どこまで分かった?
評価は検索・位置特定の二つのベンチマークと四足歩行ロボットの実験です。要旨には長期運用の条件や失敗例、個別の精度の数値は示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
オープン語彙の3次元場面マッピングは、環境内の物体の永続的な表現を構築することを目指す。既存システムは通常、観測の対応付け、複数視点の情報の統合、時間を通じて一貫した場面表現の維持のために、設計されたマッピング処理系を利用する。さらに多くのシステムは埋め込みや画像切り抜きなど、豊富な特徴を持つ物体表現を保存するため、永続メモリーの大きさと複雑さが増す。本研究は、テキストによる場面地図を直接維持する場面言語モデルSceneLMを導入する。場面全体を物体の構造化されたテキストリストとして表し、これをモデルの唯一の永続メモリーとする。入力画像ごとにモデルは現在の場面状態を読み、物体の追加、編集、削除によって地図を更新する。この挙動を学ぶため、反復的な場面地図の維持を対象とする教師あり学習タスクと、人手のラベルなしで画像から学習データを生成する自動注釈付け処理系を導入する。SceneLMを言語に基づく検索ベンチマークと位置特定ベンチマークの両方で評価する。両ベンチマークで、専用の知覚・幾何モジュールから構成される完全なマッピングシステムに対抗できる性能の場面地図を生成しながら、場面表現の大きさを6分の1〜12分の1にできる。さらに、四足歩行ロボット上の実験を通じ、SceneLMがエッジ機器上でオンライン実行できることを示す。これらの結果は、単一の視覚言語モデルが軽量なテキスト表現だけを使って、永続的なオープン語彙の3次元場面地図を直接維持できることを示す。学習・推論コードはhttps://goldengait.github.io/scenelm/で公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18(UTC)
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Open-vocabulary 3D scene mapping aims to build a persistent representation of the objects in an environment. Existing systems typically rely on engineered mapping pipelines to associate observations, merge information across views, and maintain a consistent scene representation over time. Many additionally store feature-rich object representations, such as embeddings or image crops, increasing the size and complexity of the persistent memory. We introduce SceneLM, a Scene-Language Model that directly maintains a textual scene map. The full scene is represented as a structured text list of objects, which serves as the model's only persistent memory. For each input image, the model reads the current scene state and updates the map by adding, editing, and removing objects. To learn this behavior, we introduce supervision tasks for iterative scene map maintenance together with an automatic annotation pipeline that generates training data from images without human labels. We evaluate SceneLM on both a language-grounded retrieval benchmark and a localization benchmark. Across both benchmarks, the model produces a scene map that achieves competitive performance with complete mapping systems built from dedicated perception and geometric modules while producing a scene representation that is 6-12x more compact. We further show that SceneLM can be run online on an edge device through experiments on a quadruped. These results show that a persistent open-vocabulary 3D scene map can be maintained directly by a single vision-language model using only a lightweight text representation. Training and inference code is available on https://goldengait.github.io/scenelm/.
arXiv ID: 2609.21400 / 要約の誤りについて