画像と言語による移動で幾何情報と過去の記憶を選ぶ
AdaGeoVLN: Selective Geometry Across Representation Depth and Navigation Time for Vision-Language Navigation
この論文をやさしく読む
ひとことで言うと
画像を見ながら言葉の指示に従って移動するモデルで、どの段階の立体情報を使い、何を記憶に残すかを工夫しています。全部を覚える代わりに、指示や新しさに応じて過去の情報を選びます。
何に役立つ?
視覚言語ナビゲーションで、性能を保ちながら幾何モデルの記憶容量を抑える設計に役立ちます。RGB映像だけで評価しているため、追加の観測入力を増やさずに情報の使い方を改善する方向です。
この研究の面白いところ
特徴表現の深さと、過去から現在への時間という二つの軸を同時に扱っています。融合位置をそろえた比較により、単に情報を入れる場所が増えた効果と区別しようとしています。
どこまで分かった?
評価はR2R-CEとRxR-CEで報告されていますが、要旨に成功率やメモリ削減率の具体値はありません。コード公開は採択後の予定という記述で、採択済みや公開済みだという意味ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
視覚言語ナビゲーションでは、時間を通じて空間的な理解を維持しながら、言語と視覚観測を対応付ける必要がある。幾何基盤モデル(GFM)は階層全体にわたって中間表現を提供するが、ナビゲーション方策がこれらの特徴をどう使い、過去の幾何学的な証拠をどう保持すべきかは未解決である。本研究では、表現の深さとナビゲーションの時間の両面からこの問題に対処する、逐次処理型の視覚言語ナビゲーションの枠組みAdaGeoVLNを導入する。 階層的なGFM–VLM融合では、最終段の特徴を繰り返し注入する代わりに、GFMの初期・中間・後期の表現を、方策の連続する各段階へ結び付ける。ナビゲーションを考慮したGFMメモリは、各層の予算を一定範囲に抑えながら、指示との関連性、幾何の確信度、遷移の新規性に基づいて、過去のVGGTの大域注意機構のキー・バリュー状態を保持する。保持された状態は、方策との融合前に、後続の観測へ幾何学的な文脈を与える。 R2R-CEとRxR-CEで、AdaGeoVLNは単一のRGBストリームを用い、ナビゲーション専用の追加の外部データを使わずに高い性能を達成する。条件をそろえたアブレーションでは、同じ融合位置において、複数の深さを結び付ける方法が、最終段の特徴を繰り返し注入する方法を大幅に上回る。容量を制限したナビゲーション対応の保持方式は、より大きなメモリを使う時間的保持方式と比べ、GFMのキー・バリューメモリを大幅に減らしながらナビゲーション性能を維持する。 これらの知見は、方策に提示する幾何表現と、将来の推論のために保持する過去の証拠を、併せて検討することを支持する。コードは採択後に https://humanoid-research.github.io/adageovln/ で公開する予定である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16(UTC)
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Vision-language navigation requires aligning language with visual observations while maintaining spatial understanding over time. Geometry foundation models (GFMs) expose intermediate representations throughout their hierarchy, but how navigation policies should use these features and retain historical geometric evidence remains unresolved. We introduce \method{}, a streaming VLN framework that addresses these questions across \textbf{representation depth} and \textbf{navigation time}. Hierarchical GFM--VLM fusion couples earlier, intermediate, and later GFM representations to successive policy stages instead of repeatedly injecting a terminal feature. Navigation-aware GFM memory retains historical VGGT global-attention KV states according to instruction relevance, geometric confidence, and transition novelty under a bounded per-layer budget. Retained states provide geometric context for subsequent observations before fusion with the policy. Across R2R-CE and RxR-CE, \method{} achieves strong performance using a single RGB stream without additional navigation-specific external data. Controlled ablations show that multi-depth coupling substantially outperforms repeated terminal-feature injection at matched fusion locations. Bounded navigation-aware retention preserves navigation performance while considerably reducing GFM-KV memory relative to larger-memory temporal retention. These findings support jointly examining the geometric representations exposed to the policy and the historical evidence retained for future inference. Code will be released upon acceptance at https://humanoid-research.github.io/adageovln/.
arXiv ID: 2609.18789 / 要約の誤りについて