必要な過去情報を軽量な記憶にまとめるロボット学習
Workspace Models: Lightweight Robotic Memory via Saliency-Driven Supervision
この論文をやさしく読む
ひとことで言うと
ロボット操作に必要な長期履歴を、学習時のVLM分析から軽量な潜在記憶へ蒸留するワークスペーストークンを提案した研究です。
何に役立つ？
実行時に毎回VLMへ問い合わせず、課題に重要な過去情報を方策へ渡す設計に役立ちます。履歴全体による見せかけの相関と計算負荷を抑える候補です。
この研究の面白いところ
VLMを学習時に使い、集合再構成損失で記憶を作る構成が特徴です。シミュレーションと実機で、観測の置き換えと性能向上を報告しました。
どこまで分かった？
要旨では課題や性能差の数値、ロボット構成は示されていません。別の長期記憶課題への適用範囲は要旨からは判断できません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
複雑なロボット操作課題では、過去の出来事や行動を長期にわたって記憶する必要があることが多い。しかし、履歴全体を条件として与えると、方策は見せかけの相関に影響されやすくなり、性能も低下する。このため、方策に記憶を持たせる多くの方法では、実行ループ内で計算コストの高い視覚言語モデル（VLM）への問い合わせを行って履歴情報を圧縮し、課題にとって重要な情報だけを処理する。 本論文では、計算負荷の高いVLMへの問い合わせを学習時に行い、運用時には効率よく参照できる軽量な潜在記憶を学習する、別の方法を提案する。「ワークスペーストークン」と呼ぶこの表現は、まずVLMを使って課題完了に必要な現在および過去の情報を特定し、次に集合再構成デコーダの損失を用いて、それらをワークスペーストークンへ蒸留することで学習する。 シミュレーションと実機の双方で、運用時の観測をワークスペーストークンにそのまま置き換えられることを示す。これにより、実行ループ内でVLMによる推論を行わずに、記憶を多く必要とする課題を方策が解けるようになる。興味深いことに、ワークスペーストークンは軽量であるだけでなく、方策の性能向上にもつながることが分かった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Complex robotic manipulation tasks frequently require a long-term memory of past events and actions. As conditioning on full histories renders policies prone to spurious correlations and degrades performance, many approaches to policy memory involve compressing historical information through expensive VLM queries in-the-loop to process only task-salient information. In this paper, we propose an alternative approach in which computationally intensive VLM queries are made during train-time to learn a lightweight latent memory that can be efficiently queried at deployment time. Our representation, which we call the \textbf{workspace token}, is trained by (1) using a VLM to identify current and historical information necessary for completing a task, then (2) distilling these into the workspace token using a set-reconstruction decoder loss. In both simulation and hardware, we show that the workspace token can be used as a drop-in replacement for observations during deployment, enabling policies to solve memory-intensive tasks without the need for VLM reasoning in-the-loop. Interestingly, we found that workspace tokens are not only more lightweight but also lead to better policy performance.
著者のコメント
26 pages; CoRL 2026; 11 figures
arXiv ID: 2609.20820 ／ 要約の誤りについて