ロボットが物の温度を見て選ぶためのデータセット
HEARTH: An Object-Centric RGB-Thermal-3D Dataset for Temperature-Aware Robot Manipulation
この論文をやさしく読む
ひとことで言うと
色や形だけでは分からない物の温度を、ロボットの操作学習に使えるよう画像と3D形状に結び付けた。
何に役立つ？
熱い物や冷たい物を選ぶといった言語指示をロボットに学習させる用途に役立つ。
この研究の面白いところ
90個の実物を温度付きの3D資産にし、熱画像を使うと選択成功率が35.0％から75.0％へ上がった。
どこまで分かった？
成功率は作成した三つの派生課題での結果であり、あらゆる温度操作への一般化は示していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
言語指示に従って物を扱うロボットには、見た目だけでは分からない物理的性質が必要になることがある。温度はその一つだが、ロボット学習用の物体データでは、実測温度と外観や形状を結び付けた例が少ない。HEARTHは、日常の18カテゴリに属する実物90個、撮影した状態145件を含む、物体中心のRGB・熱画像・3Dデータセットである。カメラの校正と姿勢の移し替えを通じて、見かけの表面温度を再構成したメッシュへ対応させる。生の温度測定値、カメラのパラメータ、RGBテクスチャ付きメッシュ、シミュレーション用の熱テクスチャを含む。この資産を使い、LIBEROから派生した三つの課題を作成し、事前学習済みの視覚・言語・行動モデルπ0.5を微調整するための実演1,200件を集めた。要素を除く評価では、熱の観測を加えると、温度に依存する物体選択課題の成功率がRGB画像のみの場合の35.0％から75.0％に上がった。温度に関する指示に従うロボット方策の訓練にHEARTHが有用であることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Language-guided manipulation can depend on physical properties that visible appearance does not reveal. Temperature is one such property, but object datasets for robot learning rarely associate measured temperatures with object appearance and geometry. We present HEARTH, an object-centric RGB-thermal-3D dataset of 90 physical objects from 18 everyday categories, comprising 145 captured object states. Our pipeline maps apparent surface temperatures onto reconstructed meshes through camera calibration and pose transfer. The dataset includes raw temperature measurements, camera parameters, RGB-textured meshes, and thermal textures for simulation. We use these assets to construct three LIBERO-derived tasks and collect 1,200 demonstrations for fine-tuning a pretrained vision-language-action (VLA) model, $\pi_{0.5}$. In an ablation study, adding thermal observations to the VLA increases success on temperature-dependent object-selection tasks from 35.0% for the RGB-only baseline to 75.0%. These results demonstrate the utility of HEARTH for training robot policies to follow temperature-related instructions.
arXiv ID: 2609.23418 ／ 要約の誤りについて