学習時の触覚を生かし実行時は触覚入力なしで物体操作
HapticWAM: Distilling Imagined Touch into a World-Action Model without Inference-Time Tactile Sensing
この論文をやさしく読む
ひとことで言うと
触覚センサから学んだ接触の予測を別のモデルに移し、実行時に指先の触覚入力がなくても物体を操作する方法です。
何に役立つ？
実行時の指先センサへの依存を減らしながら、接触を伴う操作に触覚学習の利点を生かす用途が考えられます。
この研究の面白いところ
触覚画像の再現だけでなく、力や滑りなどに関係する将来の接触情報を予測して行動と結び付けます。生徒モデルでも接触予測の部分は残します。
どこまで分かった？
実機の3課題・計50回の結果です。課題別平均77％と全試行を合算した82％は集計方法が異なり、95％は一つの課題の値です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
接触の多い操作では、場面の画像だけでは曖昧なまま残り得る力、滑り、接触形状を推定する必要がある。光学式触覚センサは接触面の視覚観測と機械的測定の両方を提供するが、それらから学習するには、外観を超えて接触を表現することと、運用時には指先の観測を必要としない方策へ利点を移すこと、という二つの課題がある。 本研究では、異種の触覚情報の符号化、構造化した接触予測、教師・生徒間の蒸留を組み合わせた世界・行動モデルHapticWAMを提案する。教師モデルは、ゲル画像を、変形、せん断、分布した力、合成された力・モーメント、そこから導く接触状態とともに、固定した動画バックボーンへ符号化する。触覚の画素だけを予測するのではなく、行動と、将来の出来事や力学を記述する接触情報一式を同時に生成する。 Anticipatory Contact Couplingは、直前に想像した接触情報一式を注意機構の条件付けに使い、直接の触覚観測が使えないときも接触関連の入力を保つ。Haptic-Imagination Distillationは、将来の接触と行動の予測を生徒モデルへ移す。生徒は接触生成ヘッドを残しつつ、指先入力の分岐を取り除く。 実機環境で接触の多い3種類のピックアンドプレース課題を評価したところ、HapticWAM Studentは課題ごとの成功率の平均77％を達成した。全試行をまとめると50回の開始のうち41回成功し、82％だった。一つの課題では95％に達し、評価対象の教師モデルとベースラインの構成を上回った。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Contact-rich manipulation requires estimating forces, slip and contact geometry that can remain ambiguous in scene images. Optical tactile sensors provide both visual observations of the contact surface and mechanical measurements, yet learning from these signals raises two challenges: representing contact beyond appearance and transferring its benefits to a policy that does not require fingertip observations at deployment. We introduce HapticWAM, a world-action model that combines heterogeneous tactile encoding, structured contact prediction and teacher-student distillation. Its teacher encodes gel images together with deformation, shear, distributed forces, resultant wrench and derived contact state into a frozen video backbone. Rather than predicting tactile pixels alone, the model jointly generates actions and a contact package describing future events and mechanics. Anticipatory Contact Coupling uses the previously imagined package to condition attention, preserving a contact-related input when direct tactile observations are unavailable. Haptic-Imagination Distillation transfers both contact futures and action predictions to a student that retains the generative contact head but removes its fingertip input branches. On a real-world setup, across three contact-rich pick-and-place tasks, HapticWAM Student achieves a 77% per-task mean success rate (41 of 50 starts, 82% pooled), reaching 95% on one of the tasks, outperforming the evaluated teacher and baseline configurations.
著者のコメント
10 pages, 5 figures, 4 tables, submitted to IEEE ICRA 2027
arXiv ID: 2609.23888 ／ 要約の誤りについて