左右の触覚情報を補完して両手操作の表現を学ぶ
BiView-Touch: Learning Bimanual Tactile Representations by Cross-Hand Completion
この論文をやさしく読む
ひとことで言うと
片手の欠けた触覚情報を、同期した反対側の手から補い、両手操作に使える表現を学習した。
何に役立つ？
考えられる用途は、両手の動きや接触段階を少ないラベルで認識する触覚モデルの学習。
この研究の面白いところ
両手のデータを増やすだけでなく、時間と身体配置が合う関係を学んだことを介入実験で確かめた点。
どこまで分かった？
報告された改善はHumanTouchなどの指定された課題とラベル条件での結果である。実機ロボットでの操作成功率は要旨に示されていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
両手での操作では、同じ物理的な過程について、左右の手が互いを補う触覚情報を得る。しかし既存の触覚表現学習では、両手を独立に扱うか、後段の予測でのみ組み合わせることが多く、両手間の関係は十分に利用されていない。本論文は、触覚データだけを使うBiView-Touchを提案する。一方の手の一部を隠した潜在表現を、その手に残る見えている領域と、時刻を合わせた反対側の手の全情報から補完する。学習側のエンコーダと、幾何情報を条件にする方向性のあるデコーダが、指数移動平均で得た全体像の潜在表現を予測する。また、時間や配置を入れ替えた反実仮想的な例を使い、時刻が合い、解剖学的な配置が整った情報への感度を高める。 制御した要素除去実験と、入力する反対側の手の情報を変える介入により、単に両手の入力がある利点ではなく、時間的に一致し、身体の配置に沿った両手間の依存関係を学習したことを示す。公開データセットHumanTouchでは、学習済み表現を固定したまま、ラベルが少ない設定で代表的な自己教師あり手法を一貫して上回った。後段のラベルが5％だけの場合、左右の手首の動きの認識で、バランス精度の相対的な向上は7.1％、力から導いた相互作用の段階の認識では14.1％だった。さらに20課題の両手触覚データセットBVT-20を導入し、記録セッションや事前学習用データをまたぐ転移、学習時に含めない両手課題への転移を示した。コードとデータセットの詳細は匿名のプロジェクトページで公開している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Bimanual interaction produces complementary tactile views of the same physical process, yet existing tactile representation learning largely models the two hands independently or combines them only for downstream prediction, leaving their cross-hand relationship unexplored. To exploit this overlooked structure, we introduce BiView-Touch, a tactile-only framework that completes masked target-hand latents from the remaining visible target-hand regions and the synchronized full contralateral hand. A student encoder with a geometry-conditioned directional decoder predicts full-view EMA latent targets, while temporal and layout counterfactuals encourage sensitivity to synchronized and anatomically organized source information. Controlled ablations and source-context interventions show that BiView-Touch learns structured cross-hand dependence on temporally aligned and anatomically organized contralateral tactile context, rather than benefiting from bilateral input alone. On the public HumanTouch dataset, its frozen representations consistently outperform representative self-supervised baselines across low-label settings. With only 5\% downstream labels, BiView-Touch achieves relative balanced-accuracy gains of 7.1\% on bilateral wrist-motion recognition and 14.1\% on force-derived interaction-phase recognition. We further introduce BVT-20, a 20-task bilateral tactile dataset, and demonstrate transfer across recording sessions and pretraining corpora, including transfer to a held-out bimanual task. Our code and dataset details are available on the anonymous project page: https://anonymous.4open.science/w/biview-touch-review-site-050C/.
著者のコメント
Submitted to ICRA 2027; 9 pages, 7 figures
arXiv ID: 2609.23352 ／ 要約の誤りについて