ロボットの内部状態から失敗の始まりを診断
ProTracer: Proprioception-Guided Failure Diagnosis in Robot Manipulation
この論文をやさしく読む
ひとことで言うと
ロボットが失敗したかだけでなく、どの時点からうまくいかなくなったかを調べます。映像に加えてロボット自身の状態信号を言葉に変換し、視覚言語モデルに一緒に読ませます。
何に役立つ？
考えられる用途は、ロボットの操作失敗の調査や改善箇所の特定です。結果が失敗と分かった時点より前に、正常な進行からの最初の逸脱を探す診断を支援します。
この研究の面白いところ
内部状態の時間的な細かさとVLMの説明能力を組み合わせ、モデルの追加学習なしで診断します。失敗の種類だけでなく開始時点を評価するデータセットも用意しています。
どこまで分かった？
要旨は実験で高い性能を報告していますが、正答率や時刻の特定誤差の具体値はありません。失敗を事後に分析する能力と、実行中に必ず失敗を予防できる能力は別で、後者の実証は述べられていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
本論文では、ロボットの物体操作の失敗を分析する包括的な枠組みを提示する。これは、失敗の有無の二値判定、失敗の分類、説明の生成に加えて、失敗の始点を特定する機能を備える。失敗の始点の特定とは、ロボットの実行が、課題を正常に完了できる軌跡から初めて逸脱し、その後最終的に課題の失敗へ至る、その最も早い時点を見つけることを目指すものである。 これらの課題に対応するため、既存の視覚言語モデル（VLM）と自己受容感覚信号を組み合わせて失敗を分析する、追加学習不要の枠組みProTracerを提案する。本手法は、自己受容感覚の動態を用いて時間的に有益な動作の区切りを特定し、より豊かなロボット状態信号を構造化された自然言語の記述へ変換する。VLMはこの記述を視覚観測と併せて分析できる。この設計は、モデルの追加学習を必要とせず、自己受容感覚信号の時間的な精密さと、近年のVLMのマルチモーダル推論能力を組み合わせる。 さらに、従来の失敗診断課題と失敗始点の特定の両方を評価するため、視覚観測と自己受容感覚観測を同期させたベンチマークFailTimeを導入する。実験では、ProTracerが従来の失敗診断課題と新たな失敗始点特定課題の両方で高い性能を示した。これは、時間を細かく捉えた失敗分析における、自己受容感覚に基づく推論の重要性を示している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
This paper presents a comprehensive framework for robot manipulation failure analysis that includes binary failure detection, failure categorization, explanation generation, and the additional capability of failure onset localization, which aims to identify the earliest moment at which a robot execution deviates from a valid task-completion trajectory and is ultimately followed by task failure. To address these tasks, we propose ProTracer, a training-free framework that leverages existing Vision-Language Models (VLMs) together with proprioceptive signals for failure analysis. Our method uses proprioceptive dynamics to identify temporally informative action boundaries and converts richer robot-state signals into structured natural-language descriptions that can be jointly analyzed together with visual observations by the VLM. This design combines the temporal precision of proprioceptive signals with the multimodal reasoning capabilities of modern VLMs without requiring additional model training. We further introduce FailTime, a benchmark with synchronized visual and proprioceptive observations for evaluating conventional failure diagnosis tasks as well as failure onset localization. Experiments demonstrate that ProTracer achieves strong performance across both conventional failure diagnosis tasks and the newly introduced failure onset localization task, highlighting the importance of proprioceptive reasoning for fine-grained temporal failure analysis.
著者のコメント
9pages, 5 figures, 5 tables
arXiv ID: 2609.21369 ／ 要約の誤りについて