物理試験を繰り返してロボット用の変形物体を生成する
DeformSmith: Physics Harness-Guided Hierarchical Generation of Deformable Assets for Robot Manipulation
この論文をやさしく読む
ひとことで言うと
柔らかい物体の見た目だけでなく、ロボットが触れたときの変形も試しながら、シミュレーション用モデルを自動で作る仕組みです。
何に役立つ？
変形物体を扱うロボットのシミュレーション環境や、操作学習向けの合成データを用意する用途が示されています。
この研究の面白いところ
文章や画像から一度生成して終わるのではなく、物理試験と操作のフィードバックを生成過程に戻して形状と材料挙動を改良します。
どこまで分かった？
要旨は比較手法より良い品質を報告していますが、指標の数値や実物との物性一致、実機への転移性能は示していません。物理的なもっともらしさと特定の実物を正確に再現することは区別が必要です。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ロボット操作用の変形可能なアセットを作るには、その形状、外観、物理特性を一体として指定する必要がある。変形物体では特に難しい。文章や画像だけでは、どのように変形し接触に応答するかについて得られる情報が限られる一方、その応答は相互作用への適性を直接左右するためである。したがって自動生成には、互いに結び付いた物理要件を解決し、相互作用の証拠を構築と改良の指針に使うことが必要になる。 本研究では、文章または1枚の画像から、相互作用でき物理的にもっともらしい変形アセットを自動生成する枠組みDeformSmithを提示する。階層的なエージェントによる構築と、共有された物理に基づく試験環境を通じて、形状、物理モデル、材料挙動、ロボットとの相互作用を段階的に構築・試験・改良し、シミュレーションと操作に利用できる状態にする。ロボットの操作から得たフィードバックと再生可能な相互作用データによって、生成の反復を閉じたループにする。 結果は、DeformSmithがPhysGen3D、PhysGM、PhysX-Omniなどの最先端の比較手法よりも、視覚的品質と物理的なもっともらしさに優れたアセットを生成し、変形物体のロボット操作用データの合成にも対応することを示している。プロジェクトページはhttps://can-lee.github.io/deformsmith-web/である。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-17 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Creating deformable assets for robot manipulation requires jointly specifying their geometry, appearance, and physical properties. This is especially challenging for deformable objects, since text and images provide limited evidence about how they deform and respond to contact, yet these responses directly affect their suitability for interaction. Automated generation therefore needs to resolve coupled physical requirements and use interaction evidence to guide construction and refinement. We present DeformSmith, a framework that enables automated generation of interactive, physically credible deformable assets from text or a single image. Through hierarchical agentic construction and a shared physics-grounded harness, it progressively builds, tests, and refines geometry, physical models, material behavior, and robot interaction until the resulting asset is ready for simulation and manipulation. Robot interaction closes the generation loop through manipulation feedback and replayable interaction data. Results show that DeformSmith generates assets with better visual quality and physical plausibility than state-of-the-art baselines, including PhysGen3D, PhysGM, and PhysX-Omni, while supporting the synthesis of data for robotic manipulation of deformable objects. Project page: https://can-lee.github.io/deformsmith-web/
著者のコメント
Project page: https://can-lee.github.io/deformsmith-web/
arXiv ID: 2609.18620 ／ 要約の誤りについて