配置が不定なマーカーから人体動作を復元するDirtyMoCap
DirtyMoCap: Robust Motion Capture from Unconstrained Markers
この論文をやさしく読む
ひとことで言うと
配置が決まっておらず、欠損や雑音のあるマーカーから人体の動きを復元する方法です。
何に役立つ？
厳密なマーカー配置を前提にできない過去の光学記録や、乱れたモーションキャプチャの整理に役立ちます。
この研究の面白いところ
マーカーを直接人体模型へ当てず、関節と表面点からなる固定の中間アンカーを追跡してからSMPL-Hへ合わせます。観測の信頼度や滑らかさの重みも学習します。
どこまで分かった？
単一モデルが多様な配置へ汎化した評価と、中国武術記録への適用を報告しています。最大100倍の高速化は専用CUDAソルバーと標準PyTorch実装の比較で、処理全体が同じ比率で速いという意味ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
光学式モーションキャプチャは高精細な人の動きを得られるが、厳密なマーカー配置と乱れのない軌跡に依存するため、現実の場面への適用が大きく制限される。実際の追跡システムは、配置が未知または変動する、疎でノイズを含み、順序のない点群という、制約のないマーカーを出力することが多い。本研究では、乱れを含む生のマーカーとパラメトリックな人体モデルの間をつなぐ、マーカー配置に依存しない頑健な枠組みDirtyMoCapを導入する。 中心となる着想は、順序のないマーカー観測を、骨格の関節と体表面の点からなる固定の「代理アンカー」集合へ写像し、安定した中間表現として利用することである。まず、再帰型スライディングウィンドウ構造を使い、長い系列にわたってアンカーを初期化・追跡する。次に、独自の微分可能なガウス＝ニュートンソルバーによって、追跡したアンカーにSMPL-Hモデルを当てはめ、全身の姿勢、並進、形状を復元する。幾何学的残差を明示的に導出することで、このソルバーは観測の信頼度、平滑化、事前分布の重みを適応的にエンドツーエンドで学習し、入力データの信頼性に応じて動的に調整する。 多様でノイズを含むマーカー配置に対する広範な実験により、DirtyMoCapが単一の学習済みモデルだけで任意の配置に汎化できることを示す。関節と頂点の復元精度の両方で、配置ごとに特化した最先端のベースラインを一貫して上回る。独自のCUDAソルバーは、標準的なPyTorch実装に比べ最大100倍の高速化を達成する。さらに、従来の中国武術を記録したさまざまな生の光学式MoCapデータに適用し、時間的に整合したSMPL-H復元からなるカンフー動作データセットを作成する。コードとデータは https://wanglongzju.github.io/DirtyMoCap-Project-Page で公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Optical motion capture delivers high-fidelity human motion, but its reliance on strict marker layouts and clean trajectories severely limits its real-world applicability. In practice, tracking systems frequently output unconstrained markers: sparse, noisy, and unordered point clouds with unknown or varying configurations. To bridge the gap between corrupted raw markers and parametric human models, we introduce DirtyMoCap, a robust, marker-layout-free framework. Our core insight is to map unordered marker observations to a fixed set of "proxy anchors" comprising skeletal joints and body surface points, which serve as a stable intermediate representation. We first initialize and track these anchors over long sequences using a recurrent sliding-window architecture. Then, a custom differentiable Gauss-Newton solver fits the SMPL-H model to the tracked anchors to recover full-body pose, translation, and shape. By explicitly deriving geometric residuals, our solver learns adaptive observation confidence, smoothness, and prior weights end-to-end, adapting dynamically to the reliability of the input data. Extensive experiments on diverse, noisy marker configurations demonstrate that DirtyMoCap successfully generalizes across arbitrary layouts using only a single trained model. It consistently outperforms state-of-the-art configuration-specific baselines in both joint and vertex reconstruction accuracy, while our custom CUDA solver achieves up to a 100x speedup over standard PyTorch implementations. We further apply DirtyMoCap to heterogeneous raw optical MoCap recordings of traditional Chinese martial arts, yielding a Kung Fu motion dataset of temporally coherent SMPL-H reconstructions. Code and data are available at https://wanglongzju.github.io/DirtyMoCap-Project-Page.
著者のコメント
Homepage: https://wanglongzju.github.io/DirtyMoCap-Project-Page
arXiv ID: 2609.19927 ／ 要約の誤りについて