手と表情を再現する写実的な手話アバター
PHOSA: Photorealistic 3D Sign Avatar Modeling and Benchmark
この論文をやさしく読む
ひとことで言うと
多視点の中国手話データから、手の形や顔の表情まで再現する写実的なアバターを作ります。
何に役立つ？
手話を視覚的に表現するアバターの制作や、手・顔の動きを推定する研究の資料として役立つと考えられます。意思疎通の効果そのものは要旨で実証されていません。
この研究の面白いところ
ろう者の専門家と共同設計したデータセットを用い、身体・頭・手を分けた表現と、動きによるぼけを考慮するサンプリングを組み合わせます。
どこまで分かった？
評価はMVSignと単眼の手話映像についてです。手話の意味の正確な伝達や利用者による理解度の評価は要旨にありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
写実的な手話アバターのモデル化は、ろう者のコミュニティとの効果的な意思疎通に重要であり、複雑な手の動きや繊細な表情を扱う必要がある。著者らは、ろう者の専門家と共同設計し、多様な身振りと豊富な注釈を備える、初の多視点中国手話データセットMVSignを導入する。正確なSMPL-Xの注釈を得るため、身体、手、顔のパラメータを精密に推定し、単眼映像にも適用できる混合型のフィッティング手順を開発する。 MVSignを基に、身体、頭、手の成分を分けて複雑な関節運動を捉える手話アバターの表現を提案する。さらに、動きによるぼけに対応し、身振りの多様性のバランスを取るため、動きを考慮したサンプリングを用いる。広範な実験で、MVSign上では特に細かな手や顔の領域で高い忠実度の視覚的結果を得て、実環境で撮影された単眼の手話映像にも良好に一般化した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
In this work, we focus on photorealistic sign avatar modeling, which is crucial for effective communication with the Deaf community and is characterized by complex hand gestures and nuanced facial expressions. To this end, we introduce MVSign, the first multi-view Chinese sign language dataset co-designed with Deaf experts, featuring diverse gestures and rich annotations. For precise SMPL-X annotation, we develop a hybrid fitting pipeline that produces accurate body, hand, and facial parameters and can also be applied to the monocular setting. Building on MVSign, we propose a decoupled sign avatar representation that isolates body, head, and hand components to capture complex articulations, together with a motion-aware sampling strategy to handle motion blur and balance gesture diversity. Extensive experiments demonstrate that our method achieves high-fidelity visual results on MVSign, particularly in detailed hand and facial regions, and generalizes well to in-the-wild monocular sign language videos. Project page: https://naaapi.github.io/PHOSA.
著者のコメント
ECCV 2026, project page: https://naaapi.github.io/PHOSA
arXiv ID: 2609.29292 ／ 要約の誤りについて