心拍による肌色変化を再現する頭部アバター
$\unicode{x1F493}$Heartian: Physiology-Aware Relightable Gaussian Head Avatar
この論文をやさしく読む
ひとことで言うと
心拍に伴う顔のわずかな色変化を頭部アバターに組み込み、描画後にも心拍信号を復元できるようにした。
何に役立つ？
心拍に関する信号を保ったまま頭部アバターを再構成する研究に役立つ。医療用途での診断性能を実証した結果ではない。
この研究の面白いところ
属性空間では心拍数誤差0.29 bpm、描画後の最良の検出構成では0.97 bpmを報告し、画像の再構成品質の平均低下は0.005 dBだった。
どこまで分かった？
評価は3データセット由来の静止状態の記録152件で、接触型PPGの教師信号を使っている。動きの大きい場面や教師信号のない条件への一般化は要旨では示されていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ガウス表現を使う頭部アバターでは、顔の本来の見た目を時間的に一定として扱い、心拍による肌色の微妙な変化を省くことが多い。本研究は、照明条件を変えられる頭部アバターにおいて、顔の皮膚領域を表すガウス要素のアルベドを心周期に応じてフレームごとに変調し、遠隔光電容積脈波（rPPG）信号を埋め込む、生理情報を考慮した枠組みHeartianを提案する。同期した接触型PPG信号を教師情報に使い、指定された心拍波形を2つのガウス関数の和としてモデル化し、軽量な多層パーセプトロンでフレームごとの空間的な残差を学習する。 UBFC-rPPG、PURE、MMPDからの静止状態の記録152件で、与えた信号を属性空間から復元した際の心拍数の平均絶対誤差は、記録単位でまとめると0.29 bpm、平均絶対パーセント誤差は0.38％だった。レンダリング後も、ベンチマークのrPPG手法で信号を検出できた。試した構成のうち最良のものは、UBFC-rPPGで事前学習し動きのデータ拡張を加えたTS-CANデコーダーで、レンダリングしたMMPDアバターから心拍数を平均絶対誤差0.97 bpm、平均絶対パーセント誤差1.21％で復元した。一方、Heartianの再構成品質は基準手法と同等で、平均PSNRの低下は無視できる0.005 dBだった。これにより、再構成品質を保ちながら、復元可能なrPPG信号を個人ごとのガウス頭部アバターの制御可能な材質属性として埋め込んだ。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Gaussian head avatars typically model intrinsic facial appearance as temporally static, omitting subtle cardiac-induced skin-color variation. We propose $\unicode{x1F493}$Heartian, a physiology-aware modulation framework that learns cardiac-cycle-dependent per-frame albedo modulation of facial skin-region Gaussians within a relightable head avatar to encode remote photoplethysmography (rPPG) signals. Using synchronized contact PPG supervision, $\unicode{x1F493}$Heartian models the prescribed cardiac waveform as the sum of two Gaussian functions and learns per-frame spatial residuals via a lightweight MLP. Across 152 stationary recordings from UBFC-rPPG, PURE, and MMPD, attribute-space recovery of the supplied signal achieves a pooled recording-level heart-rate MAE of 0.29 bpm and MAPE of 0.38%. The signals remain detectable after rendering by benchmark rPPG methods, with the best tested configuration - a motion-augmented TS-CAN decoder pretrained on UBFC-rPPG - recovering heart rate from the rendered MMPD avatars at 0.97 bpm MAE and 1.21% MAPE. Meanwhile, $\unicode{x1F493}$Heartian maintains reconstruction quality comparable to the baseline, with negligible average PSNR degradation of 0.005 dB. Overall, our work embeds recoverable rPPG signals as controllable material attributes to subject-specific Gaussian head avatars while retaining the reconstruction quality.
著者のコメント
4 pages of manuscript and 2 pages of supplementary material; SIGGRAPH Asia 2026 Technical Communications
arXiv ID: 2609.28539 ／ 要約の誤りについて