色と温度の時間変化を同じ3次元場面として再構成する
Dynamic Thermal Gaussians: Multimodal 4D Gaussian Splatting
この論文をやさしく読む
ひとことで言うと
見た目の色と熱画像を組み合わせ、時間とともに変わる3次元の場面を再構成する方法です。温度を固定した値として扱わず、その変化も表現します。
何に役立つ?
熱分布が変わる場面を立体的かつ時系列で分析する用途が考えられます。要旨では、そのような変化を評価するためのデータセットも提供しています。
この研究の面白いところ
色と温度で同じ形状の骨格を使いながら、必要な細部はそれぞれ専用のガウス分布で補います。両者の位置の整合性と、モダリティごとに違う細部の表現を両立させる設計です。
どこまで分かった?
要旨は再構成実験での高い忠実度を述べていますが、温度誤差、処理速度、比較値は示していません。熱の将来予測や特定の現場への導入性能を実証したという記述ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
サーモグラフィーは、軍事分野やより広い熱解析の応用で重要な役割を担う。近年の3次元熱再構成の進歩により、温度解析は2次元から3次元空間へ拡張された。しかし、既存研究の多くは温度分布が静的であると仮定し、実環境の熱伝達の時間変化を考慮していない。この制約に対し、複雑な場面を対象とする初の動的RGB・熱再構成の枠組みを提案する。本手法は、RGBの外観、熱観測、場面の形状が時間とともに変化する様子を、一体としてモデル化する。 具体的には、色と熱の両モダリティを共有の幾何学的基盤に結び付ける、マルチモーダルな動的場面表現を導入する。これにより時空間的な変形の下でも両者の整合性を保つ。さらに、各モダリティの動きの表現力を高めるマルチモーダル埋め込みを設計する。また、共有するマルチモーダルなガウス分布の統一集合を幾何学的な骨格として保持しながら、各モダリティで細部の豊かな領域では、そのモダリティ専用のガウス分布を適応的に生成して表現力を高める、マルチモーダルな振り分け機構を提案する。 加えて、4次元再構成の評価を促進するため、頻繁な温度変化を含む新しいベンチマークデータセットを提供する。広範な実験により、外観と温度の両方で高忠実度の時空間再構成を達成することを示す。コードとデータセットはhttps://github.com/LinLif1869/DTGで公開している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21(UTC)
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Thermography plays a vital role in military and broader thermal analysis applications. Recent progress in 3D thermal reconstruction has extended temperature analysis from 2D to 3D space, yet most existing works assume static temperature distributions, neglecting the temporal dynamics of heat transfer in real-world environments. To address this limitation, we propose the first dynamic RGB-Thermal reconstruction framework for complex scenes. Our method jointly models RGB appearance, thermal observations, and scene geometry as they change over time. Specifically, we introduce a multimodal dynamic scene representation that anchors both the color and thermal modalities to a shared geometric substrate, ensuring their consistency under spatiotemporal deformations. We further design multimodal embeddings to enhance the motion expressiveness for each modality, and propose a multimodal routing mechanism that retains a unified set of shared multimodal Gaussians as the geometric backbone while adaptively spawning modality-specific Gaussians to strengthen the representational capacity in detail-rich regions of each individual modality. In addition, we contribute a novel benchmark dataset featuring high-frequency temperature variations to facilitate the evaluation of 4D reconstruction. Extensive experiments demonstrate that our method achieves high-fidelity spatiotemporal reconstruction of both appearance and temperature. Our code and dataset are available at: https://github.com/LinLif1869/DTG.
arXiv ID: 2609.24531 / 要約の誤りについて