少数の光子の到着パターン全体から高速動画を復元
Spatiotemporal Flux Probing for Single-Photon Videography
この論文をやさしく読む
ひとことで言うと
暗い場所でまばらに届く光子を、近くの時刻・場所ごとにまとめるだけでなく、到着パターン全体の関係から動画に戻す方法です。
何に役立つ？
考えられる用途は、光量が限られた場面の高速撮影や、特定の速度で動く対象を見やすくする動画処理です。
この研究の面白いところ
動きと照明変化を同じ時空間相関から推定し、複数の種類のカメラに使える方法として示しています。
どこまで分かった？
要旨には必要光子数の削減率、復元誤差、処理速度の具体値は記載されていません。低照度のあらゆる場面での復元を保証するという説明ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
光子が極端に少ない条件で、動く場面から高速動画を復元する問題に取り組む。既存の方法は、信号対雑音比を改善するために、局所的な時空間窓の中で光子の検出を集計する。しかし、この局所的なグループ化は全体の構造を捨ててしまい、光子検出が空間的にも時間的にも疎な低照度領域ではうまくいかない。 本研究では、動きと照明の両方を復元するのに必要な情報が、光子到着の時空間パターン全体にわたる相関に含まれていることを示す。この知見に基づいて、時空間光束プロービングの理論と、光子ストリームから背後の光強度のフーリエ係数を直接推定するアルゴリズムを開発する。 この方法について、（1）従来手法より大幅に少ない光子で速い動きと照明の時間変化を復元すること、（2）検出した特定の動きへ動画を自動的に再合焦する速度選択型の動画撮影を可能にすること、（3）単一光子カメラ、イベントカメラ、スパイクカメラを含む異なるセンシング方式に一般化することを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 掲載先の記載あり
著者による掲載先の記載：Computer Vision - ECCV 2026, LNCS 17006 (2026) 136-154。出版社での独立確認は未実施です。
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We address the problem of recovering high-speed videos from dynamic scenes under extreme photon sparsity. Existing methods rely on aggregating photon detections in local spatiotemporal windows to improve signal-to-noise ratio; however, this local grouping discards global structure and fails in low-light regimes where photon detections are sparse in space and time. In this work, we show that the information needed to recover both motion and illumination is encoded in correlations over the full space-time pattern of photon arrivals. Building on this insight, we develop a spatiotemporal flux probing theory and an algorithm that estimates the Fourier coefficients of the underlying intensity directly from the photon stream. We demonstrate that our approach (1) recovers fast motion and temporal illumination dynamics with substantially fewer photons than prior methods, (2) enables velocity-selective videography that automatically refocuses video onto specific detected motions, and (3) generalizes across sensing modalities including single-photon, event, and spike cameras.
著者のコメント
ECCV 2026, Project page: https://jerukan.github.io/spt-flux-probing
arXiv ID: 2609.22479 ／ 要約の誤りについて