長い動画の3D再構成で記憶容量を抑えるトークン選別
RegVGGT: Sustainable Visual Geometry Grounding for Streaming via Regulated Memory
この論文をやさしく読む
ひとことで言うと
長い動画を3D再構成するとき、重要な画像トークンだけを記憶に残してGPUメモリの増加を抑える方法。
何に役立つ？
長時間動画を限られたGPUメモリで処理する3D再構成の設計に役立つ可能性がある。
この研究の面白いところ
追加学習なしで各フレームの最大1%のトークンだけを採用し、数千フレームを一般消費者向けGPUで処理した。
どこまで分かった？
要旨は複数ベンチマークで優位と述べるが、具体的な性能値や、全ての動画条件での品質保証は示していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
長い動画ストリームからの3D再構成では、フィードフォワード型の再構成モデルが、限られたGPUメモリにストリーム全体の推論文脈を保持できないという問題がある。近年の研究は文脈の完全さとGPUメモリ消費の折り合いを探っているが、メモリが急増するか、人為的な上限によって文脈の完全さが損なわれる。本研究は、トークンの最初の顕著さがストリーム全体での長期的な重要性を安定して示すという観察に基づき、到着するフレームのトークンを積極的に調整する、追加学習不要の方法RegVGGTを提案する。 各フレームのトークンのうち、最大1%だけを文脈メモリの更新に採用することで、ストリームが進んでもメモリ増加を大幅に抑える。FlashAttentionに対応したトークン顕著度の推定方式を備え、一般消費者向けGPU上で数千フレームを処理しつつ、再構成品質の低下をわずかに抑えられる。多様なフィードフォワード型再構成モデルの予測課題にまたがる長時間ベンチマークの広範な実験では、従来の同種のストリーム再構成手法を大きく上回り、最先端の性能を達成したとしている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
3D reconstruction from a lengthy video stream input poses a dilemma for feed-forward reconstruction models (FFRMs), that a whole-stream inference context cannot be retained under limited GPU memory.Recent studies seek to resolve this problem via a trade-off between the integrity of inference context and GPU memory usage, which either suffer from a rapid memory inflation or degraded context integrity due to artificially capping memory usage.Driven by our key observation that the initial saliency of a token reliably dictates its long-term importance across the stream, we propose RegVGGT, a training-free token regulation method which aggressively regulates the tokens of incoming frames.By admitting at most 1% of tokens per frame to update the context memory, our method dramatically suppresses memory inflation as the stream progresses.Equipped with a FlashAttention-compatible token saliency estimation scheme, RegVGGT is capable of processing thousands of frames on a consumer-grade GPU with negligible compromise to reconstruction quality.Extensive experiments demonstrate that RegVGGT achieves state-of-the-art performance on long-horizon benchmarks across diverse FFRM prediction tasks, surpassing prior FFRM-based stream reconstruction baselines by a large margin.
著者のコメント
ECCV 2026. Corresponding author is Junjun Jiang
arXiv ID: 2609.23286 ／ 要約の誤りについて