既存の動画生成モデルを逐次動画編集へ適応
Streaming Video Editing with Easy Adaptation
この論文をやさしく読む
ひとことで言うと
前後のフレームをまとめて扱う動画生成モデルを、動画を順番に受け取りながら編集する処理へ適応させる研究です。編集内容の制御と、未来の情報を使わない処理を両立させます。
何に役立つ?
考えられる用途は、逐次入力される動画の編集です。既存の事前学習モデルで得た知識を、構造の異なるストリーミングモデルへ移すための設計にも役立ちます。
この研究の面白いところ
入力動画の特徴を補助分岐で作り、基盤モデルに渡す仕組みと、2つの学習方向を直交させる仕組みを組み合わせています。制御と因果性の干渉を学習段階で抑える構成です。
どこまで分かった?
15 FPSは単一H100 GPUでの報告値で、要旨には動画の解像度や遅延の内訳はありません。原文のGPU表記の直後には用途不明の「17」がありますが、17台という意味とは扱っていません。リアルタイム性を一般的な端末すべてで実証したものではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
本論文では、事前学習済みの双方向動画拡散モデル上で学習するだけで、自己回帰方式による高品質なストリーミング動画編集を可能にする枠組みSVEETを提案する。この課題に取り組むため、既存の動画から動画への拡散手法を体系的に再検討し、逐次処理への適応に必要な2つの原則として、基盤モデルの特徴の分離と、条件付きフレーム独立性を特定する。 これらの知見に基づき、制御可能な動画生成の新しい方式を開発する。その中心となる補助モデルの分岐は、時間方向に独立した自己注意を用いて入力元の動画を符号化し、中間特徴を基盤モデルの対応するブロックに注入することで、ストリーミング処理に適合する制御を行う。さらに、双方向モデルとストリーミングモデルの特徴空間の違いを埋めるため、動画の制御可能性とモデルの因果性という2つの最適化方向の直交性を明示的に課す、分離した学習方式を提案する。この分離によって、推論時に2つの目的が両立し、異なる基盤アーキテクチャ間で円滑なゼロショット知識転移が可能になる。 広範な実験により、SVEETはリアルタイム性能を保ちながら優れた編集品質を実現し、補助的な高速化手法を用いずに単一のH100 GPUで15 FPSに達することを示す。コードは https://github.com/YujiaHu1109/SVEET で公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21(UTC)
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
In this paper, we propose SVEET, a framework that requires merely training on a pretrained bidirectional video diffusion model but supports high-quality streaming video editing in an auto-regressive fashion. To tackle this problem, we first systematically revisit existing video-to-video diffusion approaches and identify two key principles for such streaming adaptation: backbone feature disentanglement and conditional frame independence. Building on these insights, we develop a novel paradigm for controllable video generation. At its core, an auxiliary model branch encodes source video inputs with temporally independent self-attention, and the intermediate features are injected into the corresponding backbone blocks for streaming-compatible control. Moreover, to bridge the discrepancy between the feature spaces of bidirectional and streaming models, we propose a decoupled training scheme that explicitly enforces the orthogonality between the optimization directions of video controllability and model causality. Such disentanglement ensures compatibility between the two objectives at inference and facilitates smooth zero-shot knowledge transfer across heterogeneous backbone architectures. Extensive experiments demonstrate that SVEET achieves superior editing quality while maintaining real-time performance, attaining 15 FPS on a single H100 GPU 17 without any auxiliary acceleration techniques. Codes are available at https://github.com/YujiaHu1109/SVEET.
arXiv ID: 2609.24788 / 要約の誤りについて