追加学習なしで映像の一部を精密に編集するEdit-VAR
Edit-VAR: Taming Visual Autoregressive Model for Precise Video Editing
この論文をやさしく読む
ひとことで言うと
文章で動画の一部を変える際、変えたい場所は十分に変更し、それ以外の見た目や動きは保つ方法です。学習済みモデルを使い、追加学習や元映像の生成軌道の逆算を必要としません。
何に役立つ？
映像の一部分だけを指示に沿って変更する制作支援への利用が考えられます。要旨では既存の追加学習不要の手法との実験比較と、手法を伏せたユーザー評価を報告しています。
この研究の面白いところ
映像を異なる細かさのトークンに分け、編集に関係する場所と生成段階でだけ保存制約を緩めます。細部の生成と最終段階のトークン削減を組み合わせ、品質と推論コストの双方を扱っています。
どこまで分かった？
要旨には具体的な評価値、ユーザー調査の人数、動画の長さや解像度の条件は示されていません。『初』という位置付けと総合的な優位性は著者の報告であり、すべての動画や編集指示に対する保証ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
テキスト指示による動画編集は、変更しない領域の見た目と時間的一貫性を保ちながら、対象の内容を変える。学習を伴う手法は強い制御力を持つが、多くのデータと計算を必要とする。追加学習を必要としない手法には、逆変換を使わない方式と、逆変換に基づく方式がある。逆変換なしの方式は生成軌道の復元を避けられるが、元の映像を保つための誘導が編集の強さを制限し、意味的な変更を不完全にすることがある。逆変換に基づく方式は再生成前に潜在軌道を復元するが、近似誤差が蓄積し、元の内容からのずれや時間的な不整合を引き起こす場合がある。 本研究では、学習済みの視覚自己回帰型動画モデルを用いる、テキスト指示による動画編集のための初の追加学習不要・逆変換不要の枠組みとしてEdit-VARを提案する。Edit-VARは元動画を複数スケールの離散トークンへ直接符号化し、元の内容を保つため、確率に誘導された条件付きトークン置換を行う。注意機構で誘導するトークン単位かつスケールを考慮した調整によって、編集に関係する位置と生成段階で、元の内容を保つ制約を選択的に緩める。 後段スケールでの制約解除として実装するScale-Decoupled Generationは、動きと整合した細部を再生成し、テクスチャーの断片化を減らす。残差に基づくトークン削減は、最後の二つの高解像度スケールの冗長性をさらに利用して、推論コストを下げる。広範な実験とブラインドのユーザー調査により、Edit-VARが既存の追加学習不要の動画編集手法を、編集の忠実度、元映像の保持、時間的一貫性、推論効率の面で総合的に上回ることを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-18（UTC）
- 最新改訂
- 2026-09-18 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-18 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Text-guided video editing modifies target content while preserving the appearance and temporal coherence of unedited regions. Training-based approaches provide strong control but demand substantial data and computation. Training-free methods fall into inversion-free and inversion-based paradigms. Inversion-free approaches avoid trajectory recovery, but their source-preserving guidance can limit editing strength and leave semantic changes incomplete. Inversion-based approaches recover a latent trajectory before regeneration, where approximation errors can accumulate and cause source-content drift and temporal inconsistency. We introduce Edit-VAR, the first training-free and inversion-free framework for text-guided video editing with a pretrained visual autoregressive video model. Edit-VAR directly encodes the source video into multi-scale discrete tokens and performs probability-guided conditional token replacement for source preservation. Attention-guided token-wise and scale-aware modulation selectively relaxes source constraints over edit-relevant positions and generation stages. Scale-Decoupled Generation, implemented as late-scale constraint release, regenerates motion-consistent details and reduces texture fragmentation. Residual-guided token pruning further exploits redundancy at the final two high-resolution scales to reduce inference cost. Extensive experiments and a blind user study demonstrate that Edit-VAR outperforms existing training-free video editing methods overall in editing fidelity, source preservation, temporal coherence, and inference efficiency.
著者のコメント
Project page: https://chongbozhao3-coder.github.io/Edit-VAR. Code: https://github.com/chongbozhao3-coder/Edit-VAR
arXiv ID: 2609.21268 ／ 要約の誤りについて