遠いフレームの影響を減らして長い動画を安定生成
Recency Forcing: Bridging the Long-Horizon Gap in Autoregressive Video Generation
この論文をやさしく読む
ひとことで言うと
長い動画を生成するとき、古いフレームが記憶から消える影響を小さくするよう注意の重みを調整する方法です。
何に役立つ?
限られたメモリで長時間の動画品質を保つ生成モデルの設計に役立ちます。短い学習時と長い生成時の文脈の違いに着目します。
この研究の面白いところ
古い文脈をいきなり切る代わりに、時間差とノイズ除去段階に応じて徐々に影響を弱めます。厳密な再表現によって標準のFlashAttentionで処理できる形にします。
どこまで分かった?
VBenchとVBench-Longで長期生成品質の改善を報告しています。推論費用の追加なしという主張で、学習不要版と学習版がありますが、要旨には個別スコアはありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自己回帰(AR)動画生成は、長時間にわたると品質が低下する。その原因として、本研究は見過ごされてきた学習時と推論時の不一致を挙げ、「KV削除ミスマッチ」と呼ぶ。モデルは、すべての文脈フレームがKVキャッシュ内にある短いクリップで学習する一方、推論時にはメモリ制約によって遠いフレームをKVキャッシュから削除しなければならず、モデルが条件付けられていた文脈が失われる。 文脈の切り詰めによって削除を模擬すると、モデルがまだ必要とする時間的情報を捨ててしまい、動きの一貫性が低下する。そこで本研究では、文脈を保ちながら遠いフレームの影響を徐々に減らし、最終的に削除されても影響が無視できるようにする。この設計の指針として、摂動に基づく感度指標である位置応答R(Δ,t_denoise)を導入する。これにより、文脈の影響は時間的距離とともに急激に減衰し、ノイズ除去の段階に応じて体系的に変化することが明らかになる。 この解析を動機として、Recency Forcingを提案する。Rから直接導いた、時間ステップに依存する非正のバイアス「時間応答バイアス(TRB)」を、softmax前の注意ロジットに適用する。文脈長や学習目的を変更せず、学習と推論の差を埋める。さらに、バイアスをsoftmaxの外へ移す厳密な式変形である「バイアス付き注意の再パラメータ化(BAR)」を導入する。これによりTRBを通常のFlashAttention呼び出しで実現し、追加の計算負荷をゼロにする。 Recency Forcingは、追加学習を行わない方式と、学習を用いる方式の両方で動作する。VBenchとVBench-Longでの実験は、追加の推論コストなしに最先端の長時間動画生成品質を示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17(UTC)
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Autoregressive (AR) video generation degrades over long horizons due to an overlooked train-inference discrepancy we term KV eviction mismatch: models train on short clips where all context frames reside in the KV cache, but at inference, memory constraints force distant frames to be evicted from the KV cache - removing context the model was conditioned on. Rather than simulating eviction via context truncation - which discards temporal information the model still needs and degrades motion coherence - we keep the context but while progressively reducing the influence of distant frames, making their eventual eviction negligible. To guide this design, we introduce the positional response $R( \Delta, \, t_{\text{denoise}})$, a perturbation-based sensitivity measure revealing that context influence decays steeply with temporal distance and varies systematically across denoising steps. Motivated by this analysis, we propose Recency Forcing, which applies a non-positive, timestep-dependent bias, termed Temporal Response Bias (TRB), on pre-softmax attention logits derived directly from $R$, closing the train-inference gap without modifying context length or training objectives. We further introduce Biased Attention Reparameterization (BAR), an exact reformulation that moves the bias outside the softmax, making TRB a standard FlashAttention call at zero overhead. Recency Forcing operates in both training-free mode and training-based mode. Experiments on VBench and VBench-Long demonstrate state-of-the-art long-horizon generation quality at no additional inference cost.
arXiv ID: 2609.19729 / 要約の誤りについて