動画モデルの状態変化を使った記憶の選別
DeltaS: Reading the Gated Linear Attention State for KV Cache Eviction in Streaming Video
この論文をやさしく読む
ひとことで言うと
長い動画を読むモデルの限られた記憶に、どの場面を残すかを、内部状態の変化量から決める方法。
何に役立つ？
長時間動画を処理する際、質問が来る前に保存する場面を選ぶ仕組みの設計に役立つ可能性がある。実証されたのは要旨にある6つのベンチマークでの性能である。
この研究の面白いところ
KVキャッシュとは別に、線形注意側の固定長状態がどれだけ変化したかを選別信号にした。追加学習なしで、指標計算は順方向計算の1.9％と報告されている。
どこまで分かった？
結果は線形注意と全注意を組み合わせたモデル、固定したメモリー予算と保持方針、6つの長時間動画ベンチマークでの比較に基づく。別のモデル構成や実運用全般での性能は要旨からは分からない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
近年の動画と言語を扱うモデルでは、長い文脈を効率的に処理するため、線形注意層と通常の全注意層を交互に組み合わせる構成が増えている。線形注意の再帰的な状態は大きさが一定だが、全注意のKVキャッシュは動画の入力とともに増え続けるため、メモリー上限がある場合は一部を捨てる必要がある。逐次入力では質問が届く前に捨てる対象を決めなければならない。従来の方法は、位置、注意、キーと値の表現を使ってKVキャッシュ自体からトークンの重要度を求める。注意に基づく重要度には、代用の問い合わせや追加計算も必要となる。 ハイブリッド構成には別の手がかりがある。ゲート付きデルタ線形注意では、各入力と現在の状態からすでに取り出せる情報との差によって再帰状態が更新される。このため、動画フレームのまとまりによる状態の変化は、そのまとまりがもたらす新情報の量を反映する。著者らは、正規化した状態変化が大きい動画のまとまりを残す、質問に依存せず追加学習も不要なDeltaSを提案する。 メモリー予算と保持方針を固定した比較では、状態変化を使う指標が、位置、注意、キーと値に基づく指標より優れていた。この指標の計算費用は順方向計算の1.9％であり、6つの長時間動画ベンチマークでは、質問に依存しない固定メモリーの最も強い比較手法を平均2.1ポイント、最長のベンチマークでは5.6ポイント上回った。この結果は、ハイブリッド構成にある2種類の記憶を協調させられることを示唆する。コードは著者らが公開している。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Recent video-language models increasingly adopt hybrid architectures that interleave linear and full attention layers for efficient long-context processing. While the recurrent state of linear attention remains fixed in size, the KV cache of full attention continues to grow with the video stream, making eviction necessary under a bounded memory budget. The key challenge in streaming is that eviction must occur before the question arrives, so what to retain has to be decided without the question. Existing eviction methods derive token scores from the KV cache itself, using position, attention, or key-value representations, and attention-based scores further require proxy queries or extra computation. Hybrid backbones offer another source of signal. In gated-delta linear attention, the recurrent state is updated by the residual between each input and what can already be retrieved from the state, so its change over a chunk of frames reflects how much new information the chunk brings. We propose DeltaS, a query-agnostic, training-free method that retains video chunks inducing larger normalized state change, or state drift. In a controlled comparison with the budget and retention policy held fixed, state drift outperforms position-, attention-, and key-value-based signals. With a signal costing only 1.9% of the forward pass, DeltaS surpasses the strongest query-agnostic bounded-memory baseline by 2.1 points on average across six long-video benchmarks and by 5.6 points on the longest benchmark. These results suggest that the two memories of hybrid architectures can work cooperatively. Code is available at https://github.com/MaumAI-Company/DeltaS.
著者のコメント
15 pages, 8 figures, 6 tables. Code: https://github.com/MaumAI-Company/DeltaS
arXiv ID: 2609.27470 ／ 要約の誤りについて