動画の解像度に合わせやすいニューラル復号器
Resolution-Flexible Decoding for Hybrid Neural Video Representations
この論文をやさしく読む
ひとことで言うと
動画をニューラルネットワークで表す際、出力の縦横サイズに合わせて、2倍ずつ拡大する復号処理を組み立てる方法です。
何に役立つ？
解像度ごとに大きな拡大倍率を設定する必要を減らし、異なる動画サイズやモデルで復号器を構成するために役立つと考えられます。
この研究の面白いところ
最終解像度から途中のサイズを逆算し、端数は小さな余白追加や切取りで調整します。難しいフレームを考慮した学習時のサンプリングも組み合わせています。
どこまで分かった？
要旨に示される評価はUVGでの再構成品質改善です。圧縮率、再生速度、他データセットへの性能、改善量の具体値は要旨に示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ニューラル動画表現（NVR）は、ニューラルネットワークのパラメータと、ハイブリッド型の場合にはフレームごとの潜在埋込みを使って動画を表す。ハイブリッドNVRは、内容に適応した潜在埋込みにより再構成品質を改善できるが、潜在表現の空間サイズと復号器のアップサンプリング構成が、目標フレームの解像度に結び付いている。高解像度動画では、この依存によって大きく不均一な拡大倍率が必要になる場合があり、潜在埋込みと復号器の間のパラメータ配分にも影響し得る。 本論文では、ハイブリッドNVR向けに解像度へ柔軟に対応する復号器の枠組みを提案する。復号器を一律2倍のアップサンプリング段階で構成し、各段階の目標特徴サイズは最終出力解像度から逆向きにたどって求める。各アップサンプリングの後、必要な場合に最小限のパディングまたは切取りを行い、特徴マップを目標サイズへ揃える。 この段階的な復号を支えるため、中間段階での再構成の教師信号と、最近のフレーム別損失に基づき再構成の難しさを考慮するフレームサンプリング戦略も用いる。この枠組みはハイブリッドNVRの基本的な表現形式を維持するため、異なるバックボーンへ適用できる。UVGデータセットでの実験は、対応するNVRベースラインと比べて再構成品質が向上することを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Neural video representations (NVRs) represent videos using neural network parameters and, in hybrid formulations, frame-wise latent embeddings. Although hybrid NVRs can improve reconstruction quality by using content-adaptive latent embeddings, their latent spatial sizes and decoder upsampling schedules are tied to the target frame resolution. For high-resolution videos, this dependency may require large and non-uniform upsampling factors and can affect the parameter allocation between the latent embeddings and the decoder. In this paper, we propose a resolution-flexible decoder framework for hybrid NVRs. The decoder is constructed from uniform \(2\times\) upsampling stages, whose target feature sizes are obtained by tracing the spatial resolution backward from the final output resolution. After each upsampling stage, the feature map is aligned with the target size by minimal padding or cropping when necessary. To support this progressive decoding process, we further use intermediate reconstruction supervision and a reconstruction-difficulty-aware frame sampling strategy based on recent frame-wise losses. The framework preserves the basic representation format of hybrid NVRs and can therefore be applied to different backbones. Experiments on the UVG dataset show that the proposed approach improves reconstruction quality over the corresponding NVR baselines.
著者のコメント
Accepted to VCIP 2026
arXiv ID: 2609.23555 ／ 要約の誤りについて