動画をニューラルネットワークに記録する際の更新方法を改善する
DA-Lion: Efficient Neural Video Representation via Direction-Aware Optimization
この論文をやさしく読む
ひとことで言うと
動画をニューラルネットワークの重みに記録する際、学習後半の更新の揺れを抑える最適化手法です。
何に役立つ？
考えられる用途は、暗黙的なニューラル動画表現の再構成品質を、モデル構造や復号処理量を変えずに改善することです。要旨では3データセットでの画質指標の向上が報告されています。
この研究の面白いところ
勾配と過去の更新方向が一致するかを見て、符号による更新と運動量による更新を切り替えます。モデルではなく更新規則だけを変えています。
どこまで分かった？
結果は3データセットと4種類のNeRV系モデルでの実験です。要旨に具体的な画質改善幅は示されず、ほかの動画表現への一般化も分かりません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
暗黙的なニューラル動画表現（NVR）は、特定の動画に過剰適合させたニューラルネットワークのパラメータとして動画を符号化する。この場合、学習データとテストデータは同一で、目的は個別の信号への適合である。決定論的なこの条件では、計算予算を固定したときの最適化の進み方が再構成品質を直接決めるが、既存の方法は確率的勾配学習向けの汎用最適化手法を一律に採用している。Adam系の手法は着実に損失を下げるが収束が遅く、Lionは初期に速く進む一方、勾配の方向が不安定になる後半に大きく振動する。著者らはこの不安定さの原因を、符号に基づく更新が勾配と運動量の向きの一致を考慮しないことに求める。そこでNVR向けのDirection-Aware Lion（DA-Lion）を提案する。勾配と運動量の向きの一致に応じて符号による更新と運動量による更新を切り替える方向一貫性の基準と、学習率を考慮して学習段階間の実効的な更新幅を安定させる大きさの調整を導入した。変更するのはパラメータの更新規則だけで、モデル構造、パラメータ数、浮動小数点演算量、復号時の処理量は維持される。3つのデータセットと4種類のNeRV系基幹モデルでの実験では、すべての基幹モデルで収束の安定性が改善し、PSNRとMS-SSIMも向上した。ソースコードは公開予定だと述べている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-19（UTC）
- 最新改訂
- 2026-09-19 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-19 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Implicit neural video representation (NVR) encodes a video as the parameters of an overfitted neural network, where training and testing data are identical and the objective is instance-specific signal fitting. In this deterministic regime, optimization dynamics directly determine reconstruction quality under a fixed budget, yet existing methods universally adopt general-purpose optimizers designed for stochastic gradient training. Adam-family optimizers descend steadily but converge slowly, while Lion achieves faster early progress but oscillates markedly in later stages when gradient directions become unstable. We trace this instability to the insensitivity of the sign-based update to gradient--momentum alignment. To address this, we propose Direction-Aware Lion (DA-Lion), a task-driven optimizer tailored for NVR. DA-Lion introduces (i) a direction-consistency criterion that switches between sign update and momentum update based on gradient--momentum alignment, and (ii) a learning-rate-aware magnitude modulation that stabilizes effective step sizes across training phases. DA-Lion modifies only the parameter update rule, preserving model architecture, parameter count, FLOPs, and decoding throughput. Experiments on three datasets with four NeRV-family backbones show that DA-Lion improves convergence stability and boosts PSNR/MS-SSIM across all backbones. The source code will be made available at https://github.com/maoqingyu1996/DA-Lion.
著者のコメント
PRCV2026
arXiv ID: 2609.23052 ／ 要約の誤りについて