階層的な離散表現を作る双曲空間の残差量子化
Geometry-Aware Hyperbolic Residual Quantization
この論文をやさしく読む
ひとことで言うと
階層構造を持つデータを離散的な符号へ変えるため、双曲空間での残差量子化の計算と学習を安定させた研究。
何に役立つ？
階層的予測や推薦など、符号の階層関係が重要な用途で表現方法を選ぶ際に参考になる。圧縮率だけを重視する用途には別の方法が向く。
この研究の面白いところ
順伝播の残差集約と逆伝播の勾配推定の両方を双曲幾何に合わせて修正し、構造の改善と圧縮性能のトレードオフを明示している。
どこまで分かった？
要旨の比較は単純な双曲空間の基準手法に対する安定性・構造の改善であり、純粋な圧縮ではユークリッド方式が優れると報告する。具体的な性能値は記載されていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
残差ベクトル量子化は連続的な表現を、複数の段階を持つ離散トークン列に変える。しかし、得られる符号の粗から細への構造や多くのデータ領域にある潜在的な階層構造にもかかわらず、大半の方法はユークリッド空間で動作する。双曲幾何は階層的表現の自然な選択肢だが、単純に双曲空間へ拡張すると幾何学的な不整合が生じる。双曲加算には結合律がないため残差を一貫して集約できず、通常のストレートスルー勾配推定は潜在空間の幾何を無視する。 本研究は、順伝播と逆伝播の双方でこうした問題に対処する、幾何を考慮した双曲残差量子化を提案する。順伝播では、双曲残差集約によってポアンカレ球上で残差量子化の望遠鏡和の性質を回復する。逆伝播では、割引付き双曲ストレートスルー推定器が量子化器全体を一つの幾何学的ブロックとして再構成勾配を通し、残差の各段階で再帰的に勾配を運ぶ際の不安定さを避ける。階層的予測、推薦、画像のトークン化、ニューラル音声符号化で評価した結果、単純な双曲空間の基準手法と比べて双曲残差符号の安定性と構造的なまとまりが改善した。一方で、構造と圧縮の間には明確なトレードオフがある。純粋な圧縮にはユークリッド残差量子化がなお適し、幾何を考慮した双曲量子化は階層構造を持つ離散潜在空間に最も有用である。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Residual Vector Quantization turns continuous representations into discrete, multi-level token sequences. Yet most methods operate in Euclidean space, despite the coarse-to-fine structure of the resulting codes and the latent hierarchies present in many data domains. Hyperbolic geometry offers a natural alternative for hierarchical representations, but naive hyperbolic extensions introduce geometric inconsistencies: non-associative hyperbolic addition prevents consistent residual aggregation, while standard straight-through gradient estimation ignores the geometry of the latent space. We propose a geometry-aware hyperbolic residual quantization that addresses these issues in both the forward and backward passes. In the forward pass, Hyperbolic Residual Aggregation restores the telescoping behavior of residual quantization on the Poincare ball. In the backward pass, a discounted Hyperbolic Straight-Through Estimator routes the reconstruction gradient through the quantizer as a single geometric block, avoiding unstable recursive gradient transport across residual stages. Evaluations on hierarchical prediction, recommendation, image tokenization, and neural audio coding tasks show that our method improves the stability and structural organization of hyperbolic residual codes over naive hyperbolic baselines. At the same time, we observe a clear structure-compression trade-off: Euclidean residual quantization remains preferable for pure compression, while geometry-aware hyperbolic quantization is most useful for hierarchically organized discrete latent spaces.
著者のコメント
14-page main paper (30 pages total with references and appendix), 3 figures, 8 tables. Accepted at the Beyond Euclidean Workshop, ECCV 2026 (Oral)
arXiv ID: 2609.26342 ／ 要約の誤りについて