少数パラメータの直交行列に対する幾何と最適化
Riemannian Structure and Optimization for a Class of Low-Parametric Orthogonal Matrices
この論文をやさしく読む
ひとことで言うと
構造化された直交行列を効率よく最適化するため、リーマン幾何と計算方法を整えた研究。
何に役立つ？
行列近似や言語モデルのパラメータ効率のよい追加学習で、密な行列を作らずに計算する方法として役立つ可能性がある。
この研究の面白いところ
滑らかな多様体になる条件を検討し、2因子の直交行列では自動微分とパラメータ共有を使う実装法まで提案する。
どこまで分かった？
要旨には行列近似や追加学習での数値的な改善幅は示されていない。効率的なアルゴリズムの具体的な結果を他の因子数にまで一般化したとは述べていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
固定した置換を間に挟んだブロック対角因子の積からなる、柔軟な構造化行列の族を扱う。この族は表現力と計算効率の釣り合いから深層学習の構成として近年注目されているが、効率的に計算する方法はまだ十分に見つかっていない。本研究ではリーマン幾何の観点から、どの条件でこの族が滑らかな多様体構造を持つかを調べる。実用上重要な直交2因子行列について、必要なリーマン幾何の道具を導き、それを実装する効率的なアルゴリズムを提案する。このアルゴリズムは自動微分を利用し、各因子内でのパラメータ共有を扱え、密な行列全体を明示的に作らずに済む。リーマン最適化の枠組みで、最良行列近似問題と、大規模言語モデルのパラメータ効率のよい追加学習に適用して試す。さらに2因子の場合を越えて、より多くのブロック対角因子を持つ分解の幾何学的性質と行列理論上の性質も調べる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
In this paper, we are concerned with matrices formed by block-diagonal factors interleaved with fixed permutations -- a flexible family of structured matrices. This class has recently drawn interest in deep learning architectures for its balanced expressivity-efficiency trade-off, yet efficient computational strategies for working with it remain to be found. We approach this problem through Riemannian geometry and examine under what conditions this class admits a smooth manifold structure. For the practically important case of orthogonal two-factor matrices, we derive the essential Riemannian tools and propose efficient algorithms for their implementation. The algorithms leverage automatic differentiation, support parameter sharing within each factor, and avoid explicit dense matrix construction. We test them within the Riemannian optimization framework on the best matrix approximation problem and for parameter-efficient fine-tuning of large language models. Beyond the two-factor setting, we study the geometric and matrix-theoretic properties of factorizations with a larger number of block-diagonal factors.
著者のコメント
37 pages, 2 figures
arXiv ID: 2609.27982 ／ 要約の誤りについて