少ない環境相互作用でLQR方策勾配の高確率収束を保証
(Cheap) Stochastic Policy Gradient Converges with High Probability for Linear Quadratic Regulator
この論文をやさしく読む
ひとことで言うと
線形システムを二次の費用で制御するLQR問題で、毎回少ない環境とのやり取りでも確率的方策勾配法が高確率で収束することを解析しています。
何に役立つ？
方策を細かく更新しながら学ぶモデルフリー制御の理論設計に役立ちます。必要な相互作用数を、目標精度と失敗確率から見積もる保証です。
この研究の面白いところ
各反復の相互作用を対数因子を除いて定数程度にしながら、全体では精度の逆数と失敗確率の逆数の多重対数に応じた回数で安定性と収束を保証します。
どこまで分かった？
対象はLQRであり、一般の非線形制御での保証ではありません。解析がより広い問題へ使える可能性は述べられていますが、要旨ではその拡張が実証済みとはされていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
線形二次レギュレータ（LQR）問題に適用した、基本的な確率的方策勾配法の収束を研究する。この方法は、次の二つの意味で低コストである。（1）各反復で必要な環境との相互作用はÕ(1)回だけであり、方策の改善を頻繁に行える。（2）全過程を通じた安定性と、確率1−δでε最適な方策へ収束することを保証するために必要な相互作用は、O(Polylog(1/δ)/ε)回だけである。 著者らの知る限り、LQRに対する確率的なモデルフリー方策最適化法が、反復あたりÕ(1)の計算と、信頼水準への多重対数的な依存性で、高確率に収束することを示したのは、これが初めてとみられる。ここで示す収束解析はLQR特有の性質に依存しないため、より広いクラスの問題へ一般化できる可能性がある。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We study the convergence of the vanilla stochastic policy gradient method applied to the linear quadratic regulator (LQR) problem. The method is cheap in the following sense: (1) at each iteration only $\tilde{O}(1)$ interactions with the environment are needed, therefore allowing frequent policy improvement steps, and (2) to ensure stability throughout and convergence to an $\epsilon$-optimal policy with probability $1-\delta$, only $O(\mathtt{Polylog}(1/\delta)/\epsilon)$ interactions are needed. To the best of our knowledge, this appears to be the first time that a stochastic model-free policy optimization method for LQR converges with high probability with $\tilde{O}(1)$ per-iteration computation and polylogarithmic dependence on the confidence level. The convergence analysis presented here is agnostic to LQR specifics and hence could be potentially generalized to a broader class of problems.
arXiv ID: 2609.19712 ／ 要約の誤りについて