arXiv論文メモ
新着一覧
stat.ML / cs.LG · 査読状況未確認

確率的固定点反復の標本計算量を改善する

Stochastic Inertial Krasnosel'skii-Mann Iteration Achieves Near-Optimal Sample Complexity

Tong Yang, Tao Jiang, Yuejie Chi, Ashok Cutkosky, Lin Xiao

この論文をやさしく読む

ひとことで言うと

固定点を求める反復法に慣性外挿を加え、ノイズやバイアスがある場合と正確な場合の収束保証を示した。

何に役立つ?

非拡大作用素の固定点を数値的に求める方法の選択や理論比較に役立つ。要旨は具体的な応用問題での実行時間を示していない。

この研究の面白いところ

更新ごとのオラクル呼び出しを1回に保ちながら、確率的条件では下限に対数因子まで近い標本計算量、正確な条件では最悪時に最適な最後の反復点の収束率を証明した。

どこまで分かった?

O(ε⁻²)の保証には累積バイアスB_K=O(√K)などの条件がある。標本計算量の下限との比較は不偏な部分クラスに基づく。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

実ヒルベルト空間の非拡大作用素の固定点を求めるため、単純な確率的慣性付きKrasnosel’skii–Mann(iKM)法を解析する。この方法は、既存の確率的KM法に2つの慣性外挿を加えるだけで得られ、更新ごとにバイアスを含む場合もある確率的オラクルを1回呼び出す構成を保つ。同時に、確率的な場合と決定論的な場合の双方で鋭い収束率を達成する。 提案するパラメータの設定に対し、最後の反復点の固定点残差がO(1/K+σ log K/√K+B_K log K/K)で抑えられることを証明する。ここでKは反復回数、σはノイズ水準、B_Kは累積した二乗平均平方根バイアスである。B_K=O(√K)なら、標本計算量は対数因子を除いてO(ε⁻²)となり、このモデルの不偏な部分クラスについて知られる確率的オラクルの下限に、対数因子を除いて一致する。また、従来の確率的KM法について知られる、無作為に選んだ反復点でのO(ε⁻⁴)という最良の保証を改善する。著者らの知る限り、一般の非拡大固定点問題で、分散削減やバッチ処理を使わず、このほぼ最適な標本計算量を達成する初めての単一ループ法である。オラクルが正確な場合は、同じ方法で最後の反復点の残差が最悪の場合にも最適なO(K⁻¹)の速さで減り、古典的なKM法のO(K⁻¹ᐟ²)を改善する。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-22(UTC)
最新改訂
2026-09-22 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

We analyze a simple stochastic inertial Krasnosel'skii--Mann (iKM) method for finding a fixed point of a nonexpansive operator in a real Hilbert space. Our method is obtained simply by adding two inertial extrapolations to stochastic KM [Bravo and Cominetti, 2024], and it retains one call to a possibly biased stochastic oracle per update and achieves sharp rates in both the stochastic and deterministic regimes. Specifically, with our proposed parameter schedule, we prove the following last-iterate fixed-point residual bound: \[ {O}\!\left(\frac{1}{K} +\frac{\sigma\log K}{\sqrt K} +\frac{B_K\log K}{K}\right), \] where $K$ is the horizon, $\sigma$ is the noise level and $B_K$ is the accumulated root-mean-square bias. When $B_K=O(\sqrt K)$, this yields $\widetilde O(\epsilon^{-2})$ sample complexity that matches, up to a logarithmic factor, the stochastic-oracle lower bound given under the unbiased subclass of our model [Foster et al., 2019, Theorem 2]. It also improves the best-known $O(\epsilon^{-4})$ random-iterate guarantee for stochastic KM [Bravo and Cominetti, 2024, Corollary 5.4]. To our knowledge, this is the first single-loop method for general nonexpansive fixed-point problems to attain this near-optimal sample complexity without variance reduction or batching. When the oracle is exact, the same method attains the worst-case-optimal $O(K^{-1})$ last-iterate residual rate [Park and Ryu, 2022, Theorem 4.6], improving the $O(K^{-1/2})$ rate of classical KM [Cominetti et al., 2014; Bravo and Cominetti, 2018].

arXiv ID: 2609.28543 / 要約の誤りについて