arXiv論文メモ
新着一覧
cs.LG / cs.AI / stat.ML · 査読状況未確認

クラスを再学習する間隔を抑える反復再生方式

Beyond Class Marginals: Bounding Rehearsal Gaps without Freezing Class Co-occurrence

Congren Dai, Nat Roongjirarat, Fei Ye

この論文をやさしく読む

ひとことで言うと

過去のクラスを再学習するとき、出現頻度だけでなく、次に見るまでの最大間隔を制御した研究。

何に役立つ?

新しいクラスを順に学ぶモデルで、過去クラスの忘却を抑える再生スケジュールの設計に役立つ。

この研究の面白いところ

事例や順伝播を増やさず間隔に上界を付け、主なER-ACE実験では最終平均正解率を0.72~1.67ポイント上げた。

どこまで分かった?

大きな再生バッチでは実質的な効果がなく、比較実験も間隔の長さだけの効果を完全には切り分けていない。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

クラスの出現頻度を均等にする再生学習でも、同じクラスが次に再生されるまでの間隔は決まらない。本研究は、この再学習の間隔を、クラスごとの出現割合やクラス同士の共起とは別に調べる。そして、常駐する各クラスを、シャッフルした各巡回で一度ずつ訪れるランダム巡回再生(RPR)を導入する。常駐クラスが固定されたC種類で、再生バッチの大きさbがC以下なら、RPRは時間平均の均等なクラス出現割合を保ち、どの間隔も2×ceil(C/b)−1以下に抑える。常駐クラスが変化する場合にも条件付きの上界を与える。このスケジューラーは将来のクラス情報を使わず、再生事例や順伝播の回数も増やさない。線形分類器を持つER-ACEの診断では、入力と再生の両方のバッチにクラスが現れないと、分類器のバイアスには一方向の勾配が生じた。不在期間が長いほど負方向へのバイアス変位が大きい傾向があり、入力側の損失マスクを取り除くとスケジュールの効果は弱まった。主なER-ACE実験では、貯蔵庫方式の保存の下で、RPRは独立にクラスを均等に取り出す方式より最終平均正解率を0.72~1.67ポイント改善し、均等保存でも正の効果があった。事前学習済みの視覚Transformerでは、試験したLT10データの流れと小さい再生バッチで改善した一方、条件を合わせた大きなバッチでは実質的な効果がなかった。固定周期や巡回の再利用による比較では、時間的な統計量が複数変わるため、実験では再学習間隔の長さだけを他の時間的依存から切り離していない。正解率への効果は学習器と運用条件に依存する。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-22(UTC)
最新改訂
2026-09-22 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Class-balanced replay controls class frequency but does not determine the interval between successive replay appearances of a class. We study this interval, the rehearsal gap, separately from the class marginal and class co-occurrence, and introduce randomised-pass replay (RPR), which visits each resident class once per shuffled pass. For a fixed set of C resident classes and replay batch size b less than or equal to C, RPR preserves the balanced time-averaged class marginal and bounds every gap by 2*ceil(C/b)-1; a churn-conditional bound applies while the resident set changes. The scheduler uses no future class information and adds no replay examples or forward passes. In a linear-head ER-ACE diagnostic, joint absence from the incoming and replay batches produces a one-sided classifier-bias gradient. Longer absence episodes are associated with larger negative bias displacement, and removing the incoming-loss mask attenuates the scheduling effect. In the primary ER-ACE experiments, RPR improves final average accuracy by 0.72-1.67 percentage points relative to independent class-balanced retrieval under reservoir storage, with positive effects also observed under balanced storage. Pretrained ViTs show positive effects on the tested LT10 streams with small replay batches, while matched larger-batch controls show no material effect. Fixed-cycle and reused-pass controls change more than one temporal statistic, so the experiments do not isolate rehearsal-gap length from all other forms of temporal dependence. The accuracy effects depend on the learner and operating regime.

arXiv ID: 2609.25735 / 要約の誤りについて