新しいウェブデータでLLMの知識を更新する継続事前学習
Time-Incremental Continued Pretraining of LLMs: Knowledge Updates Without Catastrophic Forgetting
この論文をやさしく読む
ひとことで言うと
モデルを最初から作り直さず、知識期限後のウェブ資料を追加学習して、新しい知識と元の能力を両立できるかを調べます。
何に役立つ？
更新用データの質、学習率、LoRAのランク、追加の調整方法を検討する際の参考になります。
この研究の面白いところ
現実のウェブ更新ではURLが重なることを前提にしています。少量でも選別したデータが大量データに匹敵し、知識と一般能力で最適学習率が異なります。
どこまで分かった？
「代償がほぼない」は13課題の能力指標の変化についてで、計算費用が無料という意味ではありません。6モデルの設定での結果であり、DPO後の効果も系列によって異なります。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
大規模言語モデルは事前学習が終わった瞬間から古くなっていくが、ゼロからの再学習は費用が大きすぎる。継続事前学習（CPT）は自然な対処法だが、通常はデータ列が互いに重ならないと仮定する継続学習の観点から評価される。この仮定は、設計上、連続するスナップショットに多くのURLの重複があるウェブ規模の収集データでの時系列的な更新に適さない。本研究では現実的なこの設定で、各モデルの知識期限より厳密に後のFineWeb-Eduデータを使うCPTを調べる。OLMo2、Llama-3.1/3.2、Gemma-3-1Bの3系列、10億・30億・70億・80億パラメータの4規模にまたがる、公開重みの6モデルで評価する。 結果を四つの実務的な問いで整理する。（i）知識は獲得されるか。効果には差があるが獲得され、破滅的忘却は起きない。6モデル中5モデルでは期限前の事実の想起も改善し、改善は、主としてパラメータ当たりのトークン予算に左右される事前学習の飽和度に対応する。（ii）代償は何か。ほぼない。13課題のマクロ平均は、すべてのモデルで元のモデルとの差が0.01以内に収まる。（iii）有効な設定は何か。量よりデータの質が支配的であり、選別した60億トークンの部分集合が、より広い400億トークンに匹敵する。知識獲得と一般能力に最適な学習率は約1桁異なり、十分なランクのLoRAは全面的なCPTに匹敵する。（iv）利用段階でも効果は残るか。CPTの改善はSFTを通じて引き継がれる一方、DPOの効果はモデル系列によって異なる。これらは、従来の継続学習文献が示唆するより、時系列更新のCPTについて楽観的な見通しを与える。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-20（UTC）
- 最新改訂
- 2026-09-20 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-20 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Large language models (LLMs) drift out of date the moment their pretraining ends, yet retraining from scratch is prohibitively expensive. Continued pretraining (CPT) is the natural remedy, but it is typically evaluated through a continual learning lens that assumes disjoint data streams. This is a poor fit for time-incremental updates on web-scale crawls, where successive snapshots share substantial URL overlap by design. We study time-incremental CPT in this realistic regime: continued pretraining on FineWeb-Edu dumps drawn strictly from after each model's knowledge cutoff, evaluated across six open-weight models spanning three families (OLMo2, Llama-3.1/3.2, Gemma-3-1B) and four parameter scales (1B-3B-7B-8B). We organize our findings around four practical questions. (i) Is knowledge acquired? Yes, but heterogeneously, and without catastrophic forgetting: five of six models also improve on pre-cutoff factual recall, and the gains track pretraining saturation (driven primarily by token budget per parameter). (ii) What does it cost? Almost nothing: the macro-average across a thirteen-task suite stays within 0.01 of the base for every model. (iii) What is the recipe? Data quality dominates quantity (a curated 6B-token slice matches a broader 40B one); the optima for knowledge acquisition and general capability are separated by roughly an order of magnitude in learning rate; and LoRA at sufficient rank matches full CPT. (iv) Does it survive deployment? CPT gains transfer through SFT, while DPO's effect is family-dependent. Together, these results paint a more optimistic picture of time-incremental CPT than the prior continual learning literature suggests.
著者のコメント
Preprint
arXiv ID: 2609.23916 ／ 要約の誤りについて