継続学習の性能を左右する最適化手法の更新方向
Muon Can Outperform Dedicated Continual Learning Methods
この論文をやさしく読む
ひとことで言うと
以前のタスクを忘れにくくする専用の仕組みがなくても、重みの更新方向を整える最適化手法で同等以上の結果を得られる場合があると示しています。
何に役立つ？
継続学習の手法を評価する際、専用の損失関数だけでなく最適化手法も比較すべきだと分かります。要旨の結果はLoRAを使った二つのベンチマークでの実験です。
この研究の面白いところ
更新量の大小ではなく、更新が何個の方向へ分散しているかに注目しています。制約を二重にかけると、かえって新しいタスクに適応しにくくなる例も報告しています。
どこまで分かった？
どんな継続学習でもMuonが優れるという結果ではありません。Standard CLでは専用手法と同程度、TRACEでは比較したAdamW設定を上回ったという範囲の報告です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
低ランクアダプター（LoRA）による継続学習では、通常、新しい更新と過去に蓄積した重みとの重なりに罰則を課すことで忘却を抑える。これは特定の更新方向を避けさせるが、残された方向へ更新のエネルギーをどう配分するかは制御しない。本研究では、この制約がタスクを考慮する必要があるのか、それとも最適化手法が与える汎用的な制約で十分なのかを問う。 各更新を直交化するMuonを用いて、単純な増分LoRA（IncLoRA）を学習し、Standard CL Benchmarkでは5種類の乱数シードと3通りのタスク順序、TRACEでは3種類のシードを用いてO-LoRAおよびELLAと比較する。IncLoRA+MuonはStandard CLで専用手法と同程度の正解率帯に達し、TRACEではすべてのAdamW設定を上回る。更新を制約する仕組みは、損失関数に由来するか最適化手法に由来するかにかかわらず、一つで十分である。Standard CLでは二つ目の制約を加えても改善せず、最も制約の強い手法では正解率が8.4ポイント低下し、各タスクに適合するための可塑性も失われる。 二つの最適化手法を分けるのは更新の大きさではない。Muonの更新の大きさはAdamWの0.91～2.06倍であり、違いはその分布にある。AdamWは更新を実効的に1.4～1.8個の特異方向へ集中させるのに対し、Muonは7.0個へ分散させ、追跡したどの実行でも両者の範囲は重ならない。したがって、通常は継続学習専用手法に帰される優位性の一部は、最適化手法の更新の幾何学によって説明できる可能性がある。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Continual learning with Low-Rank Adapters (LoRA) typically mitigates forgetting by penalizing the overlap between a new update and the accumulated past weights, which discourages certain update directions without controlling how an update distributes its energy over the ones that remain. We ask whether that restriction has to be task-aware, or whether a generic one supplied by the optimizer is enough. We train a plain incremental LoRA (IncLoRA) with Muon, which orthogonalizes each update, and compare it against O-LoRA and ELLA over five seeds and three task orders on the Standard CL Benchmark and three seeds on TRACE. IncLoRA+Muon reaches the accuracy band of the dedicated methods on Standard CL and improves on every AdamW configuration on TRACE. One update-constraining mechanism is enough, whether it comes from the loss or from the optimizer; on Standard CL a second one does not help, and for the most restrictive method it costs 8.4 points of accuracy and the plasticity to fit each task. What separates the two optimizers is not the size of the update, which under Muon is 0.91 to 2.06 times that under AdamW, but how it is distributed. AdamW confines it to between 1.4 and 1.8 effective singular directions, Muon spreads it over 7.0, and the two do not overlap in any tracked run. Part of the advantage usually attributed to dedicated CL methods may therefore be explained by the geometry of the optimizer's updates.
著者のコメント
10 pages, 2 figures, 6 tables. Presented at the 5th Conference on Lifelong Learning Agents (CoLLAs), Work-in-Progress Track, 2026. Sebastian George Sincari and Bogdan Alexandru Gheorghe contributed equally
arXiv ID: 2609.24678 ／ 要約の誤りについて