離散拡散モデルに合う最適化手法を統一条件で比較する
Optimizers for Diffusion Models: A Controlled Benchmark
この論文をやさしく読む
ひとことで言うと
拡散モデルの学習で使う7種類の最適化手法を、4課題で同じ条件にそろえて比較した研究です。
何に役立つ？
拡散モデルを学習するとき、慣例的にAdamWを選ぶ前に、方式に応じた最適化手法を検討する材料になります。公開されたコードで比較を再現できると要旨は述べています。
この研究の面白いところ
自己回帰型モデル向けに検証された手法も、一部の拡散方式では調整済みAdamWを上回りました。勝つ手法が方式ごとに変わる点を、同じ探索手順と3種の乱数種による再学習で確認しています。
どこまで分かった？
結果は記載された4課題と探索・計算予算の条件に基づきます。すべての拡散モデルで単一の最適化手法が最良だとは示していません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
離散拡散モデルは複数のベンチマークで自己回帰型言語モデルと同等の成績に達している一方、最適な学習方法にはあまり注意が払われてこなかった。最適化手法は論文間で引き継がれ、比較されないことが多い。新しい最適化手法も、目的関数と損失曲面が異なる自己回帰型の事前学習でほぼ専ら検証されている。本研究は、著者らの知る限り離散拡散では初めて、4種類の拡散方式を対象とする統制された最適化手法のベンチマークを提示する。AdamW、Lion、Muon、SOAP、MARS、MARS-M、Schedule-Freeの7手法を、マスク型拡散のtext8、一様拡散のQM9とガウス双対性を通じたLM1B、画像のガウス型拡散のCelebA-64で比較した。どの課題にも公表済みの参照値がある。各手法には同じ探索手順を適用し、各課題で勝った手法は全計算予算を使い、乱数種を3通りにして再学習した。AdamWは有力な標準選択だが、4課題のうち2課題では明確な差でほかの手法に負け、勝つ手法は拡散方式によって変わった。したがって最適化手法は、学習設定の他の要素と同じように慎重に選ぶ必要がある。自己回帰型言語モデルの事前学習で検証された手法の移行も良好で、Muon、MARS-M、SOAPはそれぞれ少なくとも一つの拡散方式で調整済みAdamWを上回った。ベンチマーク、すべての実行結果と図は、公開コードから一貫して再現できると述べている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-19（UTC）
- 最新改訂
- 2026-09-19 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-19 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Discrete diffusion models now match autoregressive language models on several benchmarks, while the question of how best to train them has received far less attention: the optimizer is inherited from one paper to the next and never compared. New optimizers, meanwhile, are validated almost exclusively on autoregressive pretraining, a different objective on a different loss surface. We present a controlled optimizer benchmark across four diffusion formulations, to our knowledge the first for discrete diffusion: seven optimizers (AdamW, Lion, Muon, SOAP, MARS, MARS-M, Schedule-Free) on masked diffusion (text8), uniform diffusion (QM9, and LM1B through the Gaussian duality) and Gaussian diffusion on images (CelebA-64), each on a task with published reference values. Every optimizer receives the same search protocol, and every winner is retrained at the full budget with three seeds. AdamW is a strong default but not always the right choice: it is beaten by a resolved margin on two of the four tasks, and the winner changes with the formulation, so the optimizer deserves the same care as the rest of the training recipe. Notably, methods validated on autoregressive language model pretraining transfer well: Muon, MARS-M and SOAP each beat the tuned AdamW on at least one diffusion formulation. The benchmark, all runs and every figure are reproducible end to end from the released code at https://github.com/armanbolatov/diffusion-baselines.
著者のコメント
5 figures, 10 tables. Code: https://github.com/armanbolatov/diffusion-baselines
arXiv ID: 2609.23055 ／ 要約の誤りについて