長文の拡散言語モデル学習をブロック並列で高速化
Block Parallelism For Efficient Distributed Long-Context Diffusion Language Model Training
この論文をやさしく読む
ひとことで言うと
拡散言語モデルの学習で、ブロック固有の計算を同じGPU側に保ち、長い文脈で増える通信とメモリーの負担を減らす方法です。
何に役立つ？
長文脈BDLMの分散学習や、自己回帰モデルからの変換に役立つ手法です。示されたGPU構成では速度とメモリーの両面を比較しています。
この研究の面白いところ
ノイズ付きブロックの独立性と、共有されるクリーンな文脈の分割を組み合わせ、学習の意味を保って通信を減らしています。
どこまで分かった？
高速化倍率はモデル、文脈長、GPU構成で異なります。7.59倍はH100 8基・1M文脈のDFlash2学習の結果であり、全用途での倍率ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ブロック拡散言語モデル（BDLM）は、ブロック間の自己回帰的な依存関係と、ブロック内の並列ノイズ除去を組み合わせる。しかし、長文脈の学習は、分散Attentionの通信と活性値メモリーによって制約される。従来のコンテキスト並列化（CP）は、クリーンな系列とノイズを加えた系列を結合し、位置で分割する。その際、共有のクリーンなK/Vと、ブロック固有のノイズを加えたK/V、およびそれらの勾配を通信する。本研究では、BDLMの目的関数が対象ブロックごとに分離できることに着目する。そして、各ノイズ付加ブロックの計算を一つのランクに割り当てる新たな分散並列化の軸、ブロック並列化（BP）を導入する。 BPを長文脈に拡張するため、共有のクリーンな系列も各ランクに分割する、コンテキスト分割ブロック並列化（CSBP）を導入する。CSBPは、ノイズを加えたK/Vと勾配をローカルに保ち、クリーンな接頭系列の重複を避け、BDLM学習の意味を維持する。H200 GPU 16基、256K文脈では、最良のベースラインに対し、教師あり微調整で1.18〜1.45倍、自己回帰モデルからBDLMへの変換で1.27〜1.33倍のスループットを達成し、ピークHBM使用量は同等以下だった。512Kではモデル全体の高速化は1.61倍に達する。 H100 GPU 8基では、DFlash2の投機的デコーダー学習を、512Kで2.48倍、1Mで7.59倍高速化する。条件をそろえた12時間のDiffusionGemma 26B-A4Bの教師あり微調整では、CSBPは学習したすべてのチェックポイントにおいて、SWE-bench VerifiedとTerminal-Bench Liteで高い合格率を達成した。コード：https://github.com/ScalingIntelligence/Turbo-dLLM
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Block diffusion language models (BDLMs) combine autoregressive dependencies across blocks with parallel denoising within blocks, but long-context training is constrained by distributed attention communication and activation memory. Conventional context parallelism (CP) shards the combined clean-plus-corrupted sequence by position, communicating shared clean K/V together with block-specific corrupted K/V and their gradients. We observe that the BDLM objective separates over target blocks. We introduce block parallelism (BP), a new distributed parallelism dimension that assigns each corrupted-block computation to one rank. To scale BP to long contexts, we introduce context-sharded block parallelism (CSBP), which also shards the shared clean sequence across those ranks. CSBP keeps corrupted K/V and gradients local, avoids replicated clean prefixes, and preserves BDLM training semantics. On 16 H200 GPUs at 256K context, CSBP improves throughput over the best baseline by 1.18-1.45x for supervised fine-tuning and 1.27-1.33x for conversion of autoregressive models to BDLMs, while matching or reducing peak HBM. Full-model speedup reaches 1.61x at 512K. On eight H100 GPUs, CSBP accelerates DFlash2 speculative-decoder training by 2.48x at 512K and 7.59x at 1M. In matched 12-hour DiffusionGemma 26B-A4B SFT runs, CSBP achieves higher pass rates at every trained checkpoint on SWE-bench Verified and Terminal-Bench Lite. Code: https://github.com/ScalingIntelligence/Turbo-dLLM
著者のコメント
25 pages, 6 figures
arXiv ID: 2609.19242 ／ 要約の誤りについて