連続拡散言語モデルを数学推論とコード生成へ拡張
ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks
この論文をやさしく読む
ひとことで言うと
回答を並列に作る連続拡散型の言語モデルを、数学問題やコード生成でも使えるように学習方法を改善した研究です。
何に役立つ？
自己回帰型以外の言語モデルで推論課題を解く方法や、生成ステップ数と正答率の関係を評価する際に役立ちます。示された結果は列挙されたベンチマークでのものです。
この研究の面白いところ
固定した自己回帰型教師の中間表現を学習に使い、途中段階を復号する早期停止でも性能を引き出しています。
どこまで分かった？
比較は評価対象の同規模dLMに対するものです。要旨の数値はNFEと課題ごとに異なり、すべての課題で同じ精度を達成したわけではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
完全に連続な拡散言語モデル（dLM）は、中間段階で離散化せずに連続表現のノイズを除去し、最後の段階ですべての回答トークンを並列に復号する。難しい推論課題での性能は、自己回帰型の大規模言語モデルやマスク型dLMほど確立されていない。本研究は、Embedded Language Flows（ELF）をGSM8K、MATH-500、HumanEval、MBPPでの数学推論とコード生成に拡張する。提案するELF-REGは、表現の整列と絡み合わせ（REPA+REG）によって学習を改善する。固定された自己回帰型の教師モデルが、ノイズ除去器の中間特徴を指導し、回答とともにノイズ除去する全体表現を与える。ELF-REG-Lは、ネットワーク関数の評価回数（NFE）が64回のときGSM8Kでpass@1が55.96%、128回のときMATH-500で13.39%、HumanEvalで22.56%に達した。評価した同規模のdLMをGSM8Kとコードのpass@1で上回り、MATH-500のpass@1をELF-Lの10.55%から13.39%へ改善した。少ないステップ用に学習し直さなくても、同じ課題別チェックポイントで、ノイズ除去の途中の清浄な予測を復号する早期停止によって、少ないNFEでも良好な性能が得られる。16 NFEではHumanEvalのpass@10が41.21%となり、同規模の最近の連続dLMを上回った。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Fully continuous diffusion language models (dLMs) denoise continuous representations without intermediate discretization, then decode all response tokens in parallel at the final step. Their performance on challenging reasoning tasks remains less established than that of autoregressive (AR) LLMs and masked dLMs. We scale Embedded Language Flows (ELF) to mathematical reasoning and code generation on GSM8K, MATH-500, HumanEval, and MBPP. We introduce ELF-REG, which improves learning with representation alignment and entanglement (REPA+REG), where a frozen AR teacher supervises intermediate denoiser features and supplies a global representation that is jointly denoised with the response. ELF-REG-L achieves 55.96% pass@1 on GSM8K at 64 network function evaluations (NFE), and 13.39% on MATH-500 and 22.56% on HumanEval at 128 NFE. It outperforms the evaluated comparable-scale dLMs in pass@1 on GSM8K and code, and improves MATH-500 pass@1 from 10.55% for the ELF-L baseline to 13.39% with ELF-REG-L. Without few-step training, the same task-specific checkpoints support strong low-NFE performance through early-stop, which decodes an intermediate clean prediction without completing the denoising trajectory. At 16 NFE, ELF-REG-L reaches 41.21% HumanEval pass@10, outperforming recent continuous dLMs of comparable scale.
arXiv ID: 2609.29102 ／ 要約の誤りについて