自己回帰とマスク拡散を統合する言語モデルZarya
Zarya: A Hybrid Autoregressive--Masked Diffusion Language Model with Flexible Training and Dual-Mode Inference
この論文をやさしく読む
ひとことで言うと
左から順に生成する方式と、穴埋めを並列に進める拡散方式を一つの言語モデルへ組み込む枠組みです。
何に役立つ？
生成方法の性質を比較したり、同じモデルで異なるデコード方式を使い分けたりする研究基盤になります。0.6B、1.7B、4Bのモデルを公開しています。
この研究の面白いところ
可変サイズのスロットで学習を徐々に粗くし、推論時には拡散サンプリングとスロット型投機的デコードを選べます。後者はスロット内の自己回帰的穴埋めでKVキャッシュを再利用します。
どこまで分かった？
標準ベンチマークの性能を示すとしていますが、要旨に具体的な速度・精度比較はありません。KVキャッシュの完全再利用は記載された投機的デコード方式の特徴として区別する必要があります。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自己回帰言語モデル（ARM）は左から右への逐次生成に制約される。一方、マスク拡散モデル（MDM）は並列デコードを可能にするが、Key-Value（KV）キャッシュを再利用できないため計算負荷が高く、扱いきれない数のトークン組合せ上で依存関係を学ぶため、生成の一貫性を欠くという問題がある。本研究では、単一のアーキテクチャ内で自己回帰（AR）目的とマスク拡散目的を共同最適化するハイブリッド言語モデル群Zaryaを導入する。 Zaryaは学習データを可変サイズのスロットに構造化し、スロットの粒度を段階的に粗くするカリキュラムを用いて、細粒度のAR学習から粗粒度の拡散学習への滑らかな移行を可能にする。推論時には統一インターフェースを通じ、2つの異なるデコード方式を提供する。第1は初回到達型のノイズ除去によるMDMサンプリング、第2は、スロット間の拡散に基づく選択とスロット内の自己回帰的な穴埋めを交互に行い、KVキャッシュを完全に再利用する、スロット型の投機的デコードである。 学習と推論の方式は完全に切り離されており、どの構成で学習したモデルも、いずれの推論モードでも利用できる。グループ化されたノイズパターン（Prefix Completion、Fill-In-the-Prefix、Fill-In-the-Middle）、順序付きサンプリングスケジュール、ノイズレベルの並べ替え戦略などを幅広く設定でき、柔軟な研究探索が可能である。6億、17億、40億パラメータのZaryaモデルを一般公開し、標準ベンチマークでの性能を示すとともに、自己回帰と拡散の原理に沿った統合を提供する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Autoregressive language models (ARMs) are constrained by sequential, left-to-right generation, while masked diffusion models (MDMs) enable parallel decoding but suffer from high computational overhead due to the inability to reuse Key-Value (KV) cache and from incoherent generation arising from learning dependencies over an intractable space of token combinations. We introduce Zarya, a family of hybrid language models that jointly optimizes an autoregressive (AR) objective and a masked-diffusion objective within a single architecture. Zarya structures training data into variable-size slots and employs a curriculum that gradually increases slot granularity, enabling a smooth transition from fine-grained AR learning to coarse-grained diffusion learning. At inference, Zarya provides two distinct decoding paradigms through a unified interface: (i) MDM sampling with first-hitting denoising, and (ii) slotted speculative decoding that interleaves inter-slot diffusion-based selection with intra-slot autoregressive infilling, achieving full KV cache reuse. The training and inference regimes are fully decoupled, allowing a model trained with any configuration to be deployed in either mode. Extensive configurability --- including grouped noise patterns (Prefix Completion, Fill-In-the-Prefix, Fill-In-the-Middle), ordered sampling schedules, and noise-level permutation strategies --- enables flexible research exploration. We release Zarya models publicly in sizes 0.6B, 1.7B, and 4B, demonstrating performance on standard benchmarks while offering a principled integration of autoregressive and diffusion paradigms.
著者のコメント
Preprint. Work in progress. Please cite peer-reviewed version when published
arXiv ID: 2609.19868 ／ 要約の誤りについて