注意機構とRNNの混合モデルを拡散言語モデルへ
dQwen3.5: Hybrid-Attention Diffusion Language Models
この論文をやさしく読む
ひとことで言うと
注意機構とRNNを組み合わせた既存言語モデルを、さまざまな順序で文章を生成する拡散モデルへ適応させます。
何に役立つ？
既存の事前学習を活用して拡散言語モデルを構築する際の出発点を広げます。
この研究の面白いところ
本来は一方向のRNNを含む構成でも適応が可能で、全注意機構の対照モデルに比べ約半分のトークンで所定の学習損失に達しました。
どこまで分かった？
0.8B、2B、4B、9B規模の評価です。学習トークンの効率と生成時の実時間の高速化は別の指標で、後者の具体的倍率は要旨にありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
事前学習済みの自己回帰（AR）モデルを適応させることは、拡散言語モデル（DLM）を低コストで得る方法である。こうした適応のほぼすべてが全注意型Transformerから出発する一方、ARモデルは、注意層とRNN層を交互に配置するハイブリッド構成へ移行している。これが適応の障害となる。注意機構と違い、RNNは構造的に因果的であり、双方向化は容易ではないためである。 この不一致にもかかわらず、本研究では、Qwen3.5の0.8B、2B、4B、9B規模を適応させ、dQwen3.5系列を作ることで、この種の基盤モデルが有効なDLMになれるかを調べる。 ハイブリッド基盤モデルは、適応の効率的な出発点になり得ることが分かった。全注意型の対照モデルと比べ、同じ訓練損失におよそ半分のトークン数で到達する。どの規模でも、dQwen3.5は任意順序の復号挙動が全注意型DLMに似ており、並列復号でも高い性能を示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Adapting a pretrained autoregressive (AR) model is a cost-efficient route to a diffusion language model (DLM). While nearly all such adaptations start from a full-attention transformer, AR modeling has shifted toward hybrid architectures that interleave attention and RNN layers. This creates an obstacle for adaptation: unlike attention, RNNs are structurally causal and nontrivial to bidirectionalize. Despite this mismatch, we investigate whether such backbones can become effective DLMs by adapting Qwen3.5 at 0.8B, 2B, 4B, and 9B scales, yielding the dQwen3.5 family. We find that hybrid backbones can be efficient starting points for adaptation: against a full-attention control, the hybrid reaches a given training loss in about half the tokens. Across scales, dQwen3.5 resembles full-attention DLMs in any-order decoding behavior and performs strongly under parallel decoding.
arXiv ID: 2609.20751 ／ 要約の誤りについて