拡散型言語モデルの推論を導くトークン列の学習
Towards Efficient Reasoning: Learning Causal Shortcuts for Diffusion Language Models
この論文をやさしく読む
ひとことで言うと
拡散型言語モデルの推論で重要なトークン列を抽出し、学習時に優先して扱う方法を提案した研究。
何に役立つ？
DLMの推論精度や回答に至る効率を改善する学習方法の検討に役立つ。要旨で示された改善は、評価に使った2つの基盤モデルと複数の推論ベンチマークでの結果である。
この研究の面白いところ
系列全体を覆うトークン列を「因果的ショートカット」として学習に組み込み、SFTのみと比べて平均1.92%、MATH-500で最大4.20%の改善を報告した。
どこまで分かった？
要旨は評価に使った基盤モデルが2つであることを示す。ほかのモデルや実運用の課題でも同様の改善が得られるかは、要旨だけでは分からない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
拡散型言語モデル（DLM）は高い推論能力で注目されている。しかし、双方向アテンションを用いるDLMが探索する空間は自己回帰モデル（ARM）に比べて指数関数的に大きく、ランダムなマスキングの下で推論を導くトークンに焦点を当てることは難しい。本研究では、系列全体を覆い、正しい推論の道筋へ明示的に導くトークンの連鎖を「因果的ショートカット」と定義する。推論の正確さと収束速度に対する効果を解析したところ、回答への収束効率と生成精度が大きく向上した。 これを踏まえ、DLM向けの因果的ショートカット学習（CSL）枠組みを提案する。具体的には、データから因果的ショートカットを段階的に抽出する手順を導入し、学習時にこれらのトークンを優先して並列マスキングする。これにより、因果的ショートカットを経由して正しい回答へ効率よく正確に収束させる。複数の推論ベンチマークと2つの基盤モデルによる広範な実験では、CSLは既存の教師あり微調整（SFT）派生手法を一貫して上回り、SFTのみのモデルに対して平均1.92%、MATH-500では最大4.20%の改善を達成した。コードは論文に記載されたGitHubリポジトリで公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Diffusion Language Models (DLMs) have attracted significant attention for their strong reasoning ability. However, under a bidirectional attention mechanism, DLMs operate over an exponentially large exploration space compared to autoregressive models (ARMs), making it challenging to focus on reasoning-guiding tokens under random masking. We define causal shortcuts as token chains that cover the full sequence and provide explicit guidance towards correct reasoning trajectories. We analyze the effects of causal shortcuts on the reasoning accuracy and convergence speed of DLMs, and find that they largely improve answer convergence efficiency and generation accuracy. Motivated by this, we propose a Causal Shortcut Learning (CSL) Framework for DLMs. Specifically, we introduce a step-by-step token extraction procedure to extract causal shortcuts from data, and apply parallel prioritized masking on these tokens during training to enable efficient and accurate convergence to correct answers via causal shortcuts. Extensive experiments across multiple reasoning benchmarks and two base models demonstrate that CSL consistently outperforms existing SFT-variant baselines, achieving an average improvement of $1.92\%$ over SFT-only models, and up to $4.20\%$ on MATH-500. The code is available at the \href{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning}{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning
arXiv ID: 2609.28272 ／ 要約の誤りについて