拡散言語モデルの推論途中を因果構造に沿って修正
CaLR: Causal Latent Revision for Robust Diffusion Reasoning
この論文をやさしく読む
ひとことで言うと
文章を並列に生成する拡散モデルが、推論の途中を論理の依存関係に沿って直せるようにする方法です。
何に役立つ？
考えられる用途は、数独など条件を守りながら解く課題で、途中の誤りを修正する推論システムの構築です。
この研究の面白いところ
一方向に答えを伸ばすだけでなく、潜在表現を最適化し、専門モデルから得た因果構造を手掛かりに中間段階を書き換えます。
どこまで分かった？
要旨にはベンチマーク別の数値、比較モデル名、計算コストが示されていません。論理的一貫性を促す設計と、あらゆる回答の正しさの保証は別です。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自己回帰（AR）モデルには局所的な貪欲さという問題があり、拡散言語モデル（DLM）には推論に必要な厳密な因果構造が欠けていることが多い。両者の利点を組み合わせ、欠点を克服するため、推論を制約付きの潜在空間最適化として定式化し直す枠組み、Causal Latent Revision（CaLR）を提案する。 CaLRは、専門モデルから得た因果トポロジー行列（CTM）と陰関数微分を用い、勾配に導かれた「思考の修正」によって論理的一貫性を課す。これにより、並列生成中に中間ステップを動的に自己修正できる。実験では、CaLRは複雑なベンチマークでDLMとして最先端の性能を達成し、有力なARの基準モデルを上回った。また、数独のような制約を伴う課題で優れた頑健性を示した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Autoregressive (AR) models suffer from local greediness, while diffusion language models (DLMs) often lack the strict causal structure required for reasoning. To combine the advantages and overcome the drawbacks of the dual, we propose Causal Latent Revision (CaLR), a framework that reformulates reasoning as constrained latent optimization. By adopting a causal topology matrix (CTM) from an expert model and implicit differentiation, CaLR performs gradient-guided ``thought revision" to enforce logical consistency, enabling dynamic self-correction of intermediate steps during parallel generation. Empirically, CaLR achieves SOTA DLM performance on complex benchmarks, surpassing strong AR baselines and demonstrating superior robustness in constrained tasks like Sudoku.
arXiv ID: 2609.20981 ／ 要約の誤りについて