拡散型言語モデルとグラフ検索で多段推論を高速化
LADDER: Graph-Guided Diffusion Language Models for Efficient Multi-Hop Reasoning
この論文をやさしく読む
ひとことで言うと
答えを並列に書き直す拡散型言語モデルで、途中に現れた名前などを手がかりにグラフを検索します。検索が役立ちそうな変化があったときだけ起動し、複数段の推論を速めます。
何に役立つ?
複数の事実をつないで答える質問応答で、正確さと応答時間の両方を改善する方法です。実験では完全一致率と遅延を同時に評価しています。
この研究の面白いところ
答えが確定する前に実体の多くが現れる点を利用しています。固定間隔で検索するのではなく、グラフに対応づけられる実体集合の拡大を検索のきっかけにします。
どこまで分かった?
39.6%から45.2%への変化は5.6パーセントポイントの改善です。4.1倍の高速化も評価した三つのベンチマークにおける結果であり、任意のモデルや検索基盤で同じ短縮を保証しません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
グラフ検索拡張生成(GraphRAG)は、実体間の構造化された接続関係を利用することで、大規模言語モデルの複雑な推論を大きく改善してきた。しかし既存の枠組みは標準的な自己回帰言語モデルに大きく依存しており、本質的に逐次生成を行うため、推論全体の効率が強く制約される。本研究では、並列に繰り返し修正する復号によって大規模な並列性を提供する拡散言語モデル(DLM)に着想を得て、離散空間でGraphRAGを高速化することを目指す。 しかし、二つの課題がある。第1に、部分的にノイズ除去された草稿は変化が大きく不確実であり、動的にグラフへ対応づけることが容易でない。第2に、そのままのノイズ除去状態は本質的にノイズが多く不安定であり、それと同期してグラフ検索と多段の情報集約を行うと計算費用が過大になる。そこで、グラフに誘導された並列復号を通じて拡散言語モデリングとGraphRAGを結びつける新たな枠組みLADDERを提示する。 具体的には、まず、対象実体の88%が部分的なノイズ除去状態の早い段階で現れ、最終的な確定に平均5.7~9.6ステップ先行するという重要な知見に基づき、イベント駆動で自ら検索時機を決める方式を提案する。この機構は、グラフへ結びつけられる実体の集合が拡大したときだけ動的に検索を起動する。これにより、学習済みゲートやヒューリスティックな閾値を用いずに、非同期で検索時機を決める方策を得る。次に、不完全な問い合わせに対するグラフ伝播モジュールを設計する。専用のグラフ基盤モデルを用いて新たに現れた実体の問い合わせを処理し、多段の証拠を継続的に集約して並列予測を精密化し、復号全体の収束を速める。難度の高い三つの多段質問応答ベンチマークでの広範な実験により、LADDERは平均完全一致率を39.6%から45.2%へ高めるとともに、遅延を4.1分の1に短縮することが示された。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21(UTC)
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Graph Retrieval-Augmented Generation (GraphRAG) has remarkably enhanced large language models on complex reasoning by leveraging structured entity topologies. However, existing frameworks heavily rely on standard autoregressive language models where the nature of inherent sequential generation severely hinders overall inference efficiency. Inspired by Diffusion Language Models (DLMs) that offer massive parallelism via continuous refine-in-parallel decoding, we aim to accelerate GraphRAG in the discrete space. However, it remains non-trivial for two challenges. First, partially denoised drafts are highly dynamic and uncertain, making dynamic graph grounding non-trivial. Second, raw denoising states are inherently noisy and unstable, making synchronous graph retrieval and multi-hop aggregation computationally prohibitive. To this end, we present LADDER, a novel framework that bridges diffusion language modeling with GraphRAG through graph-guided parallel decoding. Specifically, (i) we propose an event-driven self-clocking retrieval, inspired by our key insight that 88% of target entities emerge early in the partially denoised state, leading final commitment by an average of 5.7-9.6 steps. This mechanism dynamically triggers graph retrieval only when the set of graph-linkable entities expands, yielding an asynchronous self-clocking policy that bypasses learned gates or heuristic thresholds. (ii) An incomplete-query graph propagation module is designed to process the newly emerging entity queries using a specialized graph foundation model, continuously aggregating multi-hop evidence to sharpen parallel predictions and accelerate overall decoding convergence. Extensive experiments on three challenging multi-hop QA benchmarks show that LADDER raises average exact match from 39.6% to 45.2% while achieving a 4.1x latency reduction.
arXiv ID: 2609.24346 / 要約の誤りについて