長い推論の探索と誤差蓄積を構造情報で抑えるSAGE
SAGE: Mitigating Long-Horizon Reasoning Biases via Topological Guidance
この論文をやさしく読む
ひとことで言うと
長い推論で誤った分岐へ進みやすい問題を、代数的な制約と双曲空間の情報で抑える研究。
何に役立つ？
長期推論の探索方法を設計・比較するのに役立つ。要旨は12ベンチマークと七モデル系列での結果を報告する。
この研究の面白いところ
探索の偏りと小さな誤差の蓄積を分けて捉え、二種類の構造的誘導を組み合わせる。Andrews–Curtis問題で最大8倍の改善を報告する。
どこまで分かった？
改善は評価したベンチマーク条件での結果。要旨はAndrews–Curtis問題そのものを数学的に解決したとは述べていない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
報酬がまばらな状況では、長い過程を要する推論は大規模言語モデル（LLM）にとって依然として難しい。本研究は、この不安定さが複雑な推論空間から生じる二つの偏りに由来すると考える。一つは、局所的にはもっともらしいが構造的には不安定な枝へモデルが引き寄せられる探索の偏り、もう一つは、小さな局所的なずれが深さとともに蓄積し、まれな報酬に到達しにくくなる累積の偏りである。記号的閉包解析（SCA）を導入し、分岐構造とまばらな報酬が、局所的な許容性を持つ長い推論にこれらの偏りをどう生むかを特徴付ける理論的な視点とする。また、形式化が弱い推論課題における構造的な事前知識の設計原理にもする。この分析に基づき、構造的な誘導を加えて二つの偏りを和らげる統一的な枠組みSAGEを提案する。SAGEは二種類の構造的誘導を組み合わせる。代数的な疎化では、局所的に許される候補を演算子ごとの代数的部分空間へ射影し、偽の分岐を抑えて探索の偏りを減らす。双曲的な構造誘導では、推論状態を負の曲率の空間へ埋め込み、深さごとの密な信号を与えて累積の偏りを減らす。12のベンチマークと七つのモデル系列で、SAGEは競争力のある比較手法を上回った。特に、実世界の長期推論課題で未解決のAndrews–Curtis問題では、最大8倍の改善を達成した。コードは https://github.com/Susan571/SAGE-NeurIPS2026 で公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Long-horizon reasoning remains a central challenge for large language models (LLMs) under sparse-reward regimes. We argue that this brittleness arises from two biases induced by complex reasoning spaces: an exploration bias, where models are drawn toward locally plausible but structurally unstable branches, and a compounding bias, where small local deviations accumulate across depth and suppress rare rewards. We introduce Symbolic Closure Analysis (SCA) as a theoretical lens characterizing how branching structures and sparse rewards induce these biases in long-horizon reasoning with local admissibility, and as a design principle for structural priors in less formal reasoning tasks. Motivated by this analysis, we propose SAGE (Structural Admissibility-Guided Exploration), a unified framework that injects structural guidance to alleviate exploration bias and compounding bias in long-horizon reasoning. SAGE combines two complementary structural guidance: algebraic sparsification, which projects locally admissible candidates onto operator-indexed algebraic subspaces to suppress spurious branching and mitigate exploration bias, and hyperbolic structural guidance, which embeds reasoning states into a negatively curved space to provide dense depth-wise signals and mitigate compounding bias. Across 12 benchmarks and 7 model families, SAGE outperforms competitive baselines. In particular, SAGE achieves up to an 8-fold improvement on the Andrews-Curtis problem, an open real-world long-horizon task. Code is available at: https://github.com/Susan571/SAGE-NeurIPS2026.
著者のコメント
Accepted by NeurIPS 2026
arXiv ID: 2609.30192 ／ 要約の誤りについて