反復型言語モデルの各段階を対比して推論誤りを減らす
LoopCD: Loop-wise Contrastive Decoding for Improving Reasoning in Looped Language Models
この論文をやさしく読む
ひとことで言うと
同じ重みで内部処理を繰り返す言語モデルについて、途中の予測と最後の予測を比べ、推論誤りに結び付く不安定なトークンの選び方を調整します。
何に役立つ？
考えられる用途は、LoopLMを追加学習せずに使う段階での推論性能の改善です。反復の途中にすでにある情報を利用します。
この研究の面白いところ
反復回数を増やすのではなく、初期と最終のロジットの差を最終サンプリングに反映します。内部で繰り返すモデルの構造を、出力選択に活用しています。
どこまで分かった？
対象はLoopLMで、一般のすべての言語モデルへの効果を示したものではありません。要旨には課題別改善値や追加時間の測定値はなく、推論負担が小さいという記述の具体的な規模は確認できません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ループ型言語モデル（LoopLM）は、重みを共有しながら内部の潜在表現を再帰的に改善することで「潜在的な推論」を行い、明示的に言葉で推論する方式より効果的な代替手段を提供する。しかし、その有効性にもかかわらず、LoopLMには依然としてループの不安定性があることを見いだした。反復間での不安定な改善は、推論誤りに結び付く、不確実で難しいトークンを局所的に生じさせることがある。 これに対処するため、推論時にこれらのトークンへ介入してLoopLMの推論性能を高める、ループ単位の対照的デコーディングLoopCDを提案する。具体的には、LoopLMの内部ダイナミクスを利用し、初期側の反復のロジットと、最後の改善済み反復のロジットを対比して、最終的なサンプリング分布を作る。この戦略は非常に効率的で、追加学習を必要とせず、推論の追加負担は無視できるほど小さい一方、推論に重要な難しいトークンを自然に改善することで推論性能を効果的に高める。広範な実験により、近年の代表的なLoopLMに対し、さまざまな推論課題で性能を改善することを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Looped Language Models (LoopLMs) perform "latent reasoning" by recursively refining internal latent representations with shared weights, offering a more effective alternative to explicit verbal reasoning. Despite their effectiveness, we find that LoopLMs remain prone to loop instability: unstable refinement across iterations can produce localized uncertain "hard" tokens associated with reasoning errors. To address this, we propose LoopCD, loop-wise contrastive decoding that enhances the reasoning performance of LoopLMs by intervening on these tokens at inference time. Specifically, we exploit the internal dynamics of LoopLMs and contrast the logits from earlier iterations with logits from the last refined iteration to form the final sampling distribution. We find that this strategy is highly efficient, introducing only negligible inference overhead and requiring no additional training, while effectively improving reasoning performance by naturally refining reasoning-critical hard tokens. Extensive experiments show that our method improves the performance of recent representative LoopLMs across various reasoning tasks.
著者のコメント
Accepted to EMNLP 2026 Main Conference
arXiv ID: 2609.24196 ／ 要約の誤りについて