候補トークンの意味の重複を抑えるME-Decoding
Beyond Truncation: Rethinking LLM Decoding as Ensemble Pruning
この論文をやさしく読む
ひとことで言うと
LLMが次の単語などの候補を選ぶ際、確率の高さだけでなく意味の似通い方も見て、重複の少ない候補集合を残す方法です。
何に役立つ？
考えられる用途は、モデル自体を作り直さずに生成時の候補選択を改善することです。研究では複数の推論・生成課題での性能を報告しています。
この研究の面白いところ
意味が近い候補を類似度行列で把握し、確率を保つことと多様性を得ることを部分集合の最適化として扱います。効率的な貪欲法に近似保証も付けています。
どこまで分かった？
要旨には対象モデル、個別の評価値、実測の追加時間が示されていません。ほぼ線形の計算量には早期終了という条件があり、追加負担が小さいという主張の具体的な範囲は要旨だけでは分かりません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
候補トークンの選択をアンサンブルの枝刈りとして捉える、新しい大規模言語モデル（LLM）のデコーディング枠組み、Mahalanobis-Ensemble Decoding（ME-Decoding）を導入する。既存の選択戦略は主にスカラーの確率に依存し、意味の幾何学的な関係を無視するため、候補に重複が生じる。一方、現在の幾何学を考慮した手法は、複雑な最適化や元のトークン確率の直接的な重み付け変更を必要とすることが多く、大きな計算負担や推論の不安定さを招く。 そこで、高い確率を保ちつつ意味の多様性を高めるため、マハラノビス距離に基づく目的関数を用いて、デコーディングを部分集合最適化問題として定式化する。具体的には、トークン埋め込み上の適応的な帯域幅のカーネルで構成したトークン類似度行列を使い、冗長な生成経路の重みを動的に下げる。さらに、早期終了のもとで候補数に対してほぼ線形の計算量となる効率的な貪欲選択アルゴリズムを設計し、その理論的な近似保証を確立する。これにより、ME-Decodingは、推論時の追加負担が無視できるほど小さく、既存の仕組みに組み込んで使える頑健なモジュールとなる。多様な推論課題と生成課題にわたる広範な実験により、この手法が一貫して高い性能を達成することを示す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-16（UTC）
- 最新改訂
- 2026-09-16 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-16 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
We introduce Mahalanobis-Ensemble Decoding (ME-Decoding), a novel Large Language Model (LLM) decoding framework that frames candidate token selection as ensemble pruning. Existing selection strategies rely predominantly on scalar probabilities, ignoring geometric semantic relationships and causing candidate redundancy. Meanwhile, current geometry-aware methods often require complex optimization or directly reweighting the original token probabilities, leading to significant computational overhead or inference instability. To address this, we formulate decoding as a subset optimization problem using a Mahalanobis distance-driven objective to enhance semantic diversity while preserving high probabilities. Specifically, we dynamically discount redundant generation paths using a token similarity matrix, constructed via an adaptive-bandwidth kernel over token embeddings. We further devise an efficient greedy selection algorithm with near-linear complexity in the candidate size under early stopping, while establishing its theoretical approximation guarantees. This renders ME-Decoding a robust, plug-and-play module with negligible inference overhead. Extensive experiments across diverse reasoning and generation tasks demonstrate that our method consistently achieves strong performance.
著者のコメント
Accepted to EMNLP 2026 Main Conference
arXiv ID: 2609.18723 ／ 要約の誤りについて