根拠を残すために検索文脈の並び順を調整
MORSE: Multi-Context Ordering via Reverse Scoring for Evidence-Preserving Compression
この論文をやさしく読む
ひとことで言うと
検索した文章を短くする前に並び替え、回答の根拠となる情報を残しやすくする方法です。
何に役立つ？
複数の資料を圧縮して質問応答モデルに渡す場合、根拠の消失を減らす用途が考えられる。要旨では多段階質問応答で評価している。
この研究の面白いところ
先の文脈が共通情報の評価を先取りし、後の強い証拠が削られるという順序依存を、位置の入れ替え実験で検証している。
どこまで分かった？
要旨では複数のベンチマークと圧縮条件での改善を述べるが、改善幅の数値やすべての質問応答条件への一般化は示していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
尤度に基づく文脈圧縮では、順番にスコアを付けることで複数の文脈に重複する情報を考慮できるが、その分、圧縮結果は文脈の並び順に左右される。著者らは、同じ文脈の集合でも順列を変えると、圧縮器を変えずに根拠の保持率が大きく変わることを示す。この影響を情報の先取りと説明する。先に置かれた部分的に関連する文脈に共有情報の評価が割り当てられると、後に置かれた、より強い根拠を含む文脈の追加スコアが下がり、削除されやすくなる。文脈の位置を2つずつ入れ替える制御実験では、根拠を先に置くと支持する証拠が残りやすくなることを直接確認した。この問題に対して、圧縮を考慮して根拠を保持する並べ替え法MORSEを提案する。MORSEは、個々の文脈と圧縮後の候補出力の双方に、質問から根拠を逆向きに評価する共通原理を適用する。前者で根拠を先に置く基準順序を作り、後者で圧縮の影響を考慮した順列の選択を導く。多段階の質問応答ベンチマークで、圧縮手順、容量、スコアリングモデルを変えて比較したところ、MORSEは固定的な逆順配置や計算量を揃えたランダム探索よりも一貫して根拠を保持し、その後の質問応答全体でも改善した。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23（UTC）
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Likelihood-based context compression can account for cross-context redundancy through sequential scoring, but this makes compression outcomes sensitive to context order. We show that different permutations of the same context collection can produce markedly different evidence-retention outcomes under an unchanged compressor. We attribute this sensitivity to information preemption: earlier partially relevant contexts can absorb credit for shared information, suppressing the incremental score of later, stronger evidence carriers and increasing their risk of removal. Controlled pair-swap interventions directly support this mechanism by showing that evidence-first ordering substantially improves supporting-evidence survival. To address this problem, we introduce MORSE, a compression-aware method for evidence-preserving context ordering. MORSE applies a common reverse query-evidence principle to both individual contexts and compressed candidate outputs, using the former to construct an evidence-first anchor and the latter to guide compression-aware permutation selection. Across multi-hop QA benchmarks, compression procedures, budgets, and scoring models, MORSE consistently improves evidence preservation over static reverse ordering and compute-matched random search, with corresponding overall improvements in downstream QA. Our code is available at https://github.com/tbn5pj/MORSE_code.
著者のコメント
Code: https://github.com/tbn5pj/MORSE_code
arXiv ID: 2609.27380 ／ 要約の誤りについて