RAGの検索漏れを追加質問で見つける監査手法Re:CAP
Re:CAP - Auditing Retrieval Coverage in Production RAG Pipelines
この論文をやさしく読む
ひとことで言うと
RAGの回答から抜けた関連文書を、追加の探査質問を使って発見する監査方法。
何に役立つ？
運用中の検索処理系で、回答生成以前の検索漏れを調べるのに役立つ。
この研究の面白いところ
正解文書を全部用意せず、既存回答が扱わない話題を質問に変えて候補を探す。
どこまで分かった？
回収率は要旨に挙げたベンチマークと運用トラフィックの条件での結果。追加文書が新情報を持つかの一部はLLM判定と人間による標本評価に依存する。
v2のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
検索拡張生成（RAG）の運用中の監視は難しい。数百万の文書片を含み、実時間で索引が作り直される変化の多い資料群に対しては、関連する全資料の正解ラベルがないためだ。その結果、検索品質の検討は十分でなく、生成側の指標より優先順位が下がることも多い。著者らは、関連文書を全て列挙する代わりに、見落とした文書の証拠を探ることで検索対象の網羅性を監査する方法を提案する。Re:CAPは、実運用のRAG処理系の最初の回答と検索された文脈に適用する、正解資料を必要としない反復的な監査である。既に扱った話題を特定し、欠けていそうな話題について探査用の質問を作り、候補文書を検索し、LLMによる判定を使って、以前の検索結果にはない情報を加える文書だけを残す。 四つの公開ベンチマークで、Re:CAPは通常のBM25上位500件では到達できない正解文書の9～29%を回収し、TREC-COVIDでは48%に達した。MuSiQueでは、文書数が半分未満であるにもかかわらず、単純なハイブリッド検索上位500件より再現率が12.9パーセントポイント高かった。BM25、密ベクトル、ハイブリッド検索の各上位500件を合わせた基準手法でも、TREC-COVIDでRe:CAPが回収した正解文書の21.2%を見落とした。人間の評価者は、構造的に異なるそのような文書の78.9%が基準手法の回答に新情報を加えると判断した（一致度Fleissのκ = 0.79、123件）。実運用のトラフィックでは73.9%だった（180件）。端から端までの再現率は、独立した三回の実行で±1%以内に再現され、定期的な検索監査のための安定した手段になると著者らは述べる。
v2の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-22 · v2
- 査読・掲載
- 査読状況未確認
更新履歴
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Retrieval-augmented generation (RAG) is hard to monitor in production: exhaustive relevance labels do not exist for non-stationary multi-million-passage corpora that re-index in real time. As a result, retrieval quality is generally understudied and often deprioritised in favour of generation-oriented metrics. In this work, we propose auditing retrieval coverage by probing for evidence of missing documents rather than enumerating every relevant one. Our method Re:CAP (REtrieval Coverage Audit by iterative Probing) is a reference-free audit loop applied to a deployed RAG pipeline's initial answer and retrieved context: it identifies the topics already covered, generates probing questions for plausibly missing topics, retrieves candidate documents, and applies an LLM-as-judge to retain only those that introduce previously-unretrieved information. On four public benchmarks, Re:CAP recovers 9-29% of gold labels that flat BM25 top-500 cannot reach, rising to 48% on TREC-COVID. On MuSiQue Re:CAP beats flat hybrid top-500 by +12.9 pp on recall at less than half the document budget. An ensemble BM25, dense, and hybrid baseline (top-500 each) still leaves out 21.2% of gold docs on TREC-COVID that Re:CAP recovers; human annotators judge that 78.9% of those structurally distinct documents add new information to the baseline answer (Fleiss $\kappa$ = 0.79, n = 123), and 73.9% on live production traffic (n = 180). End-to-end recall is reproducible to within $\pm$1% across three independent runs, making Re:CAP a stable instrument for periodic retrieval audits.
arXiv ID: 2609.24122 ／ 要約の誤りについて