査読意見が食い違うとき根拠の信頼性を考慮して総評を作る
When Evidence Conflicts: Reliability-aware Meta-review Generation
この論文をやさしく読む
ひとことで言うと
査読者の意見が食い違う場合に、すべてを同じ重みで要約せず、各意見の裏付けを推定して総評を作る方法です。
何に役立つ？
考えられる用途は、複数の査読を整理する担当者の総評作成支援です。対立点を残しながら、裏付けの強い議論を重視します。
この研究の面白いところ
査読全体の質だけでなく、個々の意見がどれだけ支えられているかも評価し、観点ごとに対立を扱います。
どこまで分かった？
要旨には評価件数や改善幅、信頼性推定の正確さの数値はありません。生成された総評が論文の正しさや採否を保証するという結果ではありません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
複数の査読から一貫したメタレビューを生成することは、査読者の根拠が相互に矛盾し、その信頼性も異なる場合に難しい。既存手法は一般に、メタレビュー生成を複数文書の要約課題として定式化し、査読者のフィードバックを一様に集約するため、意見が対立したとき何を優先すべきかを決めにくい。本論文では、信頼性を考慮した根拠の集約を通じてメタレビュー生成を研究する。 この枠組みはまず、査読から観点ごとの意見を抽出し、各観点内で対立する根拠を特定する。次に、意見単位での裏付けと査読単位の質を推定し、根拠の信頼性を測る。これらの情報に基づき、査読者のフィードバックへ信頼性を考慮した重みを割り当てることで、多様な視点を保持しつつ、よりよく裏付けられた議論を生成器が優先できるようにする。実験では、自動評価と人による評価の両方で、強いベースラインに比べ一貫してメタレビュー生成が改善し、意見対立の強い査読場面では、対立の認識と解消に明確な改善が見られた。コードと実装の詳細はhttps://github.com/Wangxz729/reliability-aware-meta-reviewで公開されている。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Generating coherent meta-reviews from multiple peer reviews is challenging when reviewer evidence conflicts and varies in reliability. Existing approaches typically formulate meta-review generation as a multi-document summarization task and aggregate reviewer feedback uniformly, making it difficult to determine which opinions should be prioritized under disagreement. In this paper, we study meta-review generation through reliability-aware evidence aggregation. Our framework first extracts aspect-level opinions from peer reviews and identifies conflicting evidence within each aspect. It then estimates opinion-level support and review-level quality to measure evidence reliability. Based on these signals, the framework assigns reliability-aware weights to reviewer feedback, enabling the generator to prioritize better-supported arguments while preserving diverse perspectives. Experiments demonstrate that our method consistently improves meta-review generation over strong baselines on both automatic and human evaluations, with clear gains in conflict recognition and resolution under high-conflict review scenarios. The code and implementation details are publicly available at https://github.com/Wangxz729/reliability-aware-meta-review.
arXiv ID: 2609.24028 ／ 要約の誤りについて