ゴールデンチケットより次点への資金配分
Funding the runners-up beats a golden ticket
この論文をやさしく読む
ひとことで言うと
審査員の一人だけが強く支持する不採択論文を救う方式と、平均評価が高い不採択論文を選ぶ方式を、後の被引用実績で比較します。少数支持を拾うことが埋もれた価値の発見につながるかを調べています。
何に役立つ？
研究採択や資金配分の特別推薦枠を評価するときの比較基準になります。目立つ一票だけを見る方式に対して、合議の平均点で次点を選ぶ方式を基準として置くことを提案しています。
この研究の面白いところ
2017～2024年の不採択10,625件で同数の枠を比較し、採択数の10%を追加枠とした場合、平均点方式は少数支持方式より被引用百分位が7.75ポイント高くなっています。高得点の最大値や点のばらつきも別途検討しています。
どこまで分かった？
追跡できたのは対象不採択の69.8%です。会議投稿の後の引用を用いた観測的比較であり、研究費配分の効果を直接実験したものではありません。引用百分位は成果の指標として用いられており、研究価値全体を測るとは限りません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
ゴールデンチケットとは、審査パネルの他の委員なら不採択にする提案を、1人の審査員が採択へ進める仕組みである。本研究では、同じ数の採択枠を配分する別の規則と少数支持順位を比較し、得点に基づく根拠を評価する。2017年から2024年までのコンピュータサイエンス会議で不採択だった10,625件の投稿を対象に、後年の引用パーセンタイルを結果指標とした。少数支持順位は、パネル平均と審査員数を調整した後の上位2得点の差で測定した。 その年の採択数の10％に相当する予算では、パネル平均による順位付けが選んだ投稿の平均引用パーセンタイルは、少数支持順位より7.75ポイント高かった（95％ブートストラップ区間4.35〜11.09）。他の標本期間や引用期間を調べた場合、この差はさらに大きかった。同じ予算で、少数支持順位は±5パーセンタイルポイントの範囲で抽選と同等だった。調整済み最高得点順位とマッチド比較による2つの追加分析では、パネル平均を考慮した後、少数支持から明確な引用上の利点は見つからなかった。得点分散による順位も、対応のある比較では少数支持順位を上回った。推定値は、後の引用を検証できた適格不採択の69.8％を対象とする。これらの比較は、ゴールデンチケットが見落とされる研究を選ぶかを評価するベンチマークとして、パネル平均順位を位置付ける。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-17（UTC）
- 最新改訂
- 2026-09-17 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-17 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
A golden ticket allows one reviewer to advance a proposal that the rest of a panel would reject. We assess its score-based rationale by comparing minority-support ranking with other rules for allocating the same number of places. We do so on 10,625 rejected submissions to a computer-science conference between 2017 and 2024, using later citation percentiles as the outcome. Minority-support ranking measured the gap between the two highest scores after adjustment for the panel mean and reviewer count. At a budget of 10% of the year's accepted count, panel-mean ranking selected submissions with a mean citation percentile 7.75 points higher than minority-support ranking (95% bootstrap interval 4.35 to 11.09). The difference was larger in the other sample periods and citation windows examined. At that budget, minority-support ranking was equivalent to a lottery within a margin of plus or minus 5 percentile points. Two further analyses, adjusted highest-score ranking and a matched comparison, found no clear citation advantage from minority support once the panel mean was accounted for. Ranking on score variance also outperformed minority-support ranking in a paired comparison. Estimates cover the 69.8% of eligible rejections whose later citations could be verified. These comparisons identify panel-mean ranking as a benchmark for evaluating whether golden tickets select work that would otherwise be overlooked.
著者のコメント
29 pages, 2 main figures, 3 supplementary figures; includes Supplementary Appendix. Data and code: https://github.com/Wang-Haining/wonka
arXiv ID: 2609.19552 ／ 要約の誤りについて