掲載先の評判と引用数を研究者はどう重み付けするか
The illusion of neutrality in metric-based research evaluation
この論文をやさしく読む
ひとことで言うと
研究者に仮想の採用規則を選んでもらい、掲載先の評判と引用数のどちらをどれだけ重視するかを調べた調査です。平均では均等でも、個々の好みは大きく異なりました。
何に役立つ？
研究評価や採用で指標の重みを決める際、その選択に価値判断が入ることを考える材料になります。単純な平均だけでは評価者間の違いを見落とすことも示しています。
この研究の面白いところ
全体のバランスと、個人の強い偏りが同時に存在します。回答者自身の選好と、所属部門が使っていると認識する採用基準にも差がありました。
どこまで分かった？
仮想規則への選択を調べたもので、実際の採用判断や、その後の研究の質を測った結果ではありません。主要な集計は、869人のうち選択が概ね一貫していた795人に基づきます。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
掲載先の評判と引用数は、完全ではないものの、研究の質を示す指標として広く使われている。この2つの指標が食い違うとき、評価者はそれぞれにどれほどの重みを与えるかを決めなければならない。しかし、研究成果を評価する際、さまざまな分野の研究者がこの2つをどのように比較衡量するかは分かっていない。この空白を埋めるため、869人の研究者を対象に調査を行った。掲載先の評判と引用数へ異なる重みを与える、仮想的な部門の採用規則を2つずつ提示し、どちらがより良い科学につながるかを尋ねた。 選択が概ね内部的に一貫していた795人では、選択を集計すると2つの指標への重みはほぼ等しかった。しかし、この見かけの均衡の背後には、大きな個人差が隠れていた。回答者のほぼ5人に2人は、掲載先を最も重視する区間、または引用数を最も重視する区間に位置した。さらに平均すると、回答者は、自分の部門が採用で使っていると考える規則よりも、引用数を重視する規則を選んだ。研究指標が食い違うときに生じる主観的判断を明らかにすることで、本研究の知見は、定量的指標による研究評価により慎重であるべきだという要請を補強する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Venue prestige and citation counts are two widely used, albeit imperfect, signals of research quality. When the two signals conflict, evaluators must decide how much weight to assign each. Yet, it remains unknown how researchers across disciplines trade off these two signals when evaluating research outcome. To fill this gap, we surveyed 869 researchers using paired choices between hypothetical departmental hiring rules that assigned different weights to venue prestige and citation counts, asking which would produce better science. Among 795 respondents whose choices were largely internally consistent, choices placed nearly equal aggregate weight on the two signals. This apparent balance concealed substantial individual heterogeneity: nearly two in five respondents occupied the most venue-heavy or citation-heavy intervals. Moreover, respondents on average chose more citation-heavy rules than they believed their departments used in hiring. By revealing the subjective judgments that arise when research indicators conflict, our findings reinforce calls for greater caution when quantitative indicators are used to evaluate research.
arXiv ID: 2609.24471 ／ 要約の誤りについて