学習データの代表部分を選ぶ費用は見合うか
Are Coreset Selection Methods Worth Their Cost?
この論文をやさしく読む
ひとことで言うと
学習データの一部を賢く選ぶ方法が、選ぶための時間まで含めても得かを測った研究。
何に役立つ？
機械学習の訓練予算を比較する際、部分集合の選択費用も含む評価設計に役立つ。
この研究の面白いところ
各選択法に有利な条件を与えても、調べた実時間予算では高度な選択法が勝たず、全データ走査の固定費が効いていた。
どこまで分かった？
結論は調べた4データセット、11選択法などの範囲に基づく。部分集合の再利用によって選択費用が回収できる場合も別途分析している。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
コアセット選択は、ラベル付き学習データから代表的な部分集合を選び、学習費用を下げようとする。しかし通常は、選択にかかる時間や各成績の背後にある学習手順を考慮せず、固定された部分集合の大きさで下流の正確度を評価する。本研究は、下流の学習手順を統一し、選択と学習を同じ監査可能な実時間予算に計上する、端から端までのベンチマークを導入する。CIFAR-10からImageNet-1Kまでの4データセット、11の選択法、5つの選択割合、3つの乱数シードを扱い、1,500件を超える実行結果を公開した。 繰り返し標本を選ぶ先行研究では、予算を考慮するとランダムな戦略が有利と分かっていた。本研究の2種類の予算研究は、各選択法に最も有利な動作点を与えても、その結論が保たれるかを調べる。CIFAR-10とTiny ImageNetのそれぞれ8つの実時間予算の基準点では、高度な選択法が勝つ点はなく、勝者は毎回、クラスを均等にしたランダム抽出、繰り返しランダム抽出、または全データでの学習だった。ImageNet-1Kの固定予算比較では、全データを少ないエポック数で学習する方法が、調べたすべての選択法を上回り、費用も最小だった。 データセットごとの費用分析では、どの規模でも選択費用を支配するのは全データを一度走査する固定費であり、選択割合を小さくしても償却できず、絶対額も別のデータセットから外挿できないことが分かった。部分集合を再利用すれば選択がいつ見合うかも定量化し、広く使われるコードの正確性に関する9件の修正を記録した。そのうち1件は標準的なHerdingの比較結果を約6ポイント変えた。選択時間を無料の前処理として無視すると、評価すべき費用を測り損ねる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-19（UTC）
- 最新改訂
- 2026-09-19 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-19 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Coreset selection picks a representative subset of the labeled training set to make training cheaper. However, it is usually evaluated by downstream accuracy at a fixed subset size, ignoring both the time spent selecting the subset and the training recipe behind each reported number. We introduce an end-to-end benchmark that standardizes downstream training and charges selection and training to the same auditable wall-clock budget, spanning 4 datasets from CIFAR-10 to ImageNet-1K, 11 selectors, 5 fractions, and 3 seeds, with over 1,500 released runs. Repeated-sampling work has shown that budget-aware evaluation already favors random strategies. Our two budget studies test whether that verdict survives when every selector is granted its most favorable operating point. Across eight wall-clock budget anchors on each of CIFAR-10 and Tiny ImageNet, no anchor is won by a sophisticated selector: every winner is class-balanced random sampling, repeated random sampling, or full-data training. In fixed-budget duels on ImageNet-1K, training on all data for fewer epochs beats every selection strategy we probe while also costing the least. A per-dataset cost audit shows that selection cost is dominated at every scale by a fixed full-dataset scan, so it cannot be amortized away by selecting a smaller fraction, and its absolute size does not extrapolate from one dataset to another. We further quantify when selection does pay back through subset reuse, and document 9 correctness fixes to a widely used codebase, one of which shifts a standard Herding baseline by nearly 6 points. Selection time is not free preprocessing, and an evaluation that ignores it measures the wrong quantity.
著者のコメント
23 pages, 7 figures. Benchmark artifacts include per-run result tables, selected indices, and raw timing-audit tables
arXiv ID: 2609.22894 ／ 要約の誤りについて