誤った較正ラベルに対処する表形式分類器のLWCal
LWCal: Loss-Weighted Calibration for Tabular Classifiers with Noisy Calibration Labels
この論文をやさしく読む
ひとことで言うと
較正用の正解ラベルにも間違いがある場合に、分類器の確率を調整する方法です。
何に役立つ？
ラベルの品質が十分でない表形式データで、確率較正を評価・改善する際の参考になります。要旨では九つの二値分類課題を使っています。
この研究の面白いところ
ノイズ率や正しい検証ラベルを必要とせず、極端に矛盾する場合は元の予測へ戻す変種も設けています。
どこまで分かった？
示された改善は指定された表形式二値課題とラベル汚染条件での結果です。他のデータ型や実運用での改善は要旨からは判断できません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
学習後の確率較正は通常、取り分けた較正用ラベルが正しいという楽観的な仮定の下で評価される。しかし多くのAI運用では、ラベルが弱い注釈者、過去の意思決定、経験則、間接的な教師信号から得られ、学習を汚すラベルノイズが較正にも入り込む。本研究は表形式分類器でこの見落とされてきた失敗を調べ、ノイズを含むラベルと基礎モデルの保留データに対する確率が矛盾する較正例の重みを下げる、CPUのみで動く学習後較正器LWCalを提案する。正しい検証ラベル、ノイズ率の推定、基礎分類器の再学習はいずれも必要ない。別の変種Gated-LWCalは保守的な不一致ゲートを加え、較正用の分割が極端に一貫しない場合には元の点数に近づける。表形式の二値分類九課題、六つの乱数種、対称・非対称のラベル汚染、三種類の木に基づく基礎学習器で評価したところ、LWCalの平均較正誤差が最も低く、Gated-LWCalは平均の適正スコアの釣り合いが最も良かった。ノイズを含む432条件での主なランダムフォレスト実験では、Gated-LWCalは元の分類器と比べ、期待較正誤差を0.188から0.122へ、負の対数尤度を0.438から0.396へ下げた。Gated-LWCalと元の分類器、Platt較正、等張回帰、ベータ較正との対応付きブートストラップ区間は、ECE、Brierスコア、負の対数尤度でゼロを含まなかった。公開物にはすべてのスクリプト、結果表、図、完成した論文が含まれる。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Post-hoc probability calibration is usually evaluated under an optimistic assumption: the held-out calibration labels are clean. In many AI deployment settings, however, labels come from weak annotators, historical decisions, heuristics, or distant supervision, so the same label noise that corrupts training also corrupts calibration. We study this overlooked failure mode for tabular classifiers and propose LWCal, a CPU-only post-hoc calibrator that down-weights calibration examples whose noisy labels are contradicted by the base model's held-out probability. LWCal requires no clean validation labels, no noise-rate estimate, and no retraining of the base classifier. A second variant, Gated-LWCal, adds a conservative disagreement gate that backs off toward the raw score when the calibration split appears extremely inconsistent. On nine local binary tabular tasks, six random seeds, symmetric and asymmetric label corruption, and three tree-based base learners, LWCal obtains the lowest average calibration error while Gated-LWCal obtains the best average proper-score tradeoff. In the main random-forest study over 432 noisy cells, Gated-LWCal reduces expected calibration error from 0.188 to 0.122 and negative log likelihood from 0.438 to 0.396 relative to the raw classifier. Paired bootstrap intervals for Gated-LWCal versus raw, Platt, isotonic, and beta calibration exclude zero on ECE, Brier score, and NLL. The artifact contains all scripts, result tables, figures, and the compiled paper.
著者のコメント
8 pages, 7 figures. Accepted at the 38th IEEE International Conference on Tools with Artificial Intelligence (ICTAI 2026)
arXiv ID: 2609.26839 ／ 要約の誤りについて