購入品の分類でデータ漏れを防ぐ評価方法
Spend Classification Without Leakage: An Evaluation Harness and What It Changed in a Deployed System
この論文をやさしく読む
ひとことで言うと
購入明細の分類で、同じ品目文が学習と評価の両方に入る漏れを避ける評価方法。
何に役立つ？
支出分析モデルを実運用に近い条件で比較し、精度の過大評価を防ぐのに役立つ。
この研究の面白いところ
漏れを防ぐと検索法とTransformerの差が見え、同じ文への異なるラベルから精度の上限も求める。
どこまで分かった？
州政府二つのデータと一つの運用事例での結果。テキストだけの上限はコーパス間で大きく異なる。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
自由記述の購入明細へ標準的な商品コードを割り当てることは企業の支出分析の基礎だが、報告される分類精度を検証しにくい。既存の結果は独自データや手順が記録されない非公開サンプルを使い、相互比較や公開ベンチマークがない。著者らは米国の二つの州政府から得たラベル付き購入明細126万件を対象に、四つの評価手順を持つ仕組みを構築した。企業は同じ物を繰り返し購入するため、ランダム分割では、テスト側の明細の60.7％と61.2％に学習側と一致する品目文があり、完全なバイト一致も54.7％と60.6％だった。カリフォルニア州の発注では、最良の古典的な基準手法の精度は繰り返し現れる文で56.0％、新規の文で31.9％で、24ポイントの差は分類体系が深くなるほど広がった。埋め込み検索は差を23.8ポイントから19.1ポイントへ縮めたが、追加学習したTransformerでも差はなくならなかった。一方、一つのコーパスでは漏れのある評価で検索法とTransformerを区別できなかったのに、漏れを防いだ三つの手順ではTransformerが2.3～3.6ポイント上回った。したがって漏れは両方式の数値を良く見せるだけでなく、実際の違いも隠す。同じ文に異なるコードが付く例から、テキストだけを使う分類器の精度の上限を導くと、一方のコーパスで79.4％、もう一方で98.4％となり、データセット間で精度を単純に比較できない。支出額で重み付けした上限は、ラベルよりも金額欄を強く反映する。920,927件の運用では、新規文の提案の32.4％をレビュー担当者が採用した。29.7～35.2％という範囲は31.9％と34.8％付近のベンチマーク率を挟む。運用中の評価用の仕組みを公開する。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-21（UTC）
- 最新改訂
- 2026-09-21 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-21 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Assigning a standard commodity code to a free-text purchase line underpins enterprise spend analytics, and its reported accuracy cannot be checked. Published results use proprietary data or private samples under undocumented protocols; no two compare and there is no public benchmark. We build a harness with four protocols over 1.26 million labelled purchase lines from two US state governments. Enterprises rebuy continuously, so random splits put matching item text on both sides: 60.7% and 61.2% of test rows, 54.7% and 60.6% byte for byte. On California orders the best classical baseline scores 56.0% on repeated text but 31.9% on novel text, a 24-point gap widening with taxonomy depth. Embedding retrieval shrinks the gap from 23.8 to 19.1 points; a fine-tuned transformer does not escape it. On one corpus leaky evaluation cannot separate retrieval from the transformer, while three leak-free protocols put the transformer 2.3 to 3.6 points ahead, so leaky splits hide real differences, not just flatter both. We derive an upper bound on text-only classifiers from identical text with conflicting codes: 79.4% commodity accuracy on one corpus against 98.4% on the other, so accuracy does not compare across datasets. Spend-weighting the bound reflects the amount field more than labels. In a deployment of 920,927 lines, reviewers accepted 32.4% of suggestions on the novel-text population; 29.7-35.2% brackets benchmark rates near 31.9% and 34.8%. We release the harness in production use.
著者のコメント
16 pages, 17 tables. Harness, protocol definitions and code reproducing every number: https://github.com/harshitg93/spend-classification-benchmark
arXiv ID: 2609.25502 ／ 要約の誤りについて