数値の位置と文脈での意味を分けるクリック率予測
ScalarLens: Numerical Embeddings with Stable Coordinates and Contextual Responses for CTR Prediction
この論文をやさしく読む
ひとことで言うと
クリック率を予測するとき、数値の位置は固定し、その意味づけだけを周囲の情報に応じて変える方法です。
何に役立つ？
カテゴリと数値が混在する予測モデルで、同じ値が状況ごとに異なる影響を持つ場合に役立ちます。
この研究の面白いところ
数値の安定した座標と文脈による応答を分離し、複数の尺度・モデル・データセットで検証しています。
どこまで分かった？
評価は3データセットと9種類の基盤モデルなどの指定設定です。オンライン運用でのクリック率改善は要旨に示されていません。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
クリック率（CTR）予測の数値埋め込みには、一つの数値には一つの表現が対応するという便利だが制約の強い前提がある。これは、値が数直線のどこにあるかと、その標本で何を意味するかを混同する。Criteoの検証データでは、カテゴリ情報やほかの数値の文脈によって、同じ数値区間でも、加算的な主効果を取り除いた後のクリックとの関連が逆符号になった。運用時には外部で正規化する特徴量の変換や統計値を、学習時と提供時で同期し続ける必要もある。本研究では、数値そのものを保ちながら文脈に応じて解釈を変える数値埋め込みScalarLensを提案する。単調な局所メッシュが対象数値だけから安定した座標を作り、値を動かさず、カテゴリのトークンやCTR予測の基盤も置き換えずに、範囲を制限した低ランクの動的な仕組みが文脈依存の応答を生む。19種類の表現、3データセット、9種類の基盤モデル、3種類の乱数初期値を含む計1539回の主要評価では、元の数値尺度のまま27設定中25設定で1位、残り2設定で2位だった。条件を合わせた要素除去実験では、尺度の補正、局所的な表現力の追加、一般的な条件付けだけでは改善を再現できなかった。制御された研究では、対象数値の座標を完全に固定したまま、文脈変化に応じてカテゴリ、数値、両者が混ざる応答の仕組みを再現した。共通の標準化を施した再実験でも、DEER、DAES、NaryDisより有意な優位を保ち、元の尺度への耐性だけでは結果を説明できなかった。著者らは、数値埋め込みを、座標は値そのものに属し、予測への応答は文脈の中の値に属するという測定の問題として捉え直す。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-24（UTC）
- 最新改訂
- 2026-09-24 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-24 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Numerical embeddings for click-through rate (CTR) prediction are built on a convenient but restrictive premise: a scalar has one representation. This premise conflates where a value lies with what it means for the current sample. On the Criteo validation split, the same numerical interval carries residual click evidence with opposite signs across categorical and numerical contexts, even after additive main effects are removed. Production pipelines compound this mismatch because externally normalized features require transformations and statistics to remain synchronized between training and serving. We introduce ScalarLens, a numerical embedding that preserves what a value is while adapting how it should be interpreted. A monotone local mesh constructs a stable coordinate from the focal scalar alone; bounded low-rank dynamics then produce a contextual response without moving that coordinate or replacing categorical tokens and the CTR backbone. In a 1,539-run primary evaluation covering 19 representations, three datasets, nine backbones, and three seeds, ScalarLens ranks first in 25 of 27 settings on original numerical scales and second in the remaining two. Matched ablations show that scale correction, additional local capacity, and generic conditioning do not reproduce the gain. A controlled study further recovers categorical, numerical, and mixed response mechanisms under context shift while the focal coordinate remains exactly invariant. A complete rerun under shared standardization retains significant advantages over DEER, DAES, and NaryDis, showing that the result is not explained by tolerance to raw scales alone. ScalarLens therefore recasts numerical embedding as a measurement problem: coordinates belong to values, while predictive responses belong to values in context.
著者のコメント
12 pages, 5 figures
arXiv ID: 2609.29182 ／ 要約の誤りについて