表データ基盤モデルにJEPAを加えた学習結果
A JEPA Recipe for Tabular Foundation Models
この論文をやさしく読む
ひとことで言うと
表データ基盤モデルでJEPAの潜在学習を安定させたうえで、値予測だけの学習と比較した。
何に役立つ？
表データで表現学習を追加する費用と性能を判断するための実験結果になる。
この研究の面白いところ
固定の学習予算ではなく各条件が頭打ちになるまで学習し、学習の遅さと最終性能を分けている。
どこまで分かった？
潜在項は崩壊せず収束したが、147データセットでの比較では値予測のみより劣り、学習時間も長かった。各条件1回の実行である。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
表データの基盤モデルは文脈を使ってセルの値を予測する。一方、ワールドモデルの自己教師あり学習では表現空間内で予測する。表データ基盤モデルの事前学習に共同埋め込み予測アーキテクチャJEPAを適用した以前の実行では、潜在項が崩壊し、エンコーダーも定数写像になった。本論文は、値の予測目的と並行して潜在項が収束まで生き残る設定を報告する。値の予測ヘッドは予測器ではなくエンコーダーの表現を読み、ターゲットには指数移動平均（EMA）の差分を使う。値予測だけの条件とのコスト比較では、固定の学習ステップ数を使わず、両条件を性能が頭打ちになる規則まで学習させた。以前の固定期間では、値予測だけの条件が通常の予算を超えても改善していたため、JEPAの学習の遅さと性能上限を混同していた。各条件1回ずつの実行で収束後を比較すると、JEPA条件は147件の実データセット全体で値予測だけの条件に劣った。分類では勝ち対負けが32対70（データセット名ごとに1件とした場合29対63）、回帰では8対24であり、差は分類では小さく回帰では大きい。層別および各ベンチマークでも件数の傾向は同じだった。JEPA条件が頭打ちに達するまでに必要なステップ数は値予測のみの1.42倍、実時間は1.66倍だった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-22（UTC）
- 最新改訂
- 2026-09-22 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-22 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Tabular foundation models learn to predict cell values in context, whereas world-model self-supervision asks for prediction in representation space (LeCun, 2022; Assran et al., 2023). On a tabular foundation-model prior, the latent term of a joint-embedding predictive architecture (JEPA) collapsed in our earlier runs and took the encoder with it to a constant map. We report a recipe under which the latent term survives to convergence beside the value objective: the value head reads the encoder field rather than the predictor, and the target is an exponential moving average (EMA) difference. To bound its cost against the value-only arm, both arms train until a plateau rule stops them, with no fixed step budget. A fixed horizon had confounded a slowdown with a ceiling, since the value-only arm was still improving well past the usual budget. At convergence, in one run per arm, the JEPA arm trails the value-only arm across 147 real datasets, 32:70 wins to losses on classification (29:63 with one entry per dataset name) and 8:24 on regression, the margin small on classification and wider on regression, and the count leans the same way in each stratum and each benchmark. The JEPA arm (jepa) needs 1.42 times as many steps as the value-only arm (ds), and 1.66 times its wall-clock, to reach its plateau.
著者のコメント
16 pages, 5 figures
arXiv ID: 2609.25541 ／ 要約の誤りについて