表データ基盤モデルの特徴量を少ないメモリで扱う方法
Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models
この論文をやさしく読む
ひとことで言うと
表データの列が多いとき、学習済みモデルを変更せずに、より多くの特徴量を少ないGPUメモリで使う推論法。
何に役立つ?
幅の広い表を基盤モデルで予測するとき、メモリ制約の下で特徴量を残す方法の検討に役立つ。
この研究の面白いところ
特徴量を小さな単位に分けて符号化し、予測前に情報を統合する。6モデル・18データセットで精度とメモリを比較している。
どこまで分かった?
結果は指定されたデータセット群、モデル、固定分割、測定したメモリ上限に基づく。すべての表データで同じ改善が得られるとは示していない。
v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。
アブストラクトの日本語訳
表データの基盤モデルには、列数が増えると特徴量間の全ての組合せを扱う計算量が二乗で増える一方、特徴量を選んで減らすと情報を捨てる、という課題がある。本研究は、学習済みの基盤モデルを変更せずに推論する枠組み Support-Compiled Feature Folding(SCFF)を提案する。サポートデータに基づき順位付けした特徴量を、元の特徴量エンコーダー内の大きさを制限した単位へ振り分け、残余の情報をサポートデータで確認し、符号化された情報を統合して一度だけ文脈に基づく予測を行う。予測をアンサンブルしたり新たなパラメータを学習したりせず、局所的な作業領域の大きさを抑えながら、特徴量間の処理量を列数に対して二乗から線形へ変える。固定した AMLB-29、TabZilla、TabArena のスナップショットに含まれる幅広い表の18データセットを網羅した評価では、対象の6種類すべての基盤モデルで、データセットを単位に平均した正解率と負の対数尤度(NLL)が改善した。列数を合わせた4種類の比較はすべて、固定した分割でのデータセット・ブートストラップによる95%区間で有利な結果を保ち、相対誤差の低減は最大26.1%だった。対応する実行のGPUメモリ使用量の中央値は2.09~2.36倍少なく、別々に観測された最大ピーク値の比は34.3倍に達した。測定したピークメモリの上限の下では、節約した容量を使ってサポートデータで選んだ情報をより多く保持でき、事前指定した TabICLv2 と TabPFN-3 の wide-Core 層では、実行可能な最大幅の単一単位より正解率がそれぞれ4.06、3.72ポイント高かった。
v1の要旨から自動生成。本文の精読・人による確認は未実施。
- 初稿
- 2026-09-23(UTC)
- 最新改訂
- 2026-09-23 · v1
- 査読・掲載
- 査読状況未確認
更新履歴
- v1 2026-09-23 この版を読む
取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。
原文の要旨
Tabular foundation models face a feature-side scaling dilemma: full-width pairwise mixing grows quadratically with the number of columns, whereas feature selection saves memory by discarding evidence. We introduce Support-Compiled Feature Folding (SCFF), a training-free inference framework that resolves this dilemma without changing the frozen backbone. SCFF routes support-ranked features through bounded leaves of the native feature encoder, support-checks the residual evidence, and merges the encoded messages before a single contextual prediction. It thereby converts quadratic feature-interaction work into linear-in-width work with a bounded local working set, without ensembling predictions or training new parameters. On the exhaustive 18-dataset wide-table slice of fixed AMLB-29, TabZilla, and TabArena snapshots, SCFF improves dataset-macro accuracy and NLL on all six evaluated backbones. All four matched-width comparisons retain favorable 95 percent dataset-bootstrap intervals on locked folds, with relative error reductions up to 26.1 percent. Median paired GPU-memory savings are 2.09x to 2.36x, and the ratio of separately observed maximum peaks reaches 34.3x. Under a measured peak-memory ceiling, SCFF uses the saved budget to preserve more support-selected evidence, improving accuracy by 4.06 and 3.72 points over the widest feasible single leaf on predeclared wide-Core strata of TabICLv2 and TabPFN-3.
arXiv ID: 2609.28208 / 要約の誤りについて