Googleは2026年6月30日(米国時間)、表形式データの分類・回帰に特化した基盤モデル「TabFM」を発表しました。時系列予測モデルTimesFMと同じゼロショットの考え方を表データに持ち込むもので、XGBoostなどの従来手法で必要だったモデル訓練・ハイパーパラメータ調整・特徴量エンジニアリングを不要にし、初見のテーブルに対して1回のフォワードパスで高品質な予測を生成するとしています。モデルはHugging FaceとGitHubで公開されています。

背景と狙い

表形式データは企業のデータ基盤の中核で、顧客離反の予測や金融不正の検知など回帰・分類タスクが広く使われています。この領域では長年、AdaBoost・XGBoost・ランダムフォレストといった木ベースの教師ありアルゴリズムが優勢でしたが、新しいデータセットに適用するたびにハイパーパラメータ最適化とドメイン固有の特徴量エンジニアリングへ多大な工数を投じる必要がある点がボトルネックでした。

TabFMは、大規模言語モデルが示したin-context learning(ICL)によるゼロショット予測の考え方を表データに応用します。学習用の既存データと予測対象の行を丸ごと1つのプロンプトとして入力し、モデルの重みを更新せずに、推論時に列と行の関係を文脈から読み取って予測します。

アーキテクチャ

• ▸行・列の交互アテンション — TabPFNと同様に、列(特徴量)方向と行(サンプル)方向へ交互にアテンションを適用し、特徴量間の複雑な相互作用を捉える。手作業の特徴量設計に相当する処理を担う
• ▸行の圧縮 — 文脈化された各行の情報を1つの密なベクトル表現に圧縮する
• ▸ICL用Transformer — TabICLの効率的な方式を採り、圧縮済みの行ベクトル列に対してアテンションを行うことで計算コストを大幅に削減し、大規模なデータセットにも対応する

表は行や列を入れ替えても意味が変わらない2次元のデータであり、1次元の順序付き系列を前提とする通常の言語モデルの処理をそのまま適用できないため、TabPFNとTabICLの長所を組み合わせたハイブリッド設計を採用したと説明しています。

学習データとベンチマーク

• ▸評価環境 — 直接対決の勝率からEloスコアを算出する評価システム「TabArena」。分類38・回帰13のデータセット(サンプル数700〜15万)で評価
• ▸TabFM — チューニングや交差検証なしの単一フォワードパス構成
• ▸TabFM-Ensemble — 交差特徴とSVD特徴を追加し、非負最小二乗ソルバーで32通りアンサンブルの最適な重みを計算。分類タスクではPlattスケーリングによる較正も実施

産業規模の高品質な表データは機密性の問題からオープンには乏しいため、TabFMは構造的因果モデル(SCM)で動的に生成した数億件の合成データセットのみで事前学習されています。合成データで実世界の多様な分布や特徴量間の関係を捉えることで、未知の実データにもよく汎化するとしています。

TabArenaでは両構成が分類・回帰の上位10モデルに入り、入念にチューニングされた業界標準の教師ありアルゴリズムを一貫して上回ったとしています。

提供

モデルはHugging FaceとGitHubのリポジトリで公開されています。さらにGoogle BigQueryへの直接統合が進められており、数週間以内に、機械学習の専門知識がなくてもSQLの「AI.PREDICT」コマンドで高度な回帰・分類を実行できるようになる予定です。