背景
表格資料長期是企業機器學習的核心，客戶紀錄、交易明細、感測器日誌、保險理賠與訂單資訊，大多仍以行列形式保存。企業常利用這些資料預測客戶流失、信用違約、產品需求或價格，但過去二十年最可靠的方法仍是梯度提升樹，也就是透過大量決策樹逐步修正預測誤差的模型。這類方法的準確度很高，卻通常必須針對每個新問題重新蒐集標籤、設計特徵、調整超參數、驗證與部署，等於每一項任務都從零開始。
大型語言模型展示了另一種工作方式：模型在預先訓練後，可以根據提示中的少量範例直接完成新任務，而不需要更新模型權重。這種能力稱為 in-context learning，中文可理解為「上下文學習」。NVIDIA 在 Hugging Face 發表的 Kumo Tabular 正是把這個概念套用到表格資料。它屬於 Kumo Structured 模型系列，使用者只要提供已標註的資料列作為上下文，以及尚未標註的查詢資料列，模型便能在單次前向傳遞中輸出分類機率或迴歸數值，不需要另外訓練、調參或進行傳統特徵工程。
核心架構
Kumo Tabular 是一種針對表格結構設計的 Transformer，也就是利用注意力機制找出資料之間關係的神經網路架構。它的設計承接 TabICL 與 TabPFN 對表格預測的研究方向，重點是同時理解三個層次：每個數值在欄位分布中的意義、同一資料列內不同欄位如何交互作用，以及有標籤的上下文資料列如何協助推斷新資料列的結果。
模型首先把一組儲存格轉換成 token，也就是模型可以處理的向量單位。數值型與類別型欄位分別透過 Fourier features 編碼；這項方法使用不同頻率的正弦與餘弦函數表示數值，使模型更容易捕捉數字大小、周期與相對位置。缺失值不需要事先填補，而是由特殊嵌入直接表示。上下文中的每個 token 也會加入標籤嵌入，讓模型知道哪些欄位是已知答案。
接著，模型透過欄位注意力與資料列注意力形成整列資料的表示。欄位注意力觀察同一欄位內的所有資料，判斷某個數值在整體分布中是常見還是異常；其計算成本隨資料列數線性增加，而不是出現平方級成長。資料列注意力則觀察同一列中的不同欄位，學習特徵如何共同影響目標。每列最後由四個可學習的 CLS token 彙整資訊，因此後續預測成本不再直接受到欄位數量影響。
在最終的上下文學習階段，已標註資料列可以彼此關聯，待預測資料列則只會參考這些上下文資料列。這代表單一預測結果不會受到其他同批查詢資料影響，也使上下文的鍵值快取只需計算一次，之後可以重複用於新預測。模型還採用 Test-GQA 降低每次查詢需要讀取的快取量。分類任務會輸出類別機率，迴歸任務則輸出 999 個分位數，因此除了單一預測值，也能描述預測分布與不確定性。
為了避免注意力在資料列增加時變得過於分散，Kumo Tabular 會依照鍵值數量的對數調整注意力溫度，而且每個注意力頭都有自己學到的係數。這項設計讓模型面對比訓練時更大的表格時，仍能維持較明確的注意力焦點，而不是在數萬列資料中被平均稀釋。
訓練方式與資料生成
Kumo Tabular 完全以人工生成的表格預訓練，不直接使用真實企業資料。生成器以 Structural Causal Model，也就是結構因果模型，為基礎。它會先決定表格大小、任務類型、資料機制與缺失模式，再建立連接隱藏變數的隨機因果圖。圖中的節點會依序經過線性映射、小型神經網路、決策樹或 Gaussian process 等隨機函數計算，部分節點成為數值或類別欄位，一個節點成為預測目標，其餘則保留為看不見的潛在原因。
生成器還會加入欄位相關性、極端值截斷、不同形式的缺失資料、高基數類別欄位、重尾迴歸目標，以及可能讓相似資料列產生不同標籤的粗粒度特徵。由於它是程序化產生器，而非從既有資料模仿分布的生成模型，因此可以持續產生具有新因果圖與新機制的表格。系統也會用快速樹模型檢查表格是否具有可學習訊號，避免浪費訓練在沒有規律的資料上。
訓練分成三個階段。最長的第一階段使用 1,024 列、最多 100 欄的表格；第二階段讓上下文長度在 400 至 10,240 列之間變化；第三階段則擴大到 60,000 列。Small、Medium 與 Large 版本分別使用約 3,500 萬、7,100 萬與 1.37 億張人工表格，參數量範圍約為 2,800 萬至 2.15 億。分類模型以交叉熵損失學習，迴歸模型則以分位數損失學習，兩者目前採用不同權重。
效能表現
根據 NVIDIA 與 Hugging Face 公布的結果，Kumo Tabular 在 TabArena、BeyondArena、TALENT 與 ScoringBench 四項基準中均取得第一或最高整體排名。在涵蓋調校後梯度提升樹、AutoGluon 及其他表格基礎模型的 TabArena 上，它以 1,950 的 ELO 分數位居第一；在相同單張 RTX 6000 Pro 評測環境下，速度比 LimiX-2 快 17 倍。三種模型尺寸也在準確度與效率之間形成新的 Pareto 前緣，意即在相近成本下取得更高準確度，或在相近準確度下使用更少計算資源。
其他評測也顯示類似趨勢。Kumo Tabular 在 BeyondArena 的 ELO 分數為 1,418，Improvability 分數為 7.78%；在 TALENT 的分類準確率、分類 log-loss 與迴歸 RMSE 三項整體排名中均居首位，平均名次分別為 6.67、3.98 與 4.22；在評估預測分布品質的 ScoringBench 上，Large 與 Medium 版本則分別取得平均名次第一與第二。
實務意義與限制
Kumo Tabular 的價值不只是提高排行榜名次，也在於把表格建模從「每個任務重新訓練」轉向「以既有標註資料作為即時上下文」。對需要快速測試新欄位、建立基準模型或處理多個相似預測任務的團隊而言，這種模式可以縮短從資料表到初步預測的流程。NVIDIA 也提供 GPU 原生的 structured-data-models 開源函式庫，可直接從 pandas.DataFrame 轉換資料、載入 Hugging Face 權重，並處理前處理、整合式預測與多類別擴充。
不過，模型並非完全不需要人工判斷。它原生支援數值與類別欄位，文字、圖片與時間戳仍需透過內建前處理方式轉換成可用特徵。單次前向傳遞最多涵蓋 10 個類別，更多類別需要透過 error-correcting output codes，也就是把多分類問題拆成多個二元判斷後再修正錯誤。若資料規模遠超訓練範圍，或待預測資料與上下文資料來自不同分布，準確度仍可能下降。因此部署前仍應使用自有保留資料檢查準確度與機率校準，不能直接以排行榜結果取代實際驗證。
Kumo Tabular 的程式碼可在 NVIDIA 的 structured-data-models GitHub 專案取得，模型權重則發布於 Hugging Face，並採用允許商業使用的 OpenMDW-1.1 授權。相關訓練配方與人工資料生成器尚未完整公開，這也代表外部研究者目前較容易使用與評測模型，但要完整重現其訓練流程仍需等待後續資料釋出。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。