在企業數據分析的領域中,非結構化數據的價值已透過大型語言模型得到釋放,但對於許多工業與金融場景至關重要的「串流數據」(Streaming Data)則面臨不同的挑戰。串流數據代表了企業的即時狀態,例如設備何時會故障、支付交易是否異常或庫存何時將耗盡。過去,處理這類時間序列數據通常依賴於為單一場景量身定制的統計模型,這意味著數據科學家必須花費數月時間針對少數高價值指標進行建模,而其餘數以萬計的數據流則只能依靠經驗預留安全邊際,導致企業在決策滯後中支付高昂的隱形成本。
為了打破這一僵局,IBM 與 Confluent 合作將 IBM Granite 時間序列基礎模型(Time Series Foundation Models, TSFM)直接整合進 Confluent 的數據串流平台中。這種整合的核心在於將模型能力「原生化」於數據流之中,讓企業不再需要將數據從串流平台提取到獨立的機器學習環境中進行分析,而是在數據流動的過程中即時完成預測與偵測。
核心技術與運作機制
傳統的機器學習流程需要經歷數據提取、特徵工程、模型訓練與部署等繁瑣步驟,而時間序列基礎模型(TSFM)改變了這一邏輯。TSFM 在海量且多樣的信號數據上經過預訓練,具備強大的泛化能力,能夠在未見過的新數據流上直接提供準確的預測。
在技術實作上,IBM 的模型被部署在 Confluent Cloud 中,並透過 Apache Flink(一個高性能的分布式串流處理框架)進行調用。Flink 負責管理「狀態」(State),這對於時間序列至關重要,因為預測下一個數值必須依賴於最近的歷史數據,而異常偵測則需要對比目前的「正常基準」。透過 Flink 的狀態管理,模型可以在不需要頻繁訪問外部資料庫的情況下,獲取每個數據序列所需的歷史上下文。
對於開發者而言,這種整合將複雜的 AI 流程簡化為 SQL 函數。使用者只需調用 AI_FORECAST(預測)或 AI_DETECT_ANOMALIES(異常偵測)等 Flink SQL 函數,並透過簡單的參數切換模型,即可在生產環境中實現即時智能,無需構建複雜的 ML 堆棧或管理 GPU 基礎設施。
針對不同需求的模型組合
由於沒有單一模型能滿足所有場景,IBM 提供了一個互補的模型組合,以應對不同維度的決策需求:
PatchTST-FM 將時間序列視為類似文本的「塊」(Patch)來處理,每路變量獨立運算,能有效防止單一噪聲信號干擾整體預測,並提供概率分佈,適合需要設定風險百分比(如 90% 分位數)的需求規劃場景。
FlowState 採用連續時間動力學,能隨數據點即時更新摘要,使其能同時處理秒級的工業監控數據(SCADA)與小時級的市場數據。
TTM 則捨棄了複雜的注意力機制,改用輕量級的混合網絡,使其能在 CPU 上高效運行,適合需要每晚處理數十萬條序列的大規模監控任務。
TSPulse 結合了時間域與頻率域視角,專精於異常偵測、分類與缺失值填補,能回答「我們之前是否遇過類似情況」的關鍵問題。
實務應用與影響
這種即時智能的部署在多個產業中展現了顯著的生產力提升,通常能將開發週期從數月縮短至數天,生產力提升幅度達 5 到 10 倍。
在零售供應鏈中,需求規劃員可以使用單一模型覆蓋整個產品目錄,即使是沒有歷史數據的新產品,也能透過尋找相似產品的特徵來啟動預測。這將預測結果直接轉化為觸發信號,自動驅動補貨、定價或折扣策略,從而降低庫存積壓並減少缺貨。
在金融反欺詐領域,模型能為每張信用卡建立動態的「正常行為」基準。當交易發生時,模型在毫秒級的傳輸過程中即時評分,在資金轉出前即可攔截異常交易。由於基礎模型具備遷移學習能力,新產品或新市場在第一天即可獲得保護,無需等待標記數據的累積。
在工業製造中,例如化妝品或食品工廠,製程工程師可將模型視為模擬器。透過調整控制參數(如溫度、轉速),模型能即時預測產出品質或能耗,讓工程師在不影響生產的情況下尋找最佳運行點,將運營效率的微小提升轉化為數百萬美元的利潤。
限制與未來展望
儘管 TSFM 降低了 AI 的門檻,使其能由領域專家(如製程工程師或分析師)直接操作,但其效能仍依賴於數據流的質量與治理。Confluent 透過內建的 Schema(模式管理)與血緣追蹤,確保了推論管線的可審計性與安全性。
目前的部署重心在於將事件觸發的延遲從「天」縮短至「秒」,使信號能立即觸發後續的 AI Agent 或人工干預。隨著時間序列技術的演進,未來將更多地整合語義智能(Semantic Intelligence),透過向量嵌入(Embeddings)將當前的數據模式與歷史案例進行精準匹配,使 AI 不再僅僅是數據的記錄者,而成為即時決策的優化器。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。