在現代的大規模企業系統中，最令人頭痛的往往不是如何處理數據，而是數據「長得不一樣」。LinkedIn 的招聘業務面臨的就是這個問題：他們需要從各種不同的申請人追蹤系統（Applicant Tracking Systems, ATS）、職涯網站以及各大求職平台獲取數據。由於每個外部系統定義的欄位、格式與邏輯都不同，導致數據呈現碎片化，這讓後端的數據分析與 AI 功能難以發揮作用。
為了打破這種數據孤島，LinkedIn 打造了一個統一的整合平台（Unified Integrations Platform）。這個平台的目標不是直接取代舊系統，而是建立一個標準化的中間層，將所有混亂的外部數據轉化為統一的語言。
統一數據管線的核心架構
為了實現大規模的數據標準化，LinkedIn 將其架構分為三個關鍵層級，這對於任何需要處理異質數據（Heterogeneous Data）的工程師來說都具有參考價值。
第一層是標準化層（Standardization Layer）。它的任務是將來自不同來源的數據進行正規化（Normalization）。無論外部系統將「應徵者姓名」定義為 name 還是 full_name，這一層都會將其統一轉換為平台定義的標準 Schema（數據結構），從而屏蔽掉底層系統的差異。
第二層是編排層（Orchestration Layer）。數據的流入並非簡單的搬運，還需要經過驗證、對帳（Reconciliation）與工作流管理。LinkedIn 使用了 Temporal 這種工作流編排工具來確保過程的可追溯性與可重試性，並搭配 Kafka 串流處理與 Espresso 持久化儲存，確保數據在傳輸過程中不會遺失且能維持高可用性。
第三層是強化層（Enhancement Layer）。標準化後的數據可能仍有缺失或重複。強化層會負責填補數據空白、去除重複紀錄（Deduplication）並增加額外的信號標記，讓數據在進入下游系統前達到最高品質。
為什麼這對 AI 至關重要
許多團隊在導入 AI 時會發現，如果輸入的數據品質低劣，AI 產出的結果也會同樣糟糕（即 Garbage In, Garbage Out）。對於 LinkedIn 的 AI 招聘助手（Hiring Assistant）而言，它需要精準地理解候選人資歷、職位需求以及招募人員的互動紀錄。
如果數據分散在不同格式的管線中，AI 無法有效地將這些信號聚合在一起。透過這個統一平台，AI 現在可以基於一個一致的數據基礎，將碎片化的信號轉化為具體的推薦建議與自動化決策支持。
實務影響與工程價值
從工程實務來看，這次整合帶來了顯著的量化提升。首先，外部合作夥伴的對接時間（Onboarding Time）減少了 72%，因為不再需要為每個夥伴撰寫客製化的轉換邏輯（Custom Transformations），只要符合統一模型即可快速接入。
其次，這種設計採取了共存而非取代（Coexistence, not replacement）的策略。這意味著他們不需要一次性砍掉所有舊系統，而是透過建立一個共享的基礎設施，逐步將舊的孤島管線遷移至統一平台，降低了系統遷移的風險。
總結來說，LinkedIn 的做法證明了在追求 AI 功能之前，必須先解決數據的底層一致性問題。一個穩定、可觀測且高度標準化的數據管線，才是支撐高階 AI 應用能否被用戶信任的基石。
來源：infoq.com
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。