背景:規模巨大,但除錯時間沒有變短
Netflix 每天處理超過二十億個請求,每秒產生約三千八百萬筆即時日誌事件;在二〇二四年十一月 Jake Paul 對 Mike Tyson 的拳賽直播中,其基礎設施同時支撐了約六千五百萬路串流。然而規模龐大並沒有讓問題排查變得更容易。根據 InfoQ 的報導,調查一次典型的應用程式回歸問題平均要花上約四小時,而其中大部分時間並不是在分析資料本身,而是工程師在各種不同系統之間手動拼湊「哪個服務依賴誰、這次部署改了什麼、警報和事故之間有沒有關聯」這類關係資訊。
問題的根源在於訊號分散。Netflix 其實早已在應用與基礎設施上全面收集 MELT(Metrics、Events、Logs、Traces,即指標、事件、日誌與分散式追蹤),但這些訊號分別落在警報系統、事故管理工具、部署平台與工程師的溝通工具裡。一次應用回歸可能源自客戶端版本、某個實驗、基礎設施的負載卸載,甚至是下游好幾層依賴服務的異常。每個系統都握有部分線索,但要把它們連起來,過去只能靠人。
核心做法:用本體論把關係變成一等公民
Netflix 提出的解法是建立一套 Observability Ontology(可觀測性本體論)。這裡的 ontology 指的是一種正式定義資料結構的方式:明確描述營運實體(例如服務、警報、部署、事故)、它們的屬性,以及實體之間的關係。這套模型採用了成熟的語意網標準,包括 RDF(一種以三元組表示資料的標準)、OWL(用於描述本體的語言)、SHACL(資料驗證規則)與 SPARQL(圖譜查詢語言),而整個知識圖譜則存放在 QuipuDB——Netflix 自研、以 Rust 的 redb 儲存引擎為基礎的分散式 RDF 資料庫。
圖譜的資料來自一群稱為 enrichers(增強器)的元件。它們從各營運系統取入資料,轉換成主詞—述詞—受詞的三元組結構。部分轉換是確定性的規則處理,另一些則使用大型語言模型與機率方法來解讀非結構化內容,例如事故討論串中的文字。為了避免 LLM 產出污染資料品質,Netflix 加上了嚴格的驗證機制:統一的實體類型、URI 命名規範,以及與內部軟體目錄的核對。
值得注意的是,Netflix 也把事故討論中人類的推理過程——假設、被否定的解釋、最終的緩解決策——沉澱進圖譜。這讓過去在對話結束後就消失的經驗,變成可重複使用的營運知識。
從關聯引擎到 AutoRCA:知識飛輪的運作方式
在圖譜之上,Netflix 的關聯引擎會檢查十三種訊號類型,涵蓋日誌錯誤、指標異常、追蹤、警報、事故、部署、設定變更、實驗與程式碼變更等,並根據時間接近性、嚴重度等證據評估潛在因果關係,產出排序後的假設清單。整體流程被形容為一個「知識飛輪」:觀察、增強、推論、調適——每次調查產生的新洞見又回饋到圖譜中,讓未來的偵測與分析更精準。
這套語意基礎同時支撐了 Netflix 內部的 AutoRCA,一個以 AI 代理(agentic AI)進行根因分析的系統。設計上的關鍵是讓各專職代理以本體作為共同介面:負責分析追蹤、日誌或部署的代理,可以對同一批營運實體貢獻資訊,而不必理解彼此的內部實作,避免了代理之間交換鬆散非結構化結論的混亂。Netflix 的目標是對事故產出有證據支撐、附排序的解釋,但建議的變更與修復措施仍由人類保留核准權。
影響與限制
市面上 Datadog、Dynatrace、Splunk 等可觀測性平台早已在做訊號關聯,並持續把 AI 帶進事故調查。Netflix 作法的差異點在於強調訊號背後的語意模型:把營運關係持久化,讓工程師與機器都能直接查詢,而不是每次都即時重新推斷。這對高規模、微服務依賴複雜的環境特別有價值,也為自動根因分析打下結構化的地基。
不過限制也清楚存在。目前人類仍是核准變更的最終把關者,Netflix 的終極目標——從自動根因分析推進到自動修復與自癒基礎設施——還在演進中;公司同時規劃把這套能力整合進其 Unified Data Architecture,將營運資訊與更廣的業務與技術領域連結。換句話說,這條路線解決的是「知識如何累積與共享」的問題,但要真正達到無人介入的自癒,還有信任、安全與驗證機制必須補齊。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。