對於很多剛入行的工程師來說，我們習慣於追求完全的自動化，認為只要寫好 Auto-scaling（自動擴展）邏輯或設定好 K8s 的 HPA，系統就能在流量暴增時自動撐住。但當你面對像 Netflix 這種等級的全球直播事件，例如吸引上億人同時觀看的大型拳擊賽時，你會發現單純依賴演算法是不夠的。因為直播的特性是即時且不可預測，任何微小的延遲或異常在千萬級用戶面前都會被無限放大。
為了應對這個挑戰，Netflix 提出了一個很有意思的概念叫做 Human Infrastructure（人為基礎設施）。簡單來說，他們不再把人視為維修系統的後勤，而是將人的判斷力直接納入技術棧的一部分，建立一套結構化的操作層，讓人類工程師能在自動化系統失效或遇到邊緣案例時，迅速介入接管。
在技術實作上，最關鍵的突破在於 Telemetry Hot Path（遙測熱路徑）。通常我們設計的 Observability（可觀測性）系統，為了節省成本和確保數據完整，會允許一定的延遲，這在點播影片（VOD）時沒問題，因為幾秒鐘的數據延遲不會影響用戶體驗。但在直播場景中，如果監控數據延遲 30 秒才報警，可能已經有數百萬用戶卡在緩衝畫面了。因此，Netflix 獨立出了一條低延遲的數據流，將最關鍵的指標，例如 Start-up failures（啟動失敗率）和 Rebuffer rates（重新緩衝率）優先傳輸。這讓操作團隊能在毫秒級的時間內發現問題，在故障擴散成大規模崩潰前就採取行動。
除了數據路徑的優化，Netflix 還成立了 Live Operations Centre（直播操作中心）。這就像是一個戰爭指揮室，提供了一套能繞過自動化協議的指令結構。當自動化腳本無法處理未曾見過的異常狀況時，工程師可以使用自研工具直接進行流量導向或區域容量再平衡。這種設計理念與 YouTube Live 類似，核心在於保留 Manual Override（手動覆蓋）的能力，確保在極端情況下，人類的經驗能優先於演算法。
此外，這種轉型也影響到了後端商業邏輯的設計。在處理海量流量的驗證時，Netflix 從純粹的實時授權轉向混合模式，引入了 Validation Windows（驗證窗口）和 Graceful Degradation（優雅降級）。這意味著當流量尖峰導致驗證系統壓力過大時，系統會採取一種較寬鬆的驗證方式，優先保證用戶能進入直播間，而不是因為驗證失敗而直接把用戶擋在門外。
總結來說，Netflix 的經驗告訴我們，在極大規模的系統設計中，技術的頂峰並非完全取代人類，而是如何將人類的判斷力高效地整合進系統中。當自動化處理常態，而人為基礎設施處理異常，兩者協作才能在最極端的壓力下維持服務的穩定。
來源：infoq.com
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。