在面對極端流量峰值（Traffic Spikes）時，許多系統會陷入一種名為「擁塞失效」（Congestive Failure）的惡性循環：伺服器因為過載導致回應延遲增加，請求在隊列中堆積，進而耗盡記憶體或導致健康檢查失敗。一旦單台實例崩潰，流量會轉移到剩餘的實例，觸發連鎖反應，最終導致整個叢集崩潰。
即便有自動擴展（Autoscaling），反應式擴展（Reactive Scaling）通常需要數分鐘才能生效，而預測性擴展（Proactive Scaling）則成本極高且受限於雲端供應商的資源上限。為了在資源不足時依然能維持核心功能的可用性，Netflix 實作了一套「優先級負載棄置」機制。
理解負載緩衝區的概念
在討論技術實作前，必須先定義如何衡量一個叢集的承載能力。Netflix 將其視為兩種緩衝區（Buffer）：
成功緩衝區（Success Buffer）是指在不影響正常服務的前提下，系統能額外處理的請求量。例如，基準流量為 100 RPS，若能處理到 130 RPS 且延遲不增加，則擁有 0.3x 的成功緩衝區。
失敗緩衝區（Failure Buffer）是指系統在進入崩潰前，能「優雅地拒絕」請求的能力。拒絕請求（Shedding）消耗的資源遠低於處理請求。如果系統在 130 RPS 之後，能額外拒絕 120 RPS 而不影響那 130 個成功請求，則擁有 1.2x 的失敗緩衝區。
一個健康的系統應該在流量激增時，利用失敗緩衝區迅速拒絕多餘請求，確保基準流量的成功率，而非讓所有請求一起變慢直到崩潰。
從普通棄置到優先級棄置
一般的負載棄置（Load Shedding）是隨機或均等地拒絕請求，這雖然保護了伺服器，但對使用者體驗不佳。Netflix 意識到並非所有請求的價值都相同。
以播放 API 為例，請求分為兩類： 預取請求（Prefetch）：當使用者瀏覽介面時，系統預先抓取資料。這類請求失敗了使用者感覺不到，僅會導致點擊播放時延遲微增。 使用者觸發請求（User-initiated）：使用者真正按下播放鍵。這類請求失敗會直接導致播放失敗，是關鍵路徑。
優先級負載棄置（Prioritized Load Shedding）的核心邏輯是：當系統資源吃緊時，優先捨棄低優先級（如預取）的請求，將剩餘的成功緩衝區全部讓給高優先級請求。這樣即使在極端過載時，核心功能依然能維持 100% 可用。
技術實作路徑
優先級的判定與傳遞 為了降低判定成本，Netflix 使用請求標頭（Request Header）來標記優先級。優先級在 API 閘道（Zuul）處根據 API 類型與設備狀態決定，隨後透過 Contextflow 機制（一種自傳播標頭）在整個微服務呼叫鏈中傳遞。
利用 Sidecar Proxy 實作 早期的棄置邏輯在 Java 函式庫中，現在則移至 Envoy Sidecar Proxy。這樣做有兩個好處：第一，可以在請求進入應用程式前就將其攔截，節省 CPU 資源；第二，實現應用層的隔離，讓高優先級請求能靈活地「搶佔」低優先級請求的容量。
監控利用率（Utilization） 系統需要一個領先指標來決定何時開始棄置。Netflix 使用兩種指標： CPU 利用率：適用於伺服器本身過載。 延遲（Latency）：當下游服務或資料庫過載時，本端 CPU 可能不高，但延遲會飆升。Netflix 定義「正規化利用率」為延遲超過 SLO（服務水準目標）的請求百分比。
例如，設定 CPU 60% 時開始捨棄低優先級請求，80% 時開始捨棄高優先級請求。
自動化調優與驗證
面對數千個叢集，手動設定閾值是不可能的。Netflix 建立了一套自動化平台：
自動配置生成：根據歷史延遲、流量分佈與 CPU 數據，自動為每個叢集生成韌性配置（Resilience Configuration）。 混沌工程驗證：利用 ChAP（Chaos Automation Platform）在金絲雀環境中注入流量峰值，驗證該配置是否能產生預期的成功與失敗緩衝區。 自動部署：驗證通過後，系統會自動提交 Pull Request 到應用程式碼庫，隨標準部署流程發布。
防止重試風暴（Retry Storms）
負載棄置會導致大量請求失敗，若客戶端盲目重試，會形成重試風暴，進一步壓垮伺服器。
Netflix 引入了「優先級嘗試預算」（Prioritized Attempt Budget）。客戶端會監控重試與初始請求的比例。當發現伺服器過載時，客戶端會採取優先級後退（Prioritized Backoff）策略：優先停止低優先級請求的重試，僅允許高優先級請求重試，從而減輕伺服器壓力。
總結
面對不可預測的流量峰值，Netflix 的策略是從「試圖承接所有流量」轉向「有策略地放棄部分流量」。透過定義緩衝區、實作優先級棄置、將邏輯下沉至 Envoy Proxy，並配合自動化混沌測試，系統能夠在極端壓力下優雅地降級，確保最核心的使用者體驗不受影響。
來源：infoq.com - Enhancing Reliability Using Service-Level Prioritized Load Shedding at Netflix
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。