背景:從一通週五晚上的客訴說起
Gearset 的工程團隊主管 Oli Lane 與 Julian Wreford 在 InfoQ 收錄的 QCon London 演講中,說明他們如何把分散式非同步佇列從團隊裡的「困惑來源」,變成能在生產環境中放心運行的基礎設施。故事起點是一通週五傍晚的客訴:一位重要客戶表示備份任務晚了約一小時,語氣相當不滿。對備份產品而言,按時完成是信任的基礎,團隊立刻翻出儀表板、指標、日誌與告警,拼湊出幾個看似合理的推論,做了幾項修正,然後下班。表面上問題處理完了,但 Oli Lane 心裡一直有個疙瘩:他們始終沒有回答最關鍵的問題,也就是那個任務為什麼會延遲,又為什麼剛好是那一次延遲。他形容這就像一本推理小說被撕掉了最後一章。
這個經驗促使他們重新思考觀測方式。Gearset 的產品本質上大量依賴排程與非同步工作,客戶會在特定時間觸發備份、同步或其他流程,系統必須在背景把這些工作可靠地完成。當系統規模擴大、服務數量增加,單靠既有的指標與日誌已經不足以回答「這個請求在整個系統中經歷了什麼」。因此他們導入 OpenTelemetry 的分散式追蹤,目標是從「盯著圖表猜測、大多時候只能攤手」,進展到「能明確指出分散式非同步系統裡的瓶頸位置」。
為什麼會出現佇列
Gearset 一開始是單體應用,雖然有多個副本,但實際出貨的映像只有一個。隨著責任逐漸混雜,他們決定把排程邏輯拆出來:排程服務負責在指定時間啟動使用者工作,並且擁有自己的資料庫。最初的整合方式很單純,排程服務透過 HTTP 呼叫核心應用的一個端點,請對方開始執行工作。這樣做雖然快速,卻立刻出現兩個典型問題。
第一是無法平滑負載。客戶可以自行選擇備份時間,而幾乎所有人都會選午夜,結果到了午夜,排程服務會同時送出數百個請求,讓核心應用瞬間承受巨大的平行工作壓力,幾乎等於被自己人發動阻斷服務攻擊。團隊可以擴充應用容量、在生產端手動節流,或干脆不讓使用者選時間,但這些都只是權宜之計。第二是工作負載沒有真正解耦。同步 HTTP 呼叫意味著生產者與消費者之間仍有硬依賴,一邊必須活著,另一邊才能正常運作;他們希望應用可以獨立下線,不必擔心排程服務當下在做什麼。
佇列同時解決了這兩個問題。排程服務可以把數百個工作丟進佇列,消費者依照合理的併發上限慢慢消化,生產者不需要知道消費者是誰。消費者若暫時離線,訊息會累積成待處理量,等應用恢復後再追上即可。對 Gearset 而言,這是導入佇列的主要動機,而一旦有了第一個佇列,後續許多地方也開始採用相同模式。
預設指標能給方向,卻給不了答案
多數佇列技術,不論是 SQS、Kafka、RabbitMQ 或其他系統,都會預設輸出幾項基本指標:佇列大小、入列速率、出列速率,以及正在處理中的訊息數量。直覺的判讀方式是:如果入列速率長期高於出列速率,表示放進去的比拿出來的多,佇列就會變長。佇列變長可能來自消費者故障、流量尖峰,或單筆訊息處理時間變長;無論原因是什麼,訊息開始堆積通常意味著延遲正在發生。
Gearset 最初就是監控這類指標,並建立 Grafana 儀表板。但隨著佇列數量增加到數十個、橫跨多個區域,儀表板愈來愈難管理,而且所有佇列並不是平等重要。有些背景工作的延遲幾分鐘無所謂,只要最終完成即可;有些佇列一旦延遲,使用者會立刻感受到。他們還自行補了一個指標:訊息被收到時,回推它原本的發送時間,藉此計算訊息在佇列上停留多久。這讓他們能掌握佇列是否正在回堵,以及是否已經開始拖慢工作。
問題在於,指標只能告訴你「大概去哪裡找」,無法告訴你「為什麼」。當告警響起,團隊仍得翻日誌、手動拼湊,有時花上好幾個小時追一個幽靈般的尖峰,最後對結論也沒有太大信心。在簡單系統裡,這種人工排查還算可行;但在相互連結的分散式系統裡,隨著產品規模成長,它很快就會變成不可能的任務。Julian Wreford 用一個比喻總結:指標給你森林,卻不給你樹;日誌給你樹,卻很難串成森林。他們需要的是介於兩者之間、能同時保留細節與因果關係的工具。
分散式追蹤補上了缺失的中間層
OpenTelemetry 是一個開源協定,支援多種遙測訊號,而在這場演講中,重點放在分散式追蹤。可以把追蹤想成結構化日誌的進階版:結構化日誌讓你傳遞鍵值對,便於查詢與過濾;追蹤同樣由帶有任意鍵值的事件組成,但它多了階層關係,即使事件由系統中不同部分產生,也能被重建在同一棵樹裡。这个階層讓你能看出因果順序:一個錯誤或延遲是由哪些事件依序造成、請求在到達某個服務之前經過了哪些系統。
一個最基本的追蹤由 root span 與多個子 span 組成。root span 代表進入系統的互動,例如客戶呼叫 API;子 span 則代表系統為了回應請求所做的活動,例如資料庫查詢、呼叫其他系統,或開發者特別關心的函式。每個 span 有名稱、時間長度,以及任意屬性。span 之間靠三個特殊屬性連結:trace ID 標識它屬於哪一條追蹤,span ID 唯一標識自己,parent ID 則指向它的上一個 span。除了 root span 沒有父節點,其餘 span 都有一個父節點。這種簡單的關聯方式,搭配查詢引擎,就能查詢 span 本身以及 span 之間的關係。
Gearset 使用 C#,OpenTelemetry 在該生態系中支援良好,HTTP 邊界上的追蹤傳遞几乎是開箱即用。他們很快看到多個操作如何串成單一客戶請求,甚至能看到跨區域、跨服務的 HTTP 呼叫自動延續追蹤。但佇列並不是即插即用。早期他們常常得跳進三、四條追蹤,才能拼出完整情境,雖然比日誌好,卻仍難以掌握請求全貌。
為此,他們在佇列客戶端的生產端與接收端各寫了一層小型中介層,大約一百行程式碼。發送訊息前,產生 trace context 並附加到訊息的中繼資料;接收訊息時,把中繼資料取出,再餵回原生 C# 函式庫。這裡需要傳遞兩項資訊:traceparent 與 tracestate。traceparent 是一段以連字號分隔的字串,包含 OpenTelemetry 版本、trace ID、發送端當時的 parent span ID,以及 trace flags;trace flags 目前主要用來表示整條追蹤是否應該被記錄。tracestate 則是一份鍵值清單,可攜帶少量狀態,後續會看到它很有用。
除了標準欄位,他們也附加了幾個自訂屬性。訊息的建立、發送與接收時間戳,讓他們能在查詢端計算訊息從發送到被接收之間隔,等於重現了先前自建的佇列延遲指標。subgroup ID 則用於 SQS FIFO 佇列,讓他們能看到子群組層級的併發狀況,進一步判斷阻塞是來自 FIFO 排序機制,還是整體佇列容量不足。中介層上線後,他們立刻能看到請求在系統中彈跳的完整生命週期:外部 POST 進入 webhook proxy 入列服務,驗證後放進第一個佇列;dequeue 服務取出後,再以 POST 送往 pipeline 服務;pipeline 服務初步處理後,放進另一個佇列,由不同的 pod 接手。這種視覺化能力,讓複雜的事件序列變得可理解,也能畫出服務之間的互連圖與平均延遲。
更意外的是,追蹤暴露了過去從未量化的浪費。Gearset 有一個忙了很多年的佇列,尖峰時段經常需要擴容。有了追蹤資料後,他們發現几乎所有執行最久的訊息都來自一段已不再需要的遗留程式碼。移除一個沒人意識到的依賴後,這個佇列全天都有充足容量,也不再需要為該區域的擴容傷腦筋。Oli Lane 形容,他們自以為很了解這些系統,卻發現生產環境裡還藏著大量「未知的未知」。
從佇列大小轉向以使用者延遲為核心的 SLO
有了追蹤資料,Gearset 的目標從「客戶抱怨後再查」轉為「在客戶感受到之前就發現」。這牽涉到一個問題:什麼叫做佇列健康?可測量的項目很多,包括錯誤率、單筆處理時間、吞吐量、延遲與佇列大小,而且彼此相關。處理時間變長,在消費者數量不變下,吞吐量會下降,佇列會變長,延遲就跟著上升。但也有反直覺的情況:如果某個 bug 讓大量訊息快速失敗,錯誤率飆高,其他指標反而可能看起來變好,因為失敗比正常執行快得多。
錯誤率通常是最明確的告警對象,但其他指標就沒那麼容易。佇列大小是最多人起步的地方,卻有兩個缺點。第一,難以調校:一千筆訊息可能瞬間處理完,五筆訊息也可能卡很久,每當系統特性改變,例如新增客戶、擴充基礎設施,告警門檻就得重新調整。第二,它與客戶體驗的關聯不夠直接。客戶不在乎佇列裡還有多少東西,只在乎自己的工作要求什麼時候完成。Oli Lane 用 Google Maps 比喻:導航在路況壅塞時,本質上是在警告一個不健康的佇列,但它告訴你的是「會多花幾分鐘」,而不是「有多少輛車在排隊」。因此 Gearset 把主要告警從佇列大小轉向延遲。
延遲告警的好處是,一旦觸發,就代表真的有一位客戶等待超過可接受的上限;而且當系統擴充或架構調整時,客戶可接受的延遲並沒有改變,告警不需要重新調校。這個邏輯其實適用於所有告警:盡量測量靠近真實使用者體驗的訊號,而不是內部服務指標。
下一個問題是,延遲幾乎必然是一個分布,而不是單一數字。平均值為三秒,可能代表每筆都延遲三秒,也可能代表大多數很快、少數極慢。Gearset 橫跨多個區域,卻希望同一種佇列只有一組告警,因為客戶體驗不應因區域而異;他們也採多租戶架構,並用 subgroup 來實現公平性,必要時讓突然爆量的客戶多等一些,以保護其他客戶,但同時仍要掌握公平機制對該客戶造成多少影響。對他們而言,八成客戶體驗良好、兩成受苦,並不可接受;但也不希望單一客戶超過門檻一毫秒就觸發告警。這就需要服務水準目標(SLO)。
SLO 的作法,是先定義服務水準指標(SLI),把每個事件分到「可接受」或「不可接受」兩個桶子。以佇列為例,一筆訊息若在兩秒內處理完成就是好事件,超過兩秒就是壞事件。這個定義可以很簡單,也可以依客戶類型、工作負載、端點、區域或星期幾而有不同標準。分桶之後,再設定目標:期望多少比例的事件是好的,從而推導出錯誤預算,以及預算耗盡或燃燒率異常時要發出的告警。這種設計既能對行為變化保持敏感,又能避免單一尖峰造成過多誤報。更關鍵的是,它與追蹤資料緊密整合:告警觸發後,團隊可以立刻看到事件分布,再從巨觀視圖跳進具體的失敗追蹤,並依「好壞」分組,快速找出慢速或錯誤事件的共同特徵。
一次實際排查的過程
演講中,Julian Wreford 用一個週五下午的情境說明整套流程。Slack 跳出告警:某個即時佇列出現延遲,客戶體驗可能受影響,SLO 預算即將用完。團隊先確認這是預期近乎 instantaneous 的佇列,然後查看每筆訊息的延遲分布,發現下午五點十五分左右有一個短暫尖峰,五點半之後又有一個。圖表軸線以分鐘為單位,而他們的目標是低於一秒,因此這些延遲對客戶而言已經相當有感。同時,佇列的併發 span 數出現平坦的上限,代表系統已達容量,訊息開始回堵。
他們的排查原則是:穩定系統會一直穩定,直到某件事改變。變化通常來自三類:自己弄壞了東西,例如 bug 產生更多訊息、出列端變慢,或某個下遊依賴變慢;使用者行為改變,例如單一客戶突然爆量,或客戶自然成長到尖峰時壓垮基礎設施;第三方出問題,例如 Salesforce、GitHub 或其他版本控制供應商變慢,連帶拖累處理能力。
他們先看消費者 span 的時長,發現幾個離群值,但逐一跳進追蹤後,沒有看到明顯異常。接著用關聯式查詢,按 root span 的名稱與服務分組併發數,檢查生產端是否出現工作量增加,結果也沒有明顯訊號。最後,他們改按訊息所屬的團隊 ID 分組,馬上看到一個藍色團隊產生了約三分之一的容量,並花了超過三十分鐘處理其中一大塊訊息。進一步過濾該團隊並拆解屬性後,發現多數工作負載由某一種特定請求驅動,而這種請求來自某個版本控制系統的 webhook,觸發點在程式碼的另一處。如果沒有這種可即時探索的寬事件資料,他們很可能只能盲目翻日誌,祈禱剛好看到正確線索。
實務技巧與仍然存在的限制
Gearset 也分享了幾個後來才摸索出來的作法。第一是追蹤整條 trace 的總時長。同步工作的 root span 通常涵蓋全程,查它的長度就夠;但非同步工作可能由一個短暫的 HTTP 請求啟動背景任務,root span 很快結束,真正的工作卻還在跑,此時只查 root 時長會漏掉一大段。他們的解法是在 trace 開始時,把時間戳放進 tracestate,讓它隨著 context propagation 傳遞到每個 span,再用計算欄位算出「距離 trace 開始多久」。這樣產品團隊問「使用者按下按鈕後,整個操作要多久」時,就能給出明確答案。
第二是 OpenTelemetry Collector。它是一個獨立元件,負責收集、處理與輸出遙測資料。Gearset 一開始讓各元件直接把資料送到後端,後來發現 Collector 的可配置性很有價值:它可以掛上各種外掛,融合不同來源的訊號,例如自動附加 Kubernetes pod 名稱、映像版本、IP 等中繼資料,也能過濾或轉換資料、掃描不該出現的權杖與密鑰、把不同用途的遙測分流到不同後端,並集中處理 API key、批次與重試。將這些複雜度從應用元件卸下後,可靠性明顯提升。
第三是巨大的 trace。有些工作負載執行數天,產生數十萬個 span,大到無法人工瀏覽。他們利用 span link 把大型工作拆成多條追蹤:在主要追蹤裡用一個 span 代表某個子任務,再連到另一條追蹤看該子任務的細節,並可雙向跳轉。這等於在追蹤層級實現縮放,需要時看高層結構,需要時再鑽進細節。
第四是工具之間的連結。導入追蹤並不代表日誌、Grafana 時序指標、錯誤回報或自製工具會消失。他們把 trace ID 放進所有日誌,取代原本的 correlation ID,並建立雙向連結:從追蹤跳到相關日誌,從日誌跳回追蹤;為此甚至寫了一個瀏覽器擴充套件,在日誌介面注入連結。這些小投資對開發者體驗的回報,比預期更高。
最後是採用問題。這不只是技術問題,也是文化問題。他們沒有把追蹤說成萬靈丹,而是到各團隊的工作現場辦工作坊、找出痛點,看到有人卡住時就示範如何節省時間,並讓好點子在不同團隊之間流動。當第一批人開始感受到價值,就會主動補上更多屬性與 span,形成正向飛輪。
限制也確實存在。Gearset 幾乎儲存所有追蹤,保留六十天,因為許多追蹤很長,尾部取樣往往得等數小時才能決定是否保留,屆時遙測資料已經落後,實用性大減。對他们而言,目前的解法是花更多儲存成本,並認為這是值得的;Oli Lane 也直言,這是 OpenTelemetry 生態仍有成長空間的地方。
整體來看,Gearset 的經驗說明,佇列觀測不能只停留在佇列大小與吞吐量。分散式追蹤讓團隊能從使用者請求的完整路徑出發,把生產端、佇列、消費者與下遊依賴串起來,再搭配以延遲分布為基礎的 SLO,將告警從內部指標轉向真實客戶感受。技術上,關鍵在於 context propagation、寬事件屬性與可探索的查詢;組織上,關鍵在於讓各團隊在自己的痛點上看見價值,而不是由上而下強推一套工具。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。