Yelp 是美國知名的平台服務公司,內部大量使用 Cassandra 這套分散式資料庫儲存核心資料。在正式說明這次遷移之前,先交代幾個關鍵名詞:Amazon EKS 是 AWS 提供的 managed Kubernetes 服務,負責代管 Kubernetes 控制平面;EBS(Elastic Block Storage)是 AWS 的區塊儲存服務,可以想像成掛在虛擬機上的虛擬硬碟;StatefulSet 則是 Kubernetes 中專門管理有狀態工作負載的資源類型。根據 InfoQ 在 2026 年 11 月 18 日刊出、由 Claudio Masolo 撰寫的報導,Yelp 的網站可靠性團隊在部落格中詳細記錄了這次遷移:總共涵蓋約 90 個正式環境的 Cassandra 叢集,過程對使用者完全零停機,也沒有任何資料遺失,其中最大的叢集是一個 54 個 pod 的使用者資料儲存,端對端耗時約 12 小時。
問題的核心在於,Yelp 早就透過自家的 PaaSTA 部署層把無狀態工作負載搬到了 EKS,但 Cassandra 一直留在舊的自管 Kubernetes 叢集上。原因很實際:Kubernetes 本身沒有內建機制可以把 StatefulSet 和它綁定的持久化儲存一起搬到另一個叢集。業界常見做法是在新叢集加節點、讓資料透過網路串流過去,再關掉舊節點,但這會讓運算容量暫時翻倍,還得付出資料傳輸費用;對 Yelp 最大的幾個叢集來說,光是串流資料就可能耗時數週。團隊也考慮過區域容錯切換後重建、或直接在 EKS 上建立新的 Cassandra 資料中心,但這兩條路對客戶而言透明度都較低,最後被捨棄。
Yelp 最終採用的做法被命名為「Rolling PV Transplant」,概念上像換門牌而不是搬家具。關鍵在於兩個特性:第一,EBS 磁碟區綁定的是可用區(Availability Zone),而不是某個 Kubernetes 叢集;第二,Kubernetes 的 PersistentVolume 本質上只是指向某個磁碟區 ID 的指標。操作流程是先在 EKS 端預先建立引用既有磁碟區 ID 的 PV 和 PVC,再建立一模一樣的 StatefulSet,讓這些 pod 停留在 ContainerCreating 狀態等待接手。接著自動化流程在舊叢集一次刪掉一個 pod,等磁碟區完成卸離(detach),讓 EKS 端的 pod 掛載(attach)同一顆磁碟。由於資料和 token 範圍都保持不變,pod 重新加入 Cassandra 的環狀拓撲時完全無感,然後對下一個 pod 重複同樣流程。Cassandra 的副本複製機制本來就足以容忍每個節點短暫離線幾分鐘,這是整套做法可行的前提。
遷移期間有兩個叢集上的 operator 同時管理同一個邏輯環,為了避免彼此搶著修正 pod 狀態而互相衝突,Yelp 在兩邊的自訂資源上都設了 skipReconciliation 旗標,搬完後才在 EKS 端解除。整體規模相當可觀:將近 1,000 個 pod、約 1,000 TiB 的資料,全部是用「改指標」的方式移動,而不是走網路傳輸。由於整個過程中沒有任何節點被正式從環上除名,回滾就等於把同樣的操作反向執行一次。團隊實際動用回滾數次,處理子網路定義缺失和憑證不符的問題,都在幾分鐘內把 pod 恢復原狀。整個專案的節奏也值得參考:先花一週人工在開發環境演練,再花一週把流程自動化,之後由一位工程師用約三週完成正式環境的推進,平均每天搬遷三到六個叢集。有趣的是,編排腳本約 800 行的 bash 是團隊請 Claude 從已驗證的人工操作手冊生成的,而不是請它憑空設計流程,腳本經過兩天測試後只需小幅修正。
這條路線並非沒有坑。真正屬於技術本身特有的一次故障,是 AWS CSI 控制器在 pod 刪除後留下了一個過期的 VolumeAttachment 物件,導致 EKS 端的 pod 一直卡在 Pending 且沒有錯誤訊息,在舊叢集手動刪掉該物件才解決。Yelp 因此建議任何自動化都應該對卡住的卸離與掛載操作設計明確的逾時機制。另外兩個教訓與遷移機制無關,卻更具普遍性:備份在 48 小時內因為新的 -eks IAM 角色尚未被排程任務採用而以 AccessDenied 失敗,而告警機制只開了工單、沒有觸發呼機通知;暫停修復作業也暴露出某個叢集的 repair 已被靜默停用三個月,累積了資料不一致。Yelp 明確建議,打算做類似遷移的團隊應在開工前先稽核修復狀態、備份的 IAM 角色和告警嚴重度。
同樣的磁碟移植技術也被 Yelp 用在 Kafka 叢集上,理論上適用於任何磁碟綁定在特定可用區的 Kubernetes 有狀態工作負載。不過這不是唯一路徑。Monday.com 的工程團隊曾發表另一種零停機遷移方案:在舊叢集旁邊把新叢集整個拉起來當作新的 Cassandra 資料中心,透過網路串流資料、確認安全後才退役舊環境,這正是 Yelp 評估後放棄的串流模型。兩種做法的取捨很清楚:Yelp 的磁碟移植跳過資料傳輸和額外運算,回滾只需換指標,但依賴 EBS 綁定可用區而非叢集這個特性;Monday.com 的做法不依賴該特性、舊環境全程完好,代價是遷移時間更長、且必須同時養兩套環境的容量。儘管機制不同,事後檢查的教訓卻高度一致——Monday.com 特別強調遷移後要驗證備份可用、補齊監控與告警,而 Yelp 自己的備份就在首批叢集落地 EKS 的 48 小時內因 IAM 角色不符而失效。結論是:這些驗證應該被納入遷移計畫本身,而不是當成事後打掃。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。