Beyond Observability: Evolving Production Operations in the Age of AI

, "": "近年來，AI 從程式碼生成逐步滲透到軟體開發與維運的每一個環節，生產環境的營運方式也隨之改變。傳統的可觀測性著重於提供儀表板與警報給人類觀看，但當 AI 代理開始參與第一線回應、故障排查甚至直接採取行動時，整個生產營運的邏輯必須重新思考。在 QCon San Francisco 的一場圓桌討論中，InfoQ 編輯 Renato Losio 邀請三位來自不同背景的專家，探討 AI 如何重塑生產營運：Michael Hausenblas 是 Genesys 平台工程部門 SRE 團隊的首席軟體工程師，曾在 AWS 服務團隊工作七年，專注於 OpenTelemetry 等開源可觀測性技術；Sujana Sooreddy 是 Netflix 的工程經理，負責媒體系統與可觀測性，涵蓋直播與編碼技術的基礎設施；Noam Levi 則是可觀測性平台 Groundcover 的共同創辦工程師與現任現場 CTO，該平台以 BYOC 架構與 eBPF 感測器著稱，強調隱私保護。這場討論圍繞一個核心問題：當 AI 不再只是建議工具，而是真正參與生產決策時，工程團隊該如何確保系統可理解、可問責、可控制。\n\nAI 在可觀測性的實際應用，目前最明顯的成果集中在事件回應與警報處理。Netflix 的 Sujana Sooreddy 指出，他們在所有的支援與警報頻道中部署了 AI 代理作為第一響應者，這不僅涵蓋平台團隊，也包含應用程式與產品團隊。這個做法顯著降低了平均修復時間，也大幅減少了支援問題的回應成本。她觀察到，相較於內部開發迴圈中不同模型產生不同程式碼風格的混亂，外部維運迴圈反而是 AI 帶來最大生產力提升的地方。Groundcover 的 Noam Levi 則從三個層面看待 AI 在可觀測性的角色：首先是生產端，用 AI 降低 MTTR 並加速解決支援工單；其次是開發生命週期本身，他認為今天的開發速度已經快到工程師無法完全內化自己送出的程式碼，因此可觀測性必須從代理輸出第一個 token 時就介入；最後是組織其他部門，他觀察到連非工程師也開始直接對可觀測性資料提出與業務相關的問題。換言之，可觀測性資料的消費對象正在從少數 SRE 擴展到整個組織。\n\n當談到 AI 具體解決哪些痛點時，Michael Hausenblas 強調「信任但驗證」的原則。他認為 AI 可以從開發階段的儀器化輔助一路延伸到生產事故的排查，但關鍵在於如何驗證 AI 的判斷。他以 Genesys 的客戶體驗業務為例，說明高機密資料與法規要求使得資料外洩風險成為首要考量，若有人員識別資訊（PII）透過 AI 代理外洩，最終仍需要有人類承擔問責。這並不意味著每個事故都要在凌晨三點把人叫醒，而是說在低風險情境下可以讓 AI 自主處理，但重大決策必須有人類負責。Noam Levi 則提出一個更宏觀的觀點：目前 AI 正處於所謂的 T0 階段，模型與工具的更迭速度快到難以判斷哪個應用場景更實用。他舉例說，幾個月前 Claude 還是主流模型，現在大家討論的又是其他模型；MCP 協定一度被認為是標準，很快又被重新包裝成 connector。他認為與其糾結 AI 在哪裡最有用，不如思考如何讓團隊產生 AI 能夠處理的訊號，因為當摩擦低於某個臨界值後，AI 能轉化的領域遠不止警報處理。\n\nAI 是否真的減少了營運複雜度，還是只是把複雜度移到別處？Noam Levi 觀察到，在所謂的 AI-first 公司中，平台互動已經幾乎完全代理化，有些公司回報超過 80% 的平台採用是透過代理完成的。這些團隊的工作重心從操作工具轉變為管理代理執行之間的人類上下文、確保代理有足夠的資訊完成任務，以及為代理的決策負責。他認為壓力的核心在於上下文切換的管理，以及建立安全的沙盒環境讓代理可以在其中做決策。Sujana Sooreddy 則強調，當程式碼從人類撰寫轉為代理生成時，傳統的軟體工程原則反而變得更加重要：驗證優先的基礎設施、合約重於實作、檢查點、自動化回滾，以及追求恢復速度而非預防速度。她指出，分散式系統本質上無法完全預防故障，因此每一次發布都必須有 canary 部署與完整回滾機制，SLO 與指標不再是事後想法，而是日常開發的一部分。她認為 AI 時代的生產工程其實就是好的工程本身，只是必須更嚴格地落實既有原則。\n\n非確定性系統的出現，是 AI 時代生產營運最根本的挑戰之一。傳統 SRE 的思維建立在系統行為可預測的假設上，但當 LLM 成為應用程式的一部分時，同樣的輸入可能產生不同的輸出，而且底層模型本身的變更也會劇烈改變行為。Noam Levi 指出，從 Opus 4.6 切換到 4.7 這類看似微小的模型版本變更，可能完全改變一支服務金融、發電廠或關鍵基礎設施的軟體系統的行為。他認為應對非確定性的唯一方法是持續引導應用程式，因為永遠會有新的輸入讓系統進入從未經歷過的狀態。Michael Hausenblas 則挑戰了「過去一切皆確定」的前提，他舉例說，任何試圖寫一個能在所有 Linux 發行版和 macOS 上運作的 shell script 的人都會明白，系統從來就沒有完全確定過。他認為代理化支援反而讓生產營運有機會從「園藝」式的藝術轉變為真正的工程，就像建造橋樑一樣，有明確的需求與載重標準，而這正是人類在迴圈中需要提供的判斷。\n\n可觀測性訊號的設計也在改變。Sujana Sooreddy 觀察到，傳統可觀測性系統是大量資料寫入、只有在出問題時才有人類消費，而當機器代理成為主要消費者時，訊號的粒度與取得速度變得至關重要。她分享了 Netflix 的實際經驗：從低基數（low cardinality）指標轉向高基數資料後，AI 的判斷精確度大幅提升，幻覺明顯減少。低基數資料容易讓模型產生幻覺，而高基數資料則能捕捉完整的軌跡，進而計算信心分數與機率分數。她認為 AI 時代的訊號必須盡可能細緻與完整，讓代理能快速判斷並行動。Michael Hausenblas 則從標準的角度回應，指出 OpenTelemetry 與 Open Cybersecurity Schema Framework（OCSF）等標準的互通性將越來越重要，可觀測性與安全合規的界線也正在模糊。他提出一個關鍵問題：五個月或一年後，誰是資料的主要消費者？人類坐在儀表板前可以運用腦中的組織脈絡判斷某個錯誤是否影響核心業務，但代理如果只有營運資料而缺乏組織與產品脈絡，其判斷品質將大打折扣。\n\n安全地交付代理化可觀測性，是另一個實務上無法迴避的議題。Noam Levi 建議團隊將安全視為一層持續疊加的防護，而非設計完成後就一勞永逸的屬性。他強調 sandbox 的重要性，並以前沿 AI 實驗室訓練模型的方式為例：這些實驗室在安全的沙盒環境中觀察 LLM 的行為，確認安全後才允許其進入應用程式。他認為代理化應用程式也應該採用同樣的邏輯，在上線前先放入「熵籠」中實驗，觀察應用程式在新模型下的行為變化。Sujana Sooreddy 則提出一個務實的觀點：代理並不需要知道內部資料的 payload，它真正需要的是拓撲與中繼資料，例如服務 A 呼叫服務 B 的關係。她建議組織投資於以決策記錄形式撰寫的上下文技能，以及預設零資料保留邊界的 harness。這意味著每個系統在設計時就內建資料保留邊界與明確的資料使用規則，而不是依賴個別工程師的判斷。\n\n如何區分模型層級的智慧失敗與基礎設施層級的可靠性問題？Sujana Sooreddy 分享了 Netflix 正在探索的方向：軌跡捕捉。每個代理在解決問題時會基於多種訊號選擇工作流程，團隊將這些決策路徑記錄下來，並附上信心分數與機率分數，作為代理行動前的基礎訊號。這相當於為代理本身建立可觀測性，觀察代理之間如何溝通、如何選擇技能與路徑，再透過評估集（eval sets）來評分。她坦言這仍是進行中的工作，但這是區分代理幻覺與基礎設施問題的關鍵投資。Noam Levi 則從 Groundcover 的經驗出發，說明他們最初讓使用者的本地代理直接存取資料並自行推理，但很快發現這種方式有明顯的上限，因為代理不了解平台內部的資料組織方式。後來他們改為提供平台內的 harness，透過代理對代理的溝通，讓平台自身的代理引導外部代理做出更準確的決策。這說明了單純把資料丟給通用代理是不夠的，需要領域知識的引導才能建立真正的決策信心。\n\n關於 AI 自主權的界線，Michael Hausenblas 認為最終仍需要一個人類名字與決策綁定，尤其是可能影響整個業務的決策。他建議透過持續的混沌工程、遊戲日與消防演習來建立信任，讓操作者與利益關係人逐步接受代理的自主程度。Noam Levi 則提出一個不同的框架：自主權的問題不該圍繞代理本身，而該圍繞組織的韌性。組織對某個領域的波動容忍度有多高？競爭對手是否正在以速度壓迫你？他以銷售組織為例，說明許多潛在客戶的代理已經設定了篩選規則，而銷售人員正在嘗試用自主代理進行外呼探勘並測試成功率。他認為在某些領域，自主採用幾乎是不可避免的，關鍵問題不是「我是否願意給代理自主權」，而是「我是否為代理創造了一個我能接受它犯錯的沙盒」。\n\n對於尚未導入 AI 的 SRE 團隊，三位專家提供了具體的起步建議。Michael Hausenblas 建議從 greenfield 環境開始，而不是直接挑戰充滿既有依賴的 brownfield 系統，同時要對期望有清楚的認知，不要期待 AI 是銀彈。Sujana Sooreddy 則建議 SRE 從撰寫「待完成工作」（jobs to be done）開始：當 X 發生時，我想要 Y，這樣我就能看到 Z。把日常的警報處理與 runbook 轉換成機器能理解的確定性上下文，然後參考 Google SRE 的 AI 自主等級框架（L0 手動執行到 L4 完全自主），為每項工作標註適合的自主程度。Noam Levi 分享了他個人的做法：把 AI 連接到所有數位足跡，包括公司共用的筆記工具、Slack 訊息與電子郵件，然後直接詢問它過去兩週的工作中有哪些可以被自動化或簡化。他認為從低垂的果實開始建立信心，再逐步挑戰更複雜的自動化，是最實際的入門路徑。\n\n整體而言，這場圓桌討論呈現了一個清晰的趨勢：AI 正在把生產營運從以人類為中心的儀表板與警報，推向以代理為中心的訊號與決策。這個轉變帶來了顯著的效率提升，但也引入了非確定性、問責歸屬、資料安全與上下文管理等全新挑戰。對於工程團隊而言，關鍵不在於急著導入最新工具，而在於重新整理自己的工作流程，讓訊號的設計從一開始就考慮機器消費者的需求，並建立持續驗證與安全失敗的機制。正如 Sujana Sooreddy 所言，AI 時代的生產工程其實就是回歸好的工程原則，只是必須更加嚴格地落實。\n\n本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。"