.title：AWS 推出 CloudWatch Omni：把觀測平台延伸到 AI Agent 時代
.slug：aws-cloudwatch-omni-agent-observability
背景
過去十幾年，團隊判斷線上系統是否健康，依賴的多半是延遲、錯誤率、CPU 使用率、可用性這一類數值指標。這些指標之所以有效，是因為傳統應用程式的行為大致是可預測的：同樣的請求送進來，系統應該給出同樣的結果，一旦出錯通常會直接反映在錯誤碼或回應時間上。然而當應用程式中開始嵌入自主執行的 AI Agent（能自行規劃步驟、呼叫工具、存取外部資料並連續做出決策的軟體代理人），這套判斷邏輯就會失效。AWS 資深專業解決方案架構師 Daniel Abib 指出，Agent 的一次執行可能在技術上完全成功——沒有例外、沒有錯誤碼——卻仍然產出錯誤結果、選錯工具、撈到品質很差的資訊，或繞了一條代價高昂的路徑。更棘手的是，Agent 的行為本質上是非決定性的：一句 prompt（提供給模型的指令文字）稍微改動，回應品質就可能下滑，但標準儀表板上所有指標依然一片正常。團隊因此得耗上數小時，在多套系統之間人工比對日誌，卻往往連「哪裡變了、為什麼變了」都定位不出來。
核心內容
Amazon CloudWatch Omni 正是 AWS 對這個問題給出的答案。它被定位為 AI-first 的觀測平台，把傳統微服務、雲端基礎設施與生成式 AI／Agent 負載納入同一套環境中監控、評估與除錯。運作上，Omni 會收集端到端的 trace（分散式追蹤，記錄一次請求在各服務間的完整路徑），並對 Agent 的輸出進行多項評估，包含正確性（結果對不對）、一致性（前後回應是否連貫）、檢索品質（從向量資料庫或文件取回的資料好不好用），以及工具選擇（該呼叫哪個函式時有沒有呼叫對）。在此基礎上，它允許團隊直接比較不同 prompt 版本、從實際生產流量建立測試資料集、執行實驗，並偵測版本更新後的品質回歸（regression，指新版本讓原有能力變差的現象）。
除了被動觀測，Omni 也提供 AI 驅動的調查能力：使用者可以用自然語言查詢日誌、指標與追蹤資料，由系統找出拓撲結構上的問題並定位根本原因。AWS 副總裁 Chet Kapoor 在 LinkedIn 上的說法是，這套工具「讓你主動發現問題、追到根本原因，並在一個地方找出 agent、應用程式與基礎設施的改進之處」。
技術與生態脈絡
Omni 在相容性上的布局相當具體。它支援多數主流 Agent 框架，包含 LangChain、LangGraph、CrewAI、OpenAI SDK、Strands 與 Vercel AI SDK；同時採用開放標準，包括 OpenInference（由開源社群推動的 Agent 觀測資料格式，讓不同框架產出的追蹤資料能被同一套工具讀取）與 AWS Distro for OpenTelemetry（ADOT，AWS 整合打包的 OpenTelemetry 發行版，統一蒐集指標、日誌與追蹤資料），並與 Amazon Bedrock AgentCore 整合。原本已有的 OpenTelemetry 遙測資料可以直接餵進 Omni，不必大幅重工改寫。在評估工具方面，它也接納第三方 evaluator（自動判斷輸出品質的評分元件），例如 Braintrust、DeepEval 與 Ragas。
使用介面上，Omni 提供雙工作區：一邊是透過單一登入（SSO）運作、獨立於傳統 AWS 管理主控台之外的網頁介面，給營運人員使用；另一邊是免費的本地 IDE 擴充套件，支援 VS Code 與 Kiro，讓開發者不離開編輯器就能檢視。前 AWS 首席安全顧問 Jorg Huser 認為，「能解釋 agent 為什麼這樣行動的統一視角，是規模擴大後維持信任的唯一途徑」；Deutsche Bank 首席 DevOps 工程師 Florin Lungu 則強調其「支援開放標準與內建評估器，可服務品質保證」的特性。
影響與限制
對已在 AWS 上運行的團隊而言，Omni 把指標、日誌、追蹤與 AI 品質評估收斂到同一個產品，省去了串接多套工具的成本，也讓「營運問題」與「模型品質問題」得以在同一條時間軸上關聯。開放標準的採用降低了遷移門檻，SSO 網頁工作區與免費 IDE 擴充則分別照顧了營運與開發兩端的工作流。
限制同樣清楚。首先，Omni 與 AWS 生態的深度綁定意味著非 AWS 環境的團隊未必適用。其次，觀測與評估工具的這個賽道並不空曠：LangChain 的 LangSmith、LangFuse、Arize AI Phoenix 等平台同樣結合了追蹤、評估、prompt 實驗與資料集管理，並同樣聚焦 Agent 應用，選擇哪一套往往取決於既有框架與部署位置。最後，任何自動評估器衡量的都只是品質的代理指標——正確性、一致性之類的分數能指出回歸方向，卻無法取代對真實業務結果的人工判斷。這是所有 AI 觀測工具共同的邊界，Omni 也不例外。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。