背景與問題
InfoQ 近期舉辦一場線上研討會，主題為「AI in Production: What Breaks, What Works, and Who Approves It」（AI 進駐生產環境：什麼會壞、什麼有效、由誰核准），由 Hien Luu 主持，與談者包括 ThoughtWorks 的 Zichuan Xiong（托沃克思，管理服務 AI 營運負責人）與 Prem Chandrasekaran（科技與業務服務負責人）、隱私專家 Katharine Jarmul，以及金融領域 AI 從業者 Lan Chu。這場討論聚焦的不是模型 benchmark 數字，而是 agentic system（代理式系統，指能自主規劃步驟、呼叫工具、串接外部服務來完成任務的 AI 系統）真正部署到生產環境後，工程團隊每天面對的操作難題。Luu 開場先點出三個核心驅動因素：第一，AI 的失效方式與傳統軟體不同，它不會當機或拋出例外，而是產出聽起來合理、實際上錯誤的內容；第二，編碼代理產生生產程式碼的速度，已經超過人類審查能負荷的上限；第三，敏感資料出現了全新的外洩途徑，包括提示詞、上下文視窗與被檢索的文件。
核心內容：三種會通過檢查的靜默失敗
研討會最具警示性的部分，是幾類「所有監控燈號都是綠色、錯誤卻已經進入業務決策」的靜默失敗。Xiong 提出 semantic drift（語義漂移），指大型語言模型在管線中悄悄改變領域詞彙的含義。他舉 text-to-SQL 代理為例：這類代理負責把自然語言問題轉成資料庫查詢，若把銷售域與客服域中的「member」（會員）當成同一概念處理，下游業務分析就會產生細微而持續的偏差，而標準的追蹤（tracing）流程完全查不出來，因為每一列查詢都「成功執行」了。Lan Chu 分享的是金融合規系統的 embedding drift（嵌入漂移）：該系統以向量相似度門檻攔阻被禁止的投資建議，後來底層嵌入模型（embedding model，負責把文字轉成數值向量、使語意相近的文字距離較近的模型）在未通知的情況下被更新，向量距離分布隨之改變，上線流量立刻出現大量誤攔與漏攔，但所有基礎設施健康檢查依舊全綠。
其餘風險同樣集中在「資料看不見的地方」。Chandrasekaran 指出 RAG（Retrieval-Augmented Generation，檢索增強生成，先從外部資料庫撈出相關文件再交給模型回答，目的是讓答案有依據）管線可能無意間取回機密文件；Jarmul 補充模型本身會記憶訓練資料，可用於去匿名化還原個資或暴露 API 金鑰；她也援引 GitSpawn 漏洞，說明惡意的儲存庫設定如何在例行指令執行時觸發未經授權的程式碼。
工程實務：審查、位移與評估
程式碼量暴增讓傳統逐行人工審查無法持續。Chandrasekaran 主張把風格與語法層級的檢查自動化並納入 CI/CD 管線，把人類注意力保留給架構、業務意圖與非功能性需求；Xiong 則主張在 pull request 產生之前就「向左位移」，於 harness 層級（harness 原意為「馬具、束帶」，此處指包住模型、負責約束與驗證其行為的外層工程框架，決定代理能做什麼、被如何檢查）先驗證意圖是否正確。他同時點名 mutation testing（變異測試）的復興：刻意對程式碼植入小改動，檢驗既有測試真的能偵測邏輯錯誤，還是只滿足了表面的程式碼覆蓋率數字。至於評估，Chu 強調 evals（評估）應被視為持續存在的活基礎設施，而非上線前一次性清單，做法包含 span 層級的線上追蹤、日誌過濾、用語言模型歸類失敗模式，再把生產環境遇到的邊界案例回饋進離線基準測試集。
影響、治理與限制
在隱私與安全上，Jarmul 明確反對把提示詞工程當成防線，主張以系統化 red teaming（紅隊測試，模擬攻擊者找出系統弱點）、持續威脅建模、為自主代理劃定嚴格功能範圍，以及擴充觀測能力來因應暴增的事件量。Chandrasekaran 則給出一條易於執行的原則：把每個 AI 代理當成一位新進工程師，授予獨立的非人類身分、區分唯讀與可逆寫入的分層權限、對第三方 MCP（Model Context Protocol，模型上下文協定，讓模型以統一方式連接外部工具與資料來源的開放協定）依賴做版本控管，並把 API 金鑰隔離在代理運行環境之外的沙箱中，藉此限制代理出錯時的爆炸半徑。最後眾人取得共識：工程、安全與隱私團隊負責驗證防護欄，但是否放行部署，本質上仍是策略性的業務決策，而非純技術判斷。這場討論也顯示，現有工具鏈對語義層與模型層的變動仍缺乏敏感度，觀測與評估必須持續運行，才能在錯誤進入決策前被攔下。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。