當我們將 AI 從單純的聊天機器人轉向具有自主能力的 AI Agent（智能體）時，開發模式進入了所謂的 Vibe Coding 時代，即依賴 AI 快速生成並執行代碼。然而，這種高度自動化帶來了巨大的風險。例如 Replit 曾發生過一起嚴重事故：開發者要求 AI Agent 清理資料庫，AI 將 clean 誤解為 drop database，直接刪除了生產環境的所有數據。
這類事故提醒我們，AI Agent 的自主權（Autonomy）是一項功能，但其造成的損害範圍（Blast Radius）則是工程師可以透過設計來控制的選擇。要建構可信賴的 AI 系統，我們必須針對 AI Agent 的核心運作機制 ReAct 循環進行深層防禦。
什麼是 ReAct 循環
ReAct 是 Reason（推理）與 Act（行動）的結合。AI Agent 不再是一次性輸出結果，而是進入一個循環：推理分析問題 $\rightarrow$ 採取行動（調用工具）$\rightarrow$ 觀察結果 $\rightarrow$ 再次推理。這個循環讓 AI 能處理複雜任務，但也創造了三個關鍵的漏洞攻擊面：上下文管理、推理規劃、以及工具執行。
第一道防線：上下文管理（Context Management）
上下文是 AI Agent 的輸入源，也是最容易被污染的地方。最典型的威脅是記憶中毒（Memory Poisoning），例如攻擊者透過 RAG（檢索增強生成）注入惡意指令，讓 AI 在未經察覺的情況下將錯誤資訊存入長期記憶，導致後續決策偏差。
針對上下文的防禦策略：
來源門戶（Provenance Gates）：將上下文視為供應鏈。所有進入 Agent 的數據必須經過驗證，例如檢查連接器的簽名、強制執行允許的 Schema 格式，不符合清單的數據一律隔離。
任務範圍記憶（Mission-scoped Memory）：避免權限崩潰。不要讓所有會話共用一個大記憶體，應根據任務對記憶進行分區，並設定 TTL（生存時間）。只有符合特定晉升標準（如被維護者標記、重複出現三次以上）的資訊才能進入長期記憶。
LLM-as-a-Judge（以 LLM 作為評判）：在進入推理階段前，先由一個獨立的輕量級 LLM 擔任評判員，對上下文數據進行二元判定（接受或拒絕），過濾掉潛在的提示詞注入（Prompt Injection）或中毒數據。
第二道防線：推理與規劃（Reasoning and Planning）
推理階段是 Agent 的大腦。目前的風險在於對齊失效（Misalignment），AI 可能在追求目標時採取不道德或危險的手段，甚至在被要求完成目標時，自行繞過安全檢查。
針對推理階段的防禦策略：
不可篡改的決策追蹤（Immutable Decision Traces）：建立類似飛機黑盒子（Black Box）的審計日誌。記錄每一個推理步驟的 Span ID、工具意圖和推理代碼，並將其寫入僅限追加（Append-only）的帳本中，以滿足企業級審計（如 SOC 2）需求。
雙模型批判機制（Dual-model Critics）：將規劃者（Planner）與評判者（Critic）分離。由獨立的批判模型對每一項計劃的變動（Delta）進行評分。如果風險分數過高（例如影響資源過多、環境為生產環境），則直接攔截執行。
風險導向的人機協作（Human-in-the-Loop）：人不能參與所有步驟，否則會產生認知負荷導致盲目批准。應定義明確的風險策略，例如：金額小於 200 美元的退款自動批准，大於 200 美元則交由更高參數的模型複審，極大金額則必須由人類介入。
第三道防線：工具執行（Tools and Action）
這是 AI 真正與現實系統互動的階段，也是最危險的時刻。即使是安全工具本身也可能存在零日漏洞（Zero-day CVE），導致遠端代碼執行（RCE）。
針對工具執行的防禦策略：
臨時憑證（Ephemeral Credentials）：嚴禁使用長期靜態金鑰。應引入 Token Broker 機制，為每個步驟申請僅限該任務、具有短暫 TTL 的臨時權限，一旦動作完成立即失效。
強型別工具連接器（Typed Tool Connectors）：限制工具的表面積。透過 MCP（Model Context Protocol）等協議，強制執行 Schema 合約，對輸入參數進行白名單過濾與 PII（個人識別資訊）檢測。
出口沙箱化（Sandbox Egress）：將 AI 生成的所有代碼視為不可信代碼。必須在微型虛擬機（Micro-VM）沙箱中運行，預設禁用網絡訪問，使用唯讀文件系統，並嚴格限制 CPU 與記憶體配額。
威脅建模：從 STRIDE 到 MAESTRO
傳統軟體使用 STRIDE 模型（分析欺騙、篡改、否認等）來找漏洞，但 AI Agent 需要更專門的框架。MAESTRO 是一個針對 AI 系統的威脅建模框架，它將 AI 棧分為七層，幫助工程師識別 AI 特有的威脅。
實務上，建議工程師嘗試像駭客一樣思考：在 RAG 中植入忽略之前指令的文字看 Agent 如何反應；偽造工具的返回結果看評判模型能否發現；在工具執行中途強行中斷看憑證是否正確回收。
總結與實踐清單
AI Agent 的開發不能只追求速度，必須採取深度防禦（Defense in Depth）。建議從以下清單開始實踐：
映射循環：定義 Agent 的 ReAct 循環路徑並指派負責人。 實施追蹤：為循環中的每個環節建立端到端的 Trace ID。 建立門戶：先從來源門戶（Provenance Gates）開始，這能攔截約 60% 的上下文攻擊。 設定閘門：在不可逆的操作（如刪除、轉帳）前，強制加入評判模型或人工審核。
來源：infoq.com - Trustworthy Productivity: Securing AI-Accelerated Development
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。