當許多工程師還在研究如何調優 Prompt 或選擇最強的模型時，將 AI 系統推向生產環境（Production）的人們發現，真正的戰場其實在基礎設施（Infrastructure）。
當 AI 從實驗室進入核心業務流程，負載的性質發生了根本性的改變。過去的系統負荷主要由人類行為驅動（例如點擊、查詢），而現在的 AI Agent（AI 代理）會產生一種不可預測且具有連鎖反應的負載。
以下將從資源瓶頸、成本控制、數據治理與回滾機制四個維度，為工程師解析生產級 AI 基礎設施的實務挑戰。
生產級 AI 的非典型瓶頸
在傳統系統中，我們習慣於預測流量高峰並進行擴展。但在 AI 時代，瓶頸不再僅僅是 GPU 數量，而是更底層的資源與外部依賴。
首先是電力與數據中心容量。GPU 的高能耗使得電力供應成為物理層面的瓶頸，許多公司在規劃數據中心時，必須提前數年考慮電網承載能力。
其次是外部 API 的不可預測性。如果你依賴第三方模型端點，你會發現延遲（Latency）會隨著全球時區的切換而劇烈波動。例如，當美國市場進入工作時間，資源競爭加劇，原本 30 秒能回傳的結果可能會變成 2 分鐘，甚至被截斷或直接被限流（Throttling）。這種外部依賴的不穩定性，是傳統資料庫擴展中較少見的隨機風險。
計算資源的性質改變
AI Agent 的運行模式從傳統的 Thread-based（線程模型）轉向了 Process-type（進程模型）。一個主 Agent 可能會啟動多個子 Agent，即便主程序結束，子程序可能仍在運行。這種不可預測的計算模式讓 Kubernetes 等容器編排工具面臨更大壓力，因為工作負載的形狀變得極其不規則。
Token 經濟學與成本失控
對 Junior 工程師來說，最容易忽視的是 Token 成本的指數級增長。這裡存在一個 Jevons Paradox（傑文斯悖論）：當技術進步讓單一 Token 成本下降時，人們反而會因為成本降低而大幅增加使用量，導致總支出反而飆升。
實務中最危險的是 AI 的創造力。當 Agent 試圖解決問題但失敗時，它可能會進入自我修正的循環（Loop），在短時間內反覆調用模型與工具，導致成本在一夜之間爆表。因此，單純的預算上限（Quota）是不夠的，必須在 Agent 的設計中加入治理層（Governance Layer），監控每個 Agent 的 Token 消耗與行為路徑。
數據層：從儲存庫變為控制平面
在傳統架構中，資料庫只是後端的儲存倉庫。但在 Agentic AI 中，資料庫變成了控制平面（Control Plane）。
原因在於 Agent 的所有狀態、記憶（Memory）、遙測數據（Telemetry）以及身份認證（Identity）都儲存在資料庫中。如果資料庫出現最終一致性（Eventual Consistency）而非強一致性，Agent 可能會基於錯誤的舊數據做出決定，並觸發一系列不可逆的後續動作。
此外，為了降低延遲，分布式 SQL（Distributed SQL）變得至關重要。讓數據在地理上靠近 Agent 的運行區域，才能確保 AI 的反應速度。
AI 系統的不可逆性與回滾挑戰
傳統應用回滾（Rollback）很簡單：恢復到上一個版本或快照。但 AI Agent 的回滾極其複雜，因為它的輸出不僅是文字，還包括執行動作（如修改文件、調用 API、更新數據庫）。
當一個 Agent 基於錯誤推理執行了動作，而該動作又觸發了另一個 Agent 的連鎖反應，單純的系統回滾無法撤銷這些副作用（Side Effects）。
目前的工程實務建議： 預防勝於治療：設計冪等操作（Idempotent Operations），確保重複執行不會產生額外副作用。 引入審核閘門（Approval Gates）：對於高風險操作，必須由人類介入審核。 追蹤工作流：將 Agent 的推理路徑與執行步驟完整記錄在資料庫中，以便在出錯時能追溯原因並進行補償性操作（Compensating Actions）。
給實踐者的建議
面對 AI 基礎設施的混亂，不要試圖一次性重新設計整個架構，而應採取以下步驟：
首先，找出一個關鍵的 AI 工作流，詳細繪製其路徑：包含多少次模型調用、多少次工具調用、多少次數據庫查詢。
其次，尋找未定義邊界（Unbounded）的地方。問自己：如果某個依賴項變慢了會怎樣？如果模型進入死循環會怎樣？為這些路徑設置運行時間上限（Runtime Limit）與最大重試次數。
最後，重新審視彈性擴展（Autoscaling）的邏輯。在 AI 時代，無限制的自動擴展可能會將一個小 Bug 放大成一張天文數字的帳單。在追求彈性之前，必須先定義邊界（Bounded Autonomy）。
來源：infoq.com - The Infrastructure Challenge Behind Production AI
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。