在開發 AI 應用時，許多初學者會將重點放在 Prompt Engineering（提示工程），試圖透過更精準確的指令來獲取更好的結果。然而，當系統規模擴大，需要處理複雜任務或實時數據時，單純的 Prompt 就會遇到瓶頸。這就是為什麼我們需要從「提示工程」進化到「上下文工程（Context Engineering）」。
簡單來說，提示工程是在問「更好的問題」，而上下文工程則是為 AI 打造一套「記憶與感知系統」，讓 AI Agent（智能體）能像人類一樣，根據環境、歷史紀錄與實時狀態來做出決策。
從無狀態到有狀態的範式轉移
早期的 LLM 交互是 Stateless（無狀態）的，就像一個沒有記憶的對話框，一旦對話結束，AI 就會忘掉一切。但真正的 AI Agent 必須是 State-aware（狀態感知）的。
這意味著我們需要將 AI 系統從單純的請求-響應模式，轉變為一個包含記憶管理、狀態追蹤與工具調用的循環系統。這種轉移的核心挑戰在於 Token 限制（LLM 一次能處理的文字量有限）、成本激增以及延遲問題。
上下文工程的組成要素
上下文工程是一個大傘，涵蓋了所有注入模型以提升性能的機制：
記憶管理（Memory Management） 短期記憶：處理當前對話的摘要或臨時日誌，確保 Agent 在單次任務中不會失憶。 長期記憶：通常利用 Vector Database（向量資料庫）實現 RAG（檢索增強生成），將海量知識持久化，在需要時檢索。
狀態管理（State Management） 追蹤 Agent 目前處於多步驟任務中的哪個階段，並建立反饋迴路（例如由另一個 LLM 作為 Judge 評判答案是否正確），以此持續優化執行路徑。
檢索機制（RAG） 從外部環境獲取實時數據（例如最新的公司出差政策），確保 AI 產出的內容具有事實根據而非幻覺。
工具執行（Tool Access） 讓 Agent 能操作外部 API 或數據庫。例如 MCP（Model Context Protocol），一種標準化協議，讓模型能更輕鬆地連接到外部數據源或工具。
實務挑戰：為什麼不能直接把所有數據丟給 LLM？
即便現在的模型支持超長上下文（Context Window），在工程實務上仍有三大痛點：
成本與延遲：Token 越多，推理成本越高，回應速度越慢。 Lost in the Middle（中間遺忘）：研究發現，當上下文過長時，模型容易忽略位於文本中間的信息。 上下文碰撞（Context Collision）：過多不相關的信息會干擾模型，導致幻覺增加。
解決方案包括：使用混合檢索（Hybrid Search）提高準確度、對上下文進行動態壓縮（Dynamic Compression）以及建立層級化摘要（Hierarchy of Summaries）。
基於串流架構的工業級實現：Kafka 與 Flink
對於需要大規模、低延遲處理的系統，可以借鑑分散式串流處理（Stream Processing）的設計。以 Confluent 的做法為例，他們利用 Apache Kafka 和 Apache Flink 來構建 AI Agent 的底層。
為什麼選擇這套組合？
Apache Kafka 作為事件驅動的 Pub/Sub（發布/訂閱）機制，充當了系統的「無限日誌」。它可以記錄所有交互過程，方便後續的觀測（Observability）與回放。
Apache Flink 則負責實時計算。它具備毫秒級延遲與強大的狀態管理能力（Stateful Computation），能確保數據處理的 Exactly-once（精確一次）一致性，避免 AI Agent 在處理任務時遺失關鍵上下文。
分層記憶體架構（Tiered Storage）的映射
在工程實作上，可以將存儲設備的特性映射為 AI 的記憶層級：
快速緩存層（SSD/本地盤）：對應短期記憶。將當前 Session 的關鍵數據存在 Kafka 的 SSD 磁碟中，實現極速檢索。 持久化存儲層（Object Storage/S3）：對應長期記憶。將歷史數據或低頻訪問的上下文移至對象存儲，降低成本。 向量索引層（Vector DB）：用於語義搜索，支持 RAG 檢索。
實務案例：交易量異常檢測
在金融交易場景中，Agent 需要監控實時交易量並調整異常檢測的閾值。
流程如下：市場數據通過 Kafka 實時流入 $\rightarrow$ Flink 進行窗口聚合 $\rightarrow$ AI Agent 根據領域知識（Domain Expertise）分析數據趨勢 $\rightarrow$ Agent 動態建議調整閾值 $\rightarrow$ 觸發警報或自動優化。
這個過程證明了 AI Agent 不應僅僅是一個聊天機器人，而應是一個嵌入在數據管線（Data Pipeline）中，能夠實時感知狀態並採取行動的系統。
總結
AI Agent 的未來在於有狀態化（Stateful）。開發者不應過度依賴 Prompt 的技巧，而應將重心轉向構建高效的上下文管線（Context Pipeline）。通過將分散式系統的狀態管理、分層存儲與實時串流處理結合，才能打造出真正可擴展且可靠的 AI 系統。
來源：infoq.com - Beyond Prompting: Context Engineering and Memory Management for AI Systems at Scale
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。