在企業級應用中，AI Agent（人工智慧代理）的成敗往往不在於模型本身的強弱，而是在於它能獲取多少精準且及時的數據。然而，傳統企業的數據儲存方式通常分為兩類：一是為了支持高頻交易而設計的交易系統（Transactional Systems），二是為了分析與報表單而設計的數據湖（Data Lake）。這兩種架構都未針對 AI Agent 的特性進行優化。AI Agent 的運作邏輯是基於推理循環（Reasoning Loop），在短時間內可能會發出數百次不可預測的查詢，且對延遲極其敏感。
TOTVS 的技術主管 Fabiane Nardon 在 QCon AI 的分享中指出，企業在構建 Agent 時面臨的核心矛盾在於：傳統交易系統追求 99.99% 的確定性（Deterministic），而大語言模型（LLM）則是基於機率的非確定性（Non-deterministic）計算。要解決這個問題，開發者必須在精準度、安全性與成本這三個維度之間找到平衡，並明確劃分哪些邏輯應由傳統程式碼處理，哪些應交由 AI 執行。
數據獲取的策略分層
為了確保 Agent 能獲得高品質數據，不能簡單地將 LLM 直接連接到交易系統。直接連接會導致交易系統因無法承受不可預測的高併發查詢而崩潰，且舊有數據庫通常不支援語義搜索（Semantic Search）。因此，建議採取分層獲取策略。
當需要執行寫入操作、獲取絕對即時的數據，或是觸發系統內建的業務規則時，應直接訪問交易系統。然而，對於歷史數據處理、語義搜索或需要整合外部數據來增加精準度時，則應使用數據平台。為了在數據平台中實現高效治理，可以引入 Data Mesh（數據網格）架構，將數據按業務域（Domain）分發，並將數據定義為數據產品（Data Product）。數據產品如同數據界的微服務，擁有明確的所有者、穩定的接口契約與品質服務等級協議（SLA）。
將 Model Context Protocol（MCP，模型上下文協議）工具與數據產品綁定，可以讓每個工具都繼承數據網格的治理能力。這樣做能避免企業在擴展 Agent 功能時，陷入工具數量過多而導致無人維護的混亂局面。
解決語義歧義與精準度問題
企業內部對同一個術語往往有不同的定義。例如，行銷部門與財務部門對活躍客戶（Active Customer）的定義可能完全不同。對人類而言，這種歧義可以透過溝通解決，但對於 LLM 來說，這會導致嚴重的推理錯誤。
解決此問題的方案是引入 Semantic Web（語義網）技術。透過 RDF（資源描述框架，一種為概念提供唯一識別碼的標準）與 OWL（Web ontology language，一種定義概念間關係的本體語言），可以為不同部門的相同術語分配不同的唯一識別碼。例如，行銷部門的活躍客戶與財務部門的活躍客戶將擁有不同的 ID，從而消除歧義。
研究顯示，在 LLM 之上增加一層基於本體（Ontology）的語義層，能將回應的精準度提升約 40%。在實務上，由於完整的企業本體體積過大，無法全部放入上下文窗口（Context Window），因此應根據所調用的 MCP 工具，動態地僅提供與該工具相關的本體片段，以優化 token 使用率並提高準確性。
低延遲數據層的工程實現
為了支持 Agent 的即時響應，數據平台需要構建低延遲層。這包含兩個維度：處理延遲（數據從進入平台到可被查詢的時間）與檢索延遲（查詢數據的反應速度）。
在技術實作上，可以採用多層儲存架構。高延遲層使用 Apache Spark 處理大規模 Parquet 文件以降低成本；中延遲層使用 Google BigQuery 處理大數據量查詢；而低延遲層則採用 PostgreSQL 或 DuckDB 等關係型數據庫。透過在 PostgreSQL 中使用觸發器（Trigger）與儲存過程（Stored Procedure），可以確保數據在進入平台後能以毫秒級的速度完成清洗與轉換，並透過向量插件支持語義搜索。
這種統一處理接口的設計，使得開發者可以用同一套管線定義數據流，但根據 Agent 的需求選擇不同的執行引擎。
安全性、成本與 Token 經濟學
在安全性方面，應避免讓 LLM 直接生成 SQL 查詢（Text-to-SQL），因為這極易受到提示詞注入（Prompt Injection）攻擊。更安全的做法是定義帶有參數的 MCP 工具，將安全邏輯內嵌在工具代碼中，LLM 僅能決定調用哪個工具及傳入什麼參數。同時，透過 OAuth 傳遞身份令牌（Identity Propagation），確保 Agent 僅能訪問該用戶權限範圍內的數據。
在成本控制上，Token 消耗是企業部署 Agent 的最大痛點。為了降低成本，可以採取以下策略：
第一，實作 MCP Fabric 模式。不再為每個工具部署獨立服務，而是由單一服務承載多個虛擬 MCP 伺服器，降低運維成本。
第二，動態工具搜索（Dynamic Tool Search）。當可用工具過多時，不再將所有工具描述放入上下文，而是先讓 Agent 調用一個搜索工具，從數百個候選工具中篩選出最相關的 5 個工具注入上下文，這能大幅減少 token 浪費。
第三，優化響應格式。雖然 JSON 精度最高，但過於冗長。對於扁平數據，使用 CSV 可節省約 50% 的 token；而新型的 TOON 格式則能節省 30% 到 60%，儘管其精準度目前仍處於測試階段。
總結而言，AI Agent 的成功取決於開發者能否精準地在確定性計算與非確定性推理之間劃線。將邏輯推向確定性的數據層與工具層，能提升安全性與成本效益；而將自然語言理解與模糊推理交給 LLM，則能發揮 AI 的真正魔力。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。