在開發 AI Agent（人工智慧代理）時，許多工程師容易陷入一個誤區：認為只要選擇最強大的 LLM（大型語言模型），Agent 就能自動處理複雜任務。然而，當 Agent 被應用在如海洋監測這種「高風險」（High-stakes）的場景時，一個錯誤的座標或誤導性的答案可能會導致巡邏船隻跑錯方向，浪費大量資源甚至危及人員安全。
Ai2 團隊開發的 maritime AI agent —— Shippy，提供了一個非常典型的工業級 Agent 設計範本。其核心邏輯在於：承認 LLM 是不確定的（Nondeterministic），因此必須在 LLM 周圍構建一套確定性的（Deterministic）工程體系來確保可靠性。
Agent 的三層組成：靈魂、技能與配置
為了讓 Agent 易於維護與版本控制，Shippy 將其拆解為三個維度：
靈魂（Soul）是指系統提示詞（System Prompt）。它定義了 Agent 的人格、行為邊界以及絕對不能做的事。例如，Shippy 被明確禁止做出法律判定（例如判斷某船隻是否違法），因為法律判定應由人類專家完成，而非 AI。將邊界寫在 Prompt 而非透過微調（Fine-tuning）來實現，能讓行為更容易被審計與快速修正。
技能（Skills）是 Agent 執行特定任務的說明書。Shippy 的技能是以 Markdown 格式定義的結構化文件，告訴 Agent 如何調用 API、如何解析船隻軌跡數據或如何生成地圖連結。這種將技能「文件化」的做法，使得每項能力都可以獨立版本化且易於修訂。
配置（Config）則包含運行環境。這包括使用了哪個 Agent 框架（如 OpenClaw）、哪個模型（如 Claude Opus）以及 API 金鑰等。將配置與靈魂、技能分離，意味著切換模型或調整參數時不需要重新構建整個系統。
用確定性工具制約不確定性模型
LLM 最令人頭痛的是它會「幻覺」或產生格式錯誤。如果讓 Agent 直接構建複雜的 API 請求（包含分頁、嵌套過濾器、幾何座標等），極易出現細微但致命的 Bug。
為了解決這個問題，Shippy 引入了 CLI（命令行界面）作為中介層。Agent 不直接呼叫 API，而是透過執行預定義的 CLI 指令（例如：skylight events search --filter X）。
這種設計的工程價值在於： 第一，簡化接口。CLI 將複雜的 API 參數封裝成簡單的標誌（Flags），降低了 Agent 出錯的機率。 第二，自我修復。CLI 提供詳細的 --help 說明與錯誤訊息，當 Agent 執行失敗時，能根據錯誤回饋自行修正指令。 第三，穩定輸出。CLI 的結果會寫入本地 JSON 文件而非直接通過 Shell 傳輸，避免了大型數據集導致的緩衝區溢出問題。
透過「Typed API $\rightarrow$ Deterministic CLI $\rightarrow$ Agent Skills」這三層過濾，每一層都縮小了下一層出錯的可能性。
沙盒化部署與數據隔離
在面對全球不同國家的政府機構時，數據隔離（Data Isolation）是最高優先級。不同用戶擁有不同的監控名單與權限，絕不能讓 A 用戶的對話歷史或數據洩漏給 B 用戶。
Shippy 採用了名為 Mothership 的託管平台，為每個用戶會話動態配置一個獨立的 Kubernetes Pod。 每個 Session 都是臨時且隔離的，用戶的 JWT（JSON Web Token，一種用於身份驗證的令牌）在啟動時注入，確保 Agent 呼叫 API 時僅能獲取該用戶有權訪問的數據。 Agent 在沙盒內寫入的臨時文件或運行的代碼，在會話結束後會隨之銷毀，完全避免了跨用戶的數據污染。
評估 Agent 而非評估模型
一般的 LLM 基準測試（Benchmark）是靜態的，但 Agent 的表現取決於它如何選擇工具、如何處理實時數據以及何時停止。因此，不能只看模型分數，而要評估整個系統。
Shippy 建立了一套基於場景的評估框架： 由領域專家定義場景與評分標準（Rubrics）。例如，查詢漁業事件時，「數據準確度」的權重最高，「回覆風格」的權重最低。 使用 LLM 作為裁判（LLM-as-a-judge），根據專家定義的標準對 Agent 的回覆進行 0 到 1 的打分，並要求裁判寫出理由。 將評估流程整合進 CI/CD 管道。每當技能、模型或底層數據變更時，都會運行全套測試。如果新版本在特定場景（如巡邏規劃）出現退化（Regression），則禁止發佈。
總結與啟發
構建一個可靠的 AI Agent，其工程重心不在於尋找最強的模型，而是在於構建一套能將模型「限制」在正確軌道上的系統。透過將行為邊界定義在靈魂中、將操作能力模組化為技能、用確定性的 CLI 封裝複雜 API，並在完全隔離的沙盒中運行，才能將 LLM 從一個「聊天機器人」轉化為真正的「生產力工具」。
來源：huggingface.co / allenai (What building Shippy taught us about building agents)
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。