在目前的雲端 AI 實作中，許多工程師的直覺直覺是將所有文件直接丟給像 GPT-4 這樣的強大模型，然後要求它回傳結構化資料。雖然這種做法開發速度快，但在處理大量文件（例如數千份工程圖紙、發票或合約）時，會面臨三個核心問題：成本過高、處理速度慢，以及最危險的「沉默幻覺」（Silent Hallucination）——即模型自信地給出錯誤答案，而你完全沒有察覺。
要解決這個問題，不能只在模型選擇上打轉，而應該從架構層面思考：我們是否真的需要為每一份文件支付 API 費用？
Local-First AI 推論模式（Local-First AI Inference）提出了一種反直覺的設計：將雲端 AI 視為「例外處理路徑」而非「預設路徑」。透過建立一個三層的混合架構，可以將 70% 到 80% 的工作量在本地端低成本解決，僅將真正困難的案例交給雲端 AI，並由人工進行最後把關。
三層混合架構的運作邏輯
這套架構的核心在於根據失敗模式（Failure Modes）來分層，確保每一層都能補足前一層的缺陷。
第一層：本地確定性提取（Local Deterministic Extraction） 這一層使用如 PyMuPDF 等輕量級庫直接從 PDF 提取文字。它的設計目標是高精準度（Precision）而非高召回率（Recall）。也就是說，它寧願「找不到答案」也不願「猜錯答案」。對於格式標準的數位文件，這一層可以在幾毫秒內完成且成本為零。
第二層：雲端 AI 推論（Cloud AI Inference） 當第一層無法提取資訊或信心值不足時，系統會將文件轉為圖片，發送給具有視覺能力的模型（如 GPT-4 Vision）。這一層處理的是掃描檔、複雜版面或非標準格式的文件。雖然它能力強，但容易產生幻覺，因此需要第三層來對沖風險。
第三層：人工審核隊列（Human Review Queue） 當第一層與第二層的結果衝突，或者 AI 回傳的信心值過低時，文件會被標記並送入人工審核。這層的作用是定義系統的「錯誤邊界」，確保最終輸出的資料絕對正確。
信心評分機制：決定路由的關鍵
如何決定一份文件該留在第一層，還是升級到第二層？這依賴於一個複合信心評分函數（Composite Scoring Function）。
系統會先透過黑名單（Blocklist）過濾掉常見的干擾項（例如頁碼、座標軸字母），接著針對候選文字進行四維度評分： 空間位置（Spatial Position）：目標資訊是否出現在預期的區域（例如工程圖的右下角標題欄）。 錨點鄰近度（Anchor Proximity）：文字周圍是否有關鍵標籤（例如 REV: 或 SHEET:）。 格式符合度（Format Conformance）：文字是否符合預期的格式（例如單個大寫字母 A-Z 或特定數字格式）。 上下文信號（Contextual Signals）：周圍是否出現其他互補的元數據。
最終分數 = (40 * 空間) + (30 * 錨點) + (20 * 格式) + (10 * 上下文)。 根據分數決定路徑：90分以上直接輸出；50-89分交由雲端 AI 驗證；50分以下直接交由雲端 AI 重新提取。
實務經驗與工程洞察
在實際部署中，有幾個對 Junior 工程師至關重要的經驗：
Prompt 是工程產物，而非自然語言請求 不要期望寫一次完美的 Prompt 就能解決所有問題。生產環境中的 Prompt 應該經過多次迭代，每次迭代應針對「特定錯誤類別」進行修復。例如：先解決 AI 誤把修訂歷史表當成標題欄的問題，再解決它對數字格式的偏好問題。
不要盲目追求最新模型 在驗證集中測試發現，GPT-5+ 在特定提取任務上的表現與 GPT-4.1 幾乎一致。這是因為提取任務本質上是空間受限的模式匹配，瓶頸在於系統是否在正確的位置尋找正確的資訊，而非模型的推理能力。如果新模型沒有帶來顯著的準確率提升，為了穩定性應避免不必要的遷移。
沉默幻覺比缺失資料更危險 雲端模型可能達到 98% 的準確率，但剩下的 2% 是沉默幻覺。在工程領域，一個錯誤的零件版本號可能導致昂貴的製造錯誤。因此，一個準確率 96% 但能將 5% 的可疑案例導向人工審核的系統，其有效準確率（Effective Accuracy）反而高於純雲端方案。
此模式的適用限制
Local-First AI 推論模式並非萬能，它在以下情況會失效： 文件完全沒有空間慣例：例如隨筆紀錄或一般信件，第一層沒有錨點可循，會導致所有文件都流向第二層，增加額外開銷。 掃描檔佔比過高：如果 80% 以上是掃描圖檔，本地提取幾乎無用，應直接採用雲端批處理架構。 多欄位強依賴：如果需要提取多個欄位且彼此必須邏輯一致（如發票單價 * 數量 = 總價），本地規則會變得極其複雜，建議直接使用雲端 AI 輸出 JSON 並在後端進行邏輯驗證。
來源：infoq.com
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。