背景與問題
大型語言模型驅動的 AI 代理在企業流程中越來越常被指派處理真實資料，例如查詢訂單、開立客服案件、審核退款資格。傳統評測方式通常看模型生成的回覆是否合理、工具呼叫格式是否正確，但這些指標只能反映表面行為。微軟與 Hugging Face 在 2026 年 10 月共同發表的 ThinkingBox 框架，試圖回答一個更根本的問題：代理是否真的把資料庫改成了正確的狀態？
文章開頭舉了一個具體案例。一位顧客的 745 美元廚房家電在納什維爾配送中心卡在物流異常狀態，已超過預計送達日期十五天。代理總共呼叫了九次工具，查詢訂單、追蹤物流、讀取顧客資料、兩次搜尋退款政策、確認沒有既有案件、開立案件、記錄時間軸，最後正確判斷該顧客帳戶等級不符合延遲補償資格。它把案件標記為已解決並回覆「您的問題已解決，還有什麼可以協助您嗎？」。但實際上物流異常仍然開啟，必要終端狀態應該是「保留」而非「已解決」，而且顧客真正想問的問題也沒有獲得答案。從工具呼叫的角度看，九次呼叫都格式良好；從資料庫的角度看，代理留下了錯誤的狀態。這個落差正是 ThinkingBox 想要測量的核心。
核心內容：以終端狀態與重複執行為評測基準
ThinkingBox 是代理沙箱環境，ThinkingBox-Bench 則是搭配的資料集基準。每個任務定義起始資料庫狀態、使用者目標、可用的 MCP 工具、領域政策，以及針對終端狀態的可執行檢查。模擬使用者持有私人脈絡，例如預訂編號、偏好設定或出生日期，只有在代理主動詢問時才會提供。每次嘗試都在獨立的 MCP 工作階段中執行，資料庫從全新狀態開始，兩次嘗試之間不共享任何資料列或快取狀態，這使得重複試驗的比較具有意義。評分時，副作用擷取器會整理實際變更的內容，再由確定性判斷器比對必要終端狀態，接受任何產生正確結果的軌跡，拒絕錯誤、遺漏或額外的副作用。507 個任務中有 477 個完全以資料庫狀態評分，其餘 30 個額外加入二元回覆評分規則，處理「代理是否揭露此事不保證」這類無法用資料庫值表達的語意。
基準涵蓋零售、汽車保險、旅遊、新銀行與顧問服務五個領域，共 507 個有狀態的商業流程，每個任務獨立執行 20 次。研究團隊報告三種指標：pass@1 是所有嘗試的成功率，回答「通常表現如何」；pass@20 是 20 次中至少成功一次的任務比例，回答「是否可能做到」；observed 20/20 則是 20 次全部成功的任務數，回答「是否每次都能正確」。在涵蓋 12 個模型、121,680 次有效試驗的消融研究中，有 79,853 次嘗試未能通過可執行檢查，其中 67.24% 仍然正常結束、呼叫了會改變狀態的工具、且沒有回報任何工具錯誤，但檢查仍發現 77.61% 有錯誤欄位值、43.30% 有非預期的額外副作用、25.36% 缺少必要效果。
模型表現與一致性落差
單看 pass@1，結果像是普通的能力排行榜。Claude Opus 5.5 以 67.16% 居冠，Claude Opus 5 以 66.50% 緊追在後，GPT-5.4 為 65.36%；開放權重模型中 Kimi-K3 最強，達 57.37%，與 GPT-6 Astra 的 58.31% 相當接近。領域差異同樣顯著，Claude Opus 4.6 在零售領域有 68.62%，在汽車保險卻只有 8.30%。但一次成功不代表可靠。GPT-6 Astra 保留了單次成功率的 78%，Claude Opus 5.5 與 Claude Opus 5 保留 71%；GLM-5.1、Kimi-K2.6 與 DeepSeek-V4-Pro 則只保留約 8%。Kimi-K3 是覆蓋最廣的模型，476 個任務至少成功一次，但只有 68 個任務在 20 次中全數成功。Claude Opus 5 反過來，至少成功一次的任務較少，卻有 241 個任務每次都成功。值得注意的是，Claude Opus 5.5 的整體分數比 Opus 5 高，但兩者在 20 次全數成功的任務數完全相同，都是 241 個；半個百分點的能力提升沒有換來任何額外的可靠性。
成本與失敗模式
研究也計算了成本效率。以 OpenRouter 的未折扣列表價格估算，GPT-5.6 Sol 每次成功嘗試的成本最低，為 0.127 美元；GPT-5.4 以 0.131 美元提供略高的準確率；Claude Opus 5.5 則以 0.276 美元再往上推。這三個模型構成 Pareto 成本前緣，沒有其他模型能同時更便宜且更準確。但若改看「可靠任務成本」，即 20 次完整執行成本除以 20/20 任務數，排名會改變：GPT-5.4 以 6.80 美元最便宜，GPT-6 Astra 以 7.45 美元達到 231 個可靠任務，Claude Opus 5.5 以 7.80 美元達到 241 個。最便宜的單次正確答案，並不是最便宜的可靠答案。
失敗特徵分析顯示，約八成失敗屬於工具處理問題，而非推理問題：工具使用佔 79.9%、錯誤狀態更新 10.3%、未完整解決使用者需求 7.0%、未採取狀態變更動作 2.9%。代理通常能走到嘗試執行工作流程的階段，然後在工具錯誤、前置條件失敗或空查詢之後無法恢復。這本質上是重試與錯誤恢復的問題，而不只是模型能力的問題。零售領域平均 pass@1 為 59.52%，汽車保險僅 33.83%，顯示領域難度差異極大。
影響與限制
ThinkingBox 的價值不在 pass@1 排行榜，而在於它提供了一個可重現的評測環境。代理在生產環境中接觸真實記錄時，應該在提交前檢查終端狀態，而不是相信模型對結果的摘要；分類工具與系統錯誤，讓重試只針對可恢復的項目；縮小工具表面積；對難以逆轉的變更要求人工核准。基準中的所有任務都是合成重建，流程與政策參考真實企業代理模式，但顧客並非真實人物；研究團隊也尚未在基準上測量上述建議的實際改善幅度。ThinkingBox 程式碼以 MIT 授權釋出，基準資料採用 CDLA-Permissive-2.0，OpenEnv 環境則為 BSD-3-Clause。框架由微軟 Copilot Studio 團隊與 Toloka 合作開發，並有匹茲堡大學、西北大學、哥倫比亞大學與加州大學爾灣分校的實習生參與。使用者可透過 Hugging Face 取得環境與資料集，並經由 OpenEnv 介面執行，每個完成的情節會回傳二元通過或失敗的獎勵訊號。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。