客服代理的評測難題
IBM Research 團隊在 Hugging Face 部落格發表了一套名為 ALTK-Evolve 的方法，主張代理不需要更新模型權重，也能在客服任務上大幅提升表現。要理解這項成果的意義，得先看它使用的評測基準。τ²-bench 由 Sierra 提出，用來衡量代理在真實限制下處理客服對話的能力。每個任務由三部分組成：一位由大型語言模型模擬、心中帶有明確目標的顧客；一組領域工具，例如查詢訂單、發出退款、重新訂位；以及一份代理必須遵守的政策文件。代理必須問出正確細節、留在政策允許範圍內、執行正確且往往不可逆的操作，而任務只有在最終資料庫狀態與預期結果完全一致時才算解決，獎勵是嚴格的二元值。這種設計讓「講得漂亮」不等於得分，因為系統只看最後的資料狀態是否正確。研究團隊選用其中零售與航空兩個客服領域作為測試場域。
ALTK-Evolve 如何學會一套 playbook
ALTK-Evolve 的核心概念是學習式記憶。它不調整模型參數，而是用同一個模型去分析代理在訓練任務上的嘗試軌跡，把成功與失敗蒸餾成簡短的行為規則，例如如何驗證顧客身分、如何確認交易、如何處理退貨。這些準則接著被附加到代理的系統提示中，供後續對話使用。準則萃取與代理本身都由 GPT-4.1 驅動，既不需要權重更新，也不需要人工標註。實際附加的內容是一份純文字清單，接在領域政策之後，例如要求代理在進行任何訂單相關操作前先驗證使用者，若沒有電子郵件，就用全名與郵遞區號透過 find_user_id_by_name_zip 查驗身分；所有變更都要用結構化摘要向顧客確認並取得明確同意才執行資料庫更新；處理退換貨時主動提供逐項退款明細並說明退款時程；每一步只做一個動作，不要把工具呼叫與面向顧客的訊息混在同一輪，並等到工具結果回來再回覆；查詢使用者之前先清理姓名格式，把類似 daiki_johnson_9523 的合併字串拆成名字與姓氏，若連續查詢失敗就明確告知所需格式。團隊先前已在程式碼代理上驗證過這種做法，這次換到客服場景，因為客服的成功同時取決於遵守領域政策、理解顧客需求，以及做出正確的工具操作。
準則份量與可靠性指標
每條準則都帶有一個 support count，代表它從多少個不同的訓練任務中被萃取出來。支援度越高，表示這條規則在多個任務間都成立，而不是單一情境的偶然。研究團隊比較三種配置：baseline 完全不給準則；sup3 只保留支援度大於等於三的準則，形成小而高信心的核心，零售有 31 條、航空有 14 條；lossless 則保留合併後的所有準則，零售 292 條、航空 101 條。每個任務嘗試四次，並用兩種方式解讀。Mean Accuracy 是四次試驗的平均成功率，代表能力軸，回答代理有多常做對；Pass^4 是四次全部通過的任務比例，代表可靠性軸，也是 τ²-bench 排行榜採用的指標。這個區分在客服情境格外重要：一個代理若四次處理退款只成功三次，等於四分之一的真實顧客會失敗，Pass^4 問的是能不能每一次都信任它，而不只是平均起來還不錯。實驗使用 τ²-bench 自帶的基本 ReAct 代理，採 THINK 到 ACT 的兩階段迴圈，代理模型為 gpt-4.1，顧客模擬器為 gpt-5.5，每任務四次試驗。唯一的改動就是提示尾端附上學習到的準則，政策、工具與整體 scaffold 都維持基準版本。
能力與可靠性的實測結果
在保留的測試集上，零售有 40 題、航空有 20 題。零售 baseline 為 78.1% 準確率與 57.5% Pass^4，sup3 為 78.8% 與 60.0%，lossless 為 82.5% 與 67.5%。航空 baseline 為 57.5% 與 35.0%，sup3 為 60.0% 與 45.0%，lossless 為 65.0% 與 40.0%。Mean Accuracy 在兩個領域都上升，零售增加 4.4 個百分點，航空增加 7.5 個百分點。可靠性的進展更明顯，嚴格的 Pass^4 在零售提升 10 個百分點，在航空也提升 10 個百分點。值得注意的是，最佳準則份量依領域而異。零售是越多越好，小型 sup3 核心在準確率上只略勝 baseline，真正跳升需要完整的 lossless 集合；航空在可靠性端則反過來，精簡的 sup3 核心以 45% 勝過 lossless 的 40%，雖然 lossless 在準確率上以 65% 領先 60%。這呼應團隊先前的觀察：指引的份量是一個可調旋鈕，而不是固定常數，支援度門檻值得按領域分別調整。
成本落在輸入端而非對話長度
準則並非免費，但代價出現在可預期的地方，也就是提示的輸入 token，而不是更冗長、更繞路的對話。在完整 base split、四次試驗的條件下，每對話的代理與模擬器總成本為：零售 baseline 約 0.084 美元、sup3 約 0.095 美元、lossless 約 0.139 美元，分別增加 12% 與 65%；航空為 0.081、0.097、0.107 美元，增加 19% 與 32%。至於代理是否靠講更久來換取成績，團隊用同類比較回答：只取 baseline 與準則版本都解決的任務，確保情境與隨機種子相同，再計算助理輪數。零售的 baseline 與 sup3 共同解出 108 次，輪數從 10.40 降到 10.35；baseline 與 lossless 共同解出 111 次，從 10.59 降到 10.16。航空方面，共同解出 38 次者由 8.97 降到 8.53，40 次者由 9.15 降到 8.82。結果是準則讓對話略微縮短，沒有任何配置讓它變長。這件事的意義超過成本：每一輪都是一次序列式的模型往返，輪數減少意味端到端延遲降低，顧客能更快得到結果。較大的系統提示會附在每次呼叫上，但準則區塊在每次呼叫都完全相同，實務上可用 prompt caching 回收大部分輸入成本。整體而言，這是筆划算的交易：輸入成本略升，換到更高的準確率、更高的可靠性與更短的完成時間三者同時改善。
前沿模型同樣受益
一個合理的質疑是：學習到的準則會不會只是在補較弱模型的破洞？團隊直接把航空改用 gpt-5.5 同時擔任代理與準則萃取模型，使用同樣的 ReAct scaffold，準則重新從代理自身的運行中挖掘。有一個細節隨模型改變：這個設定下沒有任何準則達到支援度三以上，最高只到二，因此高支援度核心改為 sup2，共 103 條，lossless 為 146 條。在 20 題保留測試任務上，baseline 為 72.5% 準確率與 55.0% Pass^4，sup2 為 80.0% 與 70.0%，lossless 為 82.5% 與 70.0%。準則依然帶來準確率加 10 個百分點、Pass^4 加 15 個百分點的提升，比 gpt-4.1 在同一批任務上的 +10 更大，而且起點更高。換句話說，即使代理一開始就更強，圍繞模型學習準則仍能改善它。另外，baseline 的可靠性在重跑之間會擺動，lossless 配置則精確重現，顯示它帶來的增益是可依賴的，而不是一次好運。
排行榜位置與實務限制
排行榜提交依 τ²-bench 要求在完整 base split、也就是訓練與測試的聯集上評分，並以 Pass^4 回報，因此數字與前述保留測試集不同。在零售領域，附加學習準則的代理取得 Pass^4 67.5%，排名第一，領先所有前沿模型，也領先以合成 τ²-bench 零售資料微調的 RAFT-30B-A3B 的 61.4%，以原版 gpt-4.1 加上提示層級的 playbook 超出微調系統 6.1 個百分點。航空領域中，使用 gpt-5.5 的版本達到 82.0% 位居首位，超過所有前沿條目；使用 gpt-4.1 的 sup3 核心則取得 44%，排第八，勝過無推理模式的 GPT-5.2，並接近 Claude Sonnet 4.5。這些結果來自 2026 年 10 月 12 日的排行榜快照。限制也必須說清楚：這是特定基準與特定領域的結果，準則需要按領域重新萃取，數量與支援度門檻得逐域調整，成本隨準則量上升，跨領域的自動轉移性也還未被證明。不過相較於在基準上微調模型這種昂貴、脆弱且不易移轉到下一領域的做法，ALTK-Evolve 只靠從代理自身運行自動萃取、無需人工標註、也沒有測試集洩漏的提示層級準則，就能讓使用原版模型的代理明顯進步，在零售上甚至超越微調系統。相關資源包括 ALTK-Evolve 函式庫與 τ²-bench 專案，以及零售與航空的排行榜提交紀錄。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。