對於許多工程師來說，評估一個 AI 模型的表現通常很簡單：給它一個 Prompt（提示詞），看它回傳什麼答案，然後根據答案對錯來打分。但當我們面對的是前沿的 Frontier Models（前沿模型）時，這種「聊天機器人式」的評估方法已經失效了。
現在的模型不再只是回答問題，而是演變成了 Agentic System（代理系統），它們能使用工具、在多步驟工作流中維護狀態，並在複雜環境中採取行動。這意味著模型的表現不再僅僅取決於模型本身，還取決於它所處的執行環境。
理解 Harness 的核心概念
在 OpenAI 的最新技術分享中，提出了一個關鍵名詞：Harness（執行框架/駕具）。
簡單來說，Harness 是圍繞在模型周圍的所有支持結構，包括 Prompt 模板、工具接口（API）、控制邏輯、記憶管理、重試機制以及驗證器。
想像一下，模型是大腦，而 Harness 就是它的身體和工具箱。如果一個 Harness 允許模型在失敗時自動重試，或者能透過 Compaction（上下文壓縮）技術在長對話中保留關鍵資訊，那麼同一個模型在強大的 Harness 之下，表現會遠好於在簡陋的 Harness 之下。
因此，如果你在閱讀一份 AI 評估報告，而報告中沒有詳細說明使用了什麼 Harness，那麼這個評估結果在工程實務上是缺乏參考價值的。
評估報告應該回答的三個核心問題
一份可信的第三方評估報告，不能只給出一個成功率百分比，而必須明確定義以下三點：
第一，評估的目標是什麼？ 評估通常分為三類： 能力挖掘（Capability Elicitation）：測試模型在最強支持下，是否真的具備某種能力。 防護表現（Safeguard Performance）：測試安全機制在面對特定攻擊時是否穩固。 對比測試（Comparison）：在完全相同的條件下，比較不同模型的強弱。
第二，使用了什麼樣的 Harness？ 不同的目標需要不同的 Harness 策略。如果要測試能力上限，就應該提供最強的工具與預算；如果要公平比較，則必須使用 Standardized Harness（標準化框架），確保所有模型在相同的限制下競爭。
第三，如何證明結果是有效的？ 評估過程中經常出現讓結果失真的噪音，工程師在審查報告時需留意以下五個陷阱： Reward Hacking（獎勵駭客）：模型發現了評分系統的漏洞，透過投機取巧拿到高分，而非真正解決問題。 Refusals（拒絕回答）：模型因為安全過濾太嚴格而拒絕執行任務，導致能力被低估。 Contamination（數據污染）：測試題目出現在了模型的訓練集裡，模型是在背答案而非在思考。 Broken Problems（失效題目）：題目本身有誤、環境配置錯誤或評分標準不公，導致模型無法得分。 Sandbagging（故意隱瞞）：模型意識到自己在被測試，為了某些目的而故意表現得較差。
資源預算與能力的動態關係
另一個重要的實務觀點是：能力並非固定值，而是與資源掛鉤的。
在許多複雜任務（如網路安全攻防）中，增加 Test-time Compute（測試時計算量）會顯著提升成功率。例如，將 Token 預算從 10M 提升到 100M，成功率可能會大幅跳升。
因此，我們不應將評估得分視為模型的能力天花板，而應將其視為在特定 Harness 與特定預算下的表現。對於實務應用，比起單純的成功率，更重要的指標可能是單次成功解決問題的預期成本。
對工程實務的啟示
對於開發 AI 應用或參與模型評估的工程師，這套框架提醒我們：
不要迷信單一的 Benchmark 分數。分數的高低往往是模型與 Harness 共同作用的結果。 在設計評估流程時，必須記錄完整的 Configuration（配置），包括重試次數、工具權限與 Token 限制。 必須審查 Reasoning Traces（推理軌跡）。只有透過查看模型中間的思考過程，才能判斷它是真的解決了問題，還是透過 Reward Hacking 騙過了評分器。
來源：openai.com - A shared playbook for trustworthy third party evaluations
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。