在開發軟體庫（Library）時，我們通常關注的是 API 是否正確、執行速度是否夠快。但隨著 AI Coding Agent（如 GitHub Copilot, Cursor 或各式自動化代理人）開始接手編寫代碼，軟體設計面臨了一個新維度：這套工具是否「對 Agent 友好」？
如果一個 API 設計冗長或文件過時，人類開發者可能會覺得煩躁，但對 Agent 來說，這意味著它必須嘗試更多次、消耗更多 Token、經歷更多次除錯循環，最終導致更高的成本與延遲。
Hugging Face 團隊在針對 transformers 庫的實踐中，提出了一套衡量「Agent 效率」的新基準，讓我們重新思考如何為 AI 時代設計工具。
定義 Agentic-Optimized Tooling
所謂的 Agent 最佳化工具，是指讓 Agent 能更快速、更精準地發現並使用該工具。這涉及兩個核心原則：
第一，可發現性（Discoverability）。如果 Agent 找不到工具或不清楚如何調用，該工具對它而言就等於不存在。這需要清晰的 API 設計與結構化的文件。 第二，可驗證性（Testability）。我們不能只檢查 Agent 的最終輸出是否正確，而必須測試 Agent 「如何」達成目標。
為什麼最終答案（Final Answer）不足以作為衡量標準？
假設我們要完成一個簡單的情感分析任務。兩個 Agent 都得到了正確答案「正面」，但路徑截然不同：
路徑 A：Agent 寫了一個 40 行的 Python 腳本，導入多個模組，遇到維度錯誤（Shape Error）後除錯兩次，最後才印出結果。 路徑 B：Agent 直接輸入一行指令 transformers classify --model ... --text "..." 立即完成。
如果評測指標只看最終答案，這兩個路徑都被視為 100 分。但在實務中，路徑 B 的延遲更低、Token 消耗更少、失敗率更低。因此，我們需要衡量的是「達成目標的成本」而非僅是「結果」。
評測維度與實驗設計
為了量化這種差異，Hugging Face 建立了一套測試框架，將 Agent 處於三種不同的環境（Tiers）來觀察表現：
Bare（純淨環境）：僅安裝 transformers，不提供額外資訊。 Clone（源碼環境）：將整個 transformers 倉庫克隆到工作目錄，讓 Agent 能讀取源碼。 Skill（技能環境）：提供精簡的 CLI 文件與特定任務的範例，直接放入 Agent 的上下文（Context）。
針對不同規模的模型，評測重點也不同：
對於大型強大模型：它們幾乎都能拿到正確答案，因此重點在於「效率」。我們觀察它花了多少次對話（Turns）、消耗多少 Token 以及是否使用了已廢棄的 API。 對於小型本地模型：它們的能力不穩定，因此「成功率（Match %）」是首要指標，其次才是成本。
實務發現：CLI 與 Skill 的權衡
Hugging Face 嘗試為 transformers 增加 CLI（命令行界面）與 Skill（精簡指令集），結果發現了有趣的現象：
效率提升與 Token 增加的權衡 對於強大模型，提供 CLI 能顯著減少任務完成時間，因為 Agent 不再需要編寫與除錯 Python 腳本。然而，在 Clone 環境下，Token 消耗反而增加，因為 Agent 會先閱讀 CLI 的實作代碼來學習如何使用。這是一種權衡：用更多的輸入 Token 換取更少的執行步驟。
模型規模的陷阱 最關鍵的發現是：對大模型有益的優化，可能會讓小模型崩潰。 在 Skill 環境下，強大模型能迅速上手 CLI。但某些小模型（如 Qwen3-14B）會產生誤解，將「Skill 文件」誤認為是一個可以直接調用的內建工具（Tool Call），而不是應該在 Shell 中執行的指令。結果導致小模型在有 Skill 輔助時，成功率反而從 100% 掉到 0%，因為它放棄了原本會用的 Python 代碼，轉而嘗試錯誤的調用方式。
給工程師的實務建議
如果你正在開發一個希望被 AI Agent 廣泛使用的工具，可以參考以下策略：
提供高層級的簡化界面（如 CLI）。這能將複雜的 API 調用封裝，減少 Agent 編寫代碼時出錯的機率。 建立行為標記（Markers）。不要只看結果，定義一些標記（例如：是否使用了 CLI、是否使用了 Pipeline API）來追蹤 Agent 的行為路徑。 跨模型規模測試。不要只用 GPT-4 或 Claude 3.5 測試。必須在小模型上驗證，確保你的優化不會引入歧義，導致小模型在面對新功能時反而失去原有的基本能力。 動態生成 Skill。與其手寫文件，不如利用強大模型將成功路徑轉化為 Skill，並在弱模型上驗證是否真的能提升表現。
總結
在 AI Agent 成為主要開發者的時代，軟體庫的成功不再僅僅取決於功能強大，還取決於它是否能被 AI 低成本地驅動。衡量 Agent 使用工具的效率，將成為未來 API 設計的重要環節。
來源：huggingface.co - Is it agentic enough? Benchmarking open models on your own tooling
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。