AI 程式開發工具的討論，長年圍繞模型能力打轉：某個模型在某個 benchmark 上分數更高、某個新版本上下文視窗更大、某個發布在人評上多贏 0.02 分。這些資訊並非沒有價值，但 InfoQ 刊出的 QCon AI 演講中，Kilo Code 創始開發者關係工程師 Brendan O'Leary 根據真實使用資料指出，它們和開發者能否真正把模型導入 agentic workflow，關聯其實非常有限。Kilo Code 是一套開源 agentic engineering 工具，可以理解為開源的 Claude Code 或 Cursor 類型產品，提供 CLI、VS Code 與 JetBrains 擴充，也有雲端 agent，並透過自家 gateway 讓使用者存取超過五百個模型。這場分享的資料來自該 gateway，原本提交演講時的主題是二十五兆 token，但到實際發表時已經處理超過四十兆 token，成長速度本身就反映了 AI 採用曲線的陡峭。
這批資料排除了匿名使用者、Kilo Code 內部使用者、大部分 autocomplete 流量，以及自動化流量，聚焦在開發者主動選擇模型的請求行為。也就是說，它看的不是後端路由結果，而是開發者在介面上實際點選了哪個模型。O'Leary 也坦言，Kilo Code 的用戶並不是隨機樣本，而是明顯偏向早期採用者，多半是主動尋找開源、可配置工具的人，對實驗與新技術的耐受度較高。因此，當資料顯示某個比例時，不能直接推論成全體開發者的現況，而更適合視為未來十二到十八個月可能擴散的方向。
能力敘事與採用現實的落差
產業界習慣用能力敘事描述 AI 進展，但 O'Leary 觀察到一個反覆出現的現象：團隊取得了最好的模型、最高的 benchmark 分數，卻完全沒有用起來；相反地，有些團隊高度依賴 benchmark 較差、但在特定任務上更順手的模型。這個落差不是隨機的，核心因素是信任。AI 工具和過去多數開發工具不同，具有非確定性，同樣的輸入不一定得到同樣的輸出。開發者不會因為模型分數高就自動買單，而是要在實際工作流中累積足夠的正向經驗，才願意把更多自主權交給系統。這也解釋了為什麼單看模型排行榜，很難預測 agentic workflow 能否在組織內落地。
四級信任階梯
O'Leary 用「信任階梯」描述開發者採用 AI 的過程。第一階是 autocomplete 與 ghost text，也就是按下 Tab 接受建議。它同步、即時、和開發者當下的思路貼合，失敗成本幾乎為零，看到不喜歡就刪掉。第二階是 chat，開發者提問、要求一段程式碼、請模型解釋正在審查的內容，再手動決定要不要採用。這個階段的回饋仍然很快，通常以秒或分鐘計，開發者複製貼上的動作就像過去從 Stack Overflow 搬程式碼。第三階是 agent，模型能讀寫檔案、執行命令，甚至以開發者身分在環境中採取行動。信任門檻在此大幅跳升，回饋週期拉長到分鐘甚至更久，失敗成本也不再只是「一段爛文字」，而可能是錯誤路徑、壞掉的建置或更嚴重的環境變更。
第四階是多代理編排：開發者先形成設計，再讓一組 agent 拆解子任務、跨代理委派、使用不同專業能力，最後交回一個協調可用的結果。這個階段信任門檻最高，回饋週期可能長達數分鐘到數小時，若給予過多自主權又缺乏監督，問題可能很久之後才被發現。O'Leary 引用 Gartner 的研究指出，大量 AI 專案在上線前失敗，原因往往不是模型不夠強，而是團隊沒有沿著階梯爬行、走路、再跑步。有些組織還停在 chat 階段，就因為看到多代理 swarm 的展示而直接跳到最高階，卻沒有建立理解幻覺、失敗路徑與治理缺口的能力。這裡有個容易被低估的不對稱：越往上層，回饋越慢、越稀疏，但需要的信任反而越高。信任必須在證據最少的地方最穩固，這正是 agentic 系統設計的難點。
三個可預測的斷點
第一個斷點是 context construction，也就是把請求送給模型之前的所有準備工作。哪些檔案被納入？是否索引整個程式碼庫？是否做語意檢索？模型是否理解專案中物件之間的關係？問題本身有沒有被陳述清楚？O'Leary 強調，當 autocomplete 表現差時，通常不是模型差，而是 context 差。如果開發者問「這個專案的認證邏輯在哪裡」，而 agent 一開始就走向錯誤路徑，錯誤的檢索結果會污染整段對話，後續只能不斷猜測。若到了多代理階段，這個錯誤還會被放大。實務上要處理三件事：上下文視窗必須隨任務複雜度擴展；過期 context 是真實問題，用舊語意模型描述程式庫，有時比讓模型自行探索更糟；相關性與新近性必須區分，最近修改的檔案不一定和當前任務最相關。
第二個斷點是 model routing。許多組織的直覺是選一個最好的模型全面部署，或在重型任務用前沿模型、輕量任務用便宜模型，並且只綁定單一供應商。但 Kilo Code 觀察到的早期採用者行為完全不同。在某年四月，手動選擇模型的開發者中，有百分之六十八在同一個月內使用來自兩個以上 AI 實驗室的模型，比例高於三月；百分之四十五甚至在同一個小時內切換模型，這不只是隨機實驗，而是在實際工作階段中刻意調整。企業開發者中，百分之七十一使用兩個以上實驗室的模型。使用強度越高，多模型行為越明顯：每月約一百次請求的輕度使用者平均使用一點五個實驗室，百分之三十四跨實驗室；每月一百到一千次的一般使用者有百分之七十六跨實驗室，平均二點九個；每月一千到一萬次的重度使用者有百分之八十九跨實驗室，平均五點三個；每月超過一萬次的超級使用者有百分之九十二跨實驗室，平均七點六個。這比較像學習曲線，而不是出於好奇的亂試。
資料也顯示模型市場並未收斂。前十大熱門模型來自六個不同實驗室，某些日子請求量最高的甚至是 MiniMax-M2 Pro，而非傳統一線實驗室；MiniMax、StepFun 與 xAI 模型都有明顯採用。沒有任何單一模型在任何一天超過總請求量的百分之三十七。成本也是一個維度：經常切換模型的人中，百分之三十八在免費與付費模型之間切換，百分之三十三的時間是在比較兩個付費模型。對企業而言，這還牽涉業務連續性。以 Anthropic 為例，在截至四月的八週內，它在 Kilo Code gateway 請求中的占比從百分之十一點二降到百分之六點五，同期總使用者與請求量成長三倍。這不代表誰輸誰贏，而是企業正在分散集中風險。對工具開發者的設計含義很直接：不能假設使用者只會用一個模型，否則最成熟的用戶會繞過你的工具。
第三個斷點是 feedback loops。Autocomplete 的回饋是即時的，chat 是秒到分鐘，單一 agent 通常是分鐘，多代理編排則更長。回饋越慢，開發者越難透過大量使用累積信任，因為每次嘗試之間的間隔太久。資料中有一群開發者舒適地停在 chat 階段，不願意往前；O'Leary 認為這不是因為他們嘗試 agent 失敗，而是出錯時沒有足夠訊號理解原因，只好退回熟悉的做法。問題往往不在 agent 本身，而在回饋迴路設計。工具必須呈現 agent 的決策，而不只是輸出：它掌握了什麼 context、過程中做了哪些判斷。若缺乏中間訊號，開發者會看著 agent 跑一下，發現自己不清楚狀況，就中斷、重啟或乾脆自己做。自主程度必須和階梯層級匹配，否則不是微管理，就是過早放手。
信任不是感覺，可以被量測
O'Leary 承認「信任」在工程演講裡聽起來很模糊，但他認為它可以被量測。在 autocomplete 階段，可以看 override rate，也就是建議被拒絕的比例，再區分是模型問題、context 問題，還是開發者尚未學會信任。在 chat 階段，可以看 session depth 與 follow-up rate；如果開發者不再追問，把第一次回答當最終答案，可能是信任赤字。在 agent 階段，可以看 session completion rate 與 interruption rate：任務是否被允許跑完，還是開發者頻繁中斷。中斷未必都是壞事，可能是正確阻止錯誤方向，也可能是焦慮造成的接手，但這些訊號能揭露回饋迴路是否足夠透明。信任具有強烈不對稱性：需要很多次正面經驗才能累積，卻可能被一次負面經驗摧毀。它也有社會維度。一次在高階工程師面前、或在現場 demo 中發生的高可見度失敗，會在組織內形成難以逆轉的敘事。因此推廣策略不該只是「把權限開給所有人，讓他們自己摸索」，而應從對模糊性最有耐心、最有動機迭代的開發者開始，建立社會證明後再擴散。
對建立 agentic 系統的實務意義
從這批資料歸納出的設計原則有三個。第一，把 context 當成基礎設施，而不是附屬功能；好的檢索系統是整個 agentic 體驗的地基。第二，從一開始就設計 provider independence，因為多模型、多實驗室已是預設行為，單一供應商假設會限制進階使用者。第三，讓回饋迴路匹配採用層級，理解每個階段需要什麼樣的訊號，才能讓開發者安全地往上爬。問答中也補充，代理框架與模型的組合比單一框架或單一模型更重要；工具呼叫能力已逐漸成為基本門檻，框架的差異化更在於它出現在哪個工作介面。此外，從 agentic coding 獲得最大價值的往往是資深工程師，因為他們懂系統思考，知道要餵給 agent 什麼 context。模型在審查自身或他人程式碼意圖方面也明顯進步，讓回合結束時的本機審查 agent 成為常見配置。至於同一開源權重模型在不同推論供應商上表現不一，Kilo Code 的做法是大量過濾與調整，確保快取與前端效能符合開發者預期。
限制方面，這份資料來自單一開源工具的 gateway，使用者偏早期採用者，並非隨機母體，無法直接代表所有企業或所有知識工作者。它提供的是領先指標：在 coding 這個 token 消耗最密集的領域中，已經發生的行為模式，可能預示其他知識工作導入 AI 系統時會遇到的信任、context、路由與回饋問題。模型能力仍會進步，但若系統沒有辦法在每一階梯上賺到信任，再高的 benchmark 也很難轉化成穩定的日常採用。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。