網頁應用程式的自動化測試長期存在兩條路線之間的取捨。傳統做法以 Playwright、Selenium 這類瀏覽器自動化框架為基礎,測試速度快、結果可預期,但測試腳本往往綁定實作細節,例如 CSS 類別、DOM 屬性或 data-testid 選擇器;只要前端結構微調,即使功能規格完全沒變,測試就得跟著改寫。加上網頁應用本質上是非同步、分散式的系統,race condition(競態條件,指多個操作因時序不定而產生不同結果)、延遲與丟失的請求都會讓同一支測試時過時不過,形成所謂的 flaky test(不穩定測試)。另一端的 AI 優先路線則讓代理程式動態處理每一次瀏覽器互動,對介面變動的適應力強,但 LLM 每個步驟動輒增加數秒延遲、推高 API token 成本,且模型輸出的非確定性帶來另一種不穩定,對大型迴歸測試套件來說並不實用。
根據 InfoQ 於 2026 年 10 月 29 日由 Bruno Couriol 發布的報導,Linearbytes 發布了 Bug0 QA Agent,一個採 source-available 授權的 Playwright 函式庫,試圖以混合式設計同時兼顧兩條路線的優點。開發者在標準的 Playwright 規格檔中,用自然語言撰寫宣告式的測試步驟,例如「前往示範商店頁面」「點擊 Acme Circles T-Shirt」「選擇顏色:White」「選擇尺寸:M」「加入購物車」,並可附上像「購物車顯示該件 T-Shirt」這樣的斷言。測試意圖與實作細節因此解耦,介面調整不再直接導致腳本重寫。
核心的運作方式是將首次探索與後續例行執行分離。初次執行時,代理程式檢視網頁的無障礙樹與螢幕截圖,理解介面並完成要求的動作;一旦單一動作步驟成功執行,框架會將該互動編譯成具體的瀏覽器操作,快取到記憶體內的 Redis 儲存中。之後的執行直接透過 Playwright 重播快取的動作,完全略過 LLM 推論的延遲成本。當介面的實作細節改變,例如按鈕座標更新或表單層級調整,重播失敗時 Bug0 不會讓整個測試直接報錯,而是偵測斷裂點、使對應的動作快取失效,重新喚起多模態代理迴圈重新探索並修復,達到一定程度的自我修復效果。
斷言驗證方面則刻意不使用快取,每次執行都會進行。Claude 與 Gemini 兩個模型各自獨立評估每一條斷言,若結果不一致,再由第三個模型做仲裁,以共識機制降低單一 LLM 判斷失準的風險。視覺模型也用於畫面驗證,影片模型甚至能捕捉短暫出現的 UI 缺陷,例如自動消失的 toast 提示或一閃即逝的錯誤橫幅,這類缺陷在傳統斷言模式下很容易被漏掉。框架還內建一次性郵件測試能力,透過 mailsink 與 Mailinator 等社群介面卡,讓測試能用像 } 這樣的自然語言提示,從郵件中擷取一次性密碼與 magic link,簡化註冊、登入流程的測試。
不過這套做法仍有明確限制。快取只適用於單一動作的步驟,複雜的多動作指令每次執行都得重新走一遍代理流程,延遲問題並未完全消除。斷言依賴 LLM 與視覺模型,意味著每次執行都產生推論成本,且模型判斷本身仍可能出錯。研究面也提供了警訊:Chevrot 等人 2025 年 4 月發表的論文《Are Autonomous Web Agents Good Testers?》指出,即使是最強的自主測試架構 ATA,與人類專業測試員的判斷一致率也僅約六成,該研究使用 GPT-4o、Sonnet 與 Gemini,並將斷言可驗證性與 grounding(代理能否正確定位目標應用中相關元素)列為自主測試代理普及的兩大關鍵瓶頸。隨著模型與工具持續進步,生成、自我修復、執行、分類與分析等測試環節的 AI 化仍在不斷推進。
授權方面,Bug0 QA Agent 採用 Functional Source License 1.1(ALv2 Future License)。這是 source-available 而非開源的授權,使用者在最初兩年內受到禁止競爭條款限制,期滿後才轉為 Apache 2.0。這種由 Sentry 率先倡議的模式,用意如官方所述,是在「給予自由、又避免有害的搭便車行為」。對團隊而言,Bug0 提供的混合式架構點出一條務實中間路線:用快取重播換取 CI 速度,用多模型共識換取驗證可信度,但導入前仍需衡量推論成本、斷言可靠性與授權限制。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。