根據 InfoQ 在 2026 年 10 月 9 日的報導，Google 發布 Android Bench 2.0，這是其 Android 開發任務 AI 評估框架的重大更新。新版本導入長程任務、代理評估與連續評分，目的是更準確衡量 AI 模型與 agent 在複雜、多步驟開發工作中的實際能力。Android Bench 最初在數個月前推出，主要用來評估 AI 模型面對常見 Android 開發任務時的表現，並把權限、導航、連線等 Android 最佳實踐納入評估範圍。不過，早期版本偏重既有儲存庫中的增量修改，任務規模與真實專案中動輒數天的工作仍有落差，因此 2.0 版把範圍向外擴展。
長程任務與代理評估
Android Bench 2.0 最顯著的新增是 long-horizon tasks，簡稱 LHT。Google 將這類任務描述為工程師可能需要花費數天甚至一週才能完成的工作。具體內容包括升級相依套件、加入新功能、從零開始建立應用程式，以及把跨平台應用移植到 Android。這些任務與小型修改不同，通常需要跨檔案理解、長時間規劃與多階段執行，因此更能反映 AI 代理在真實開發流程中的限制。除了任務型態改變，2.0 版也開始採用 agentic evaluation，也就是以代理為基礎的評估方式。初期納入的是對應模型供應商所提供的 agent，受測對象不再只是模型單次產出的程式碼，而是模型如何透過工具與環境互動、逐步完成任務的整體行為。
從二元判定到連續評分
另一個核心改變是評分機制。舊版採用二元通過或失敗判定，只要有一個邊界案例的斷言沒有通過，即使 agent 已滿足數十項其他需求，複雜任務仍可能被整體標記為失敗。這種做法難以區分「幾乎完成」與「完全失敗」，也容易低估多步驟任務中逐步逼近目標的價值。Android Bench 2.0 改採連續評分，以完成率呈現結果。Google 表示，完成率由多項因素組合計算，包括功能是否正確、視覺保真度，以及是否避免回歸。此外，若受測者偏離評估指令或違反結構限制，也會受到客觀扣分。這樣的設計讓評估結果更細緻，也能反映任務在不同面向上的達成程度，而不是只給出單一結論。
模型擅長什麼、卡在哪裡
Android Bench 2.0 的結果也提供線索，指出哪些任務較容易在 AI 協助下成功。Google 指出，AI 在撰寫新程式碼方面表現優於重構既有程式碼。背後原因在於重構與遷移往往需要理解程式庫的架構複雜度，包括模組依賴、歷史脈絡與隱含假設，而這些資訊通常不容易從局部程式碼或單一提示中完整取得。相對地，AI 在若干已被充分定義且具確定性的轉換上表現良好，即使面對較大的程式庫也是如此。例子包括把 Java 轉換為 Kotlin、以 Ktor 取代 Retrofit，或是引入 ViewModel 層。
仍有數類任務讓模型明顯受挫。需要執行期驗證的工作是一例，例如 dependency injection graph 不完整時所浮現的問題，必須實際執行才能察覺。涉及破壞性框架變更的任務同樣困難，因為新舊版本之間的行為差異不容易從靜態閱讀中推斷。當任務牽涉尚未發布的函式庫時，模型也可能出現知識缺口，無法掌握最新 API 或行為。最值得注意的是，在把跨平台應用移植到 Android 這項任務上，表現最好的模型也只達到 80% 完成率，Google 仍將其視為一項開放挑戰。這顯示某些工作即使對頂尖模型而言，仍需要人類工程師補足架構判斷與執行期除錯。
排行榜數字與實務意義
Android Bench 2.0 的儀表板納入多個近期模型，包括 Gemini 3.8 Flash、Gemini 3.7 Flash、OpenAI GPT-6、Anthropic Fable 5.1、Kimi K3 與 Qwen 3.8 Max。在 InfoQ 報導當時，Claude Opus 5.5 以 32% 的 LHT 通過率位居榜首，其次是 GPT 6 Astra 的 28%。這些數字提醒我們，長程任務對當前模型仍是高難度領域，即使是最佳表現者也只完成約三分之一。連續評分雖然提供更細緻的訊號，但不同任務之間的加權方式、視覺保真度的判定標準，以及代理評估中工具與環境的差異，都會影響結果的可比較性。因此，解讀排行榜時不宜只看單一總分，而應理解其背後的任務組成與評分假設。
對開發團隊而言，Android Bench 2.0 的價值在於提供一組可重複的觀察框架，協助判斷哪些工作適合導入 AI 代理，哪些仍需人類工程師掌握架構脈絡與執行期驗證。它同時揭示一個現實：AI 在確定性高、邊界清楚的轉換上已相當可靠，但面對需要跨檔案規劃、破壞性變更或未發布技術的任務時，仍存在明顯限制。把 benchmark 分數直接等同於專案生產力，並不足以反映真實開發中的變數；更合理的做法，是把它當成選擇工具與設計人機分工時的參考依據。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。