在過去的 AI 開發經驗中，我們讓模型執行任務通常依賴 Function Calling，也就是讓模型決定要呼叫哪個 API 介面來獲取資料或執行動作。但現實世界的許多工作流程並沒有完整的 API 可以對接，或者需要跨越多個不同的軟體平台。為了打破這個限制，Google 在 Gemini 3.5 Flash 中正式內建了 Computer Use 能力。
什麼是 Computer Use
簡單來說，Computer Use 是一種讓 AI 像人類一樣操作電腦的能力。它不再僅僅是輸出文字，而是能夠感知螢幕畫面、進行邏輯推理，並模擬滑鼠點擊、鍵盤輸入等操作。這意味著 AI 可以直接在瀏覽器、行動裝置或桌面應用程式中執行任務，而不需要開發者為每個步驟撰寫對接代碼。
這種能力將 AI 從單純的聊天機器人提升到了 Agentic Workflow，也就是代理人工作流。AI 現在可以處理長路徑的複雜任務，例如自動化軟體測試或在多個專業應用程式之間搬運並整理知識。
為什麼選擇整合在 Flash 模型中
以往這類能力可能需要獨立的專用模型，但將其原生整合進 Gemini 3.5 Flash 具有顯著的工程優勢。Flash 模型主打的是低延遲與高效率，而操作電腦需要頻繁的 螢幕截圖分析 與 即時反應，如果模型推理速度太慢，自動化流程會變得極其低效且容易出錯。透過整合，開發者可以在維持快速回應的同時，讓 AI 具備跨平台的執行力。
實務應用場景
對於工程師而言，這項技術最直接的影響在於自動化測試與企業流程優化。例如，AI 可以被指派去審核自家產品的無障礙設計，它會像真實使用者一樣操作介面，發現無法透過鍵盤導覽的區塊並記錄下來。或者，它可以分析一個複雜的 App 功能清單，透過實際操作來對功能進行分類，而不需要手動撰寫繁瑣的測試腳本。
安全性與風險控管
將 AI 賦予操作電腦的權限會帶來巨大的安全風險，最核心的問題在於 Prompt Injection 提示詞注入攻擊。假設 AI 在瀏覽網頁時，讀到了網頁上隱藏的惡意指令，可能會導致 AI 在不知情的情況下刪除使用者的重要檔案或發送機密郵件。
為了應對這些風險，Google 採取了多層防禦機制。首先是在模型層級進行 Adversarial Training 對抗訓練，讓模型學會識別並拒絕可疑的指令。其次，針對企業用戶提供了兩項關鍵的安全守衛系統：一是敏感操作確認，當 AI 準備執行不可逆的動作時，必須強制要求人類使用者確認；二是間接注入偵測，一旦系統偵測到來自外部環境的惡意指令，會立即停止任務。
工程實務建議
在實際部署 Computer Use 代理人時，不能僅依賴模型的內建防護。建議採取 Defense in Depth 深度防禦策略。首先，必須將 AI 運行在 Sandbox 沙盒環境中，確保它即便出錯也不會影響到主機系統。其次，實施 Human in the Loop 人機協作驗證，在關鍵節點加入人工審核。最後，嚴格限制 AI 的存取權限，僅給予完成任務所需的最小權限，而非管理員權限。
來源：blog.google
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。