背景與問題
Google Cloud 於 2026 年 11 月宣布,其 API Gateway(API 閘道)正式推出串流(streaming)支援的公開預覽版。API Gateway 是一種位於後端服務之前的統一入口,負責處理身分驗證、API 金鑰管理、流量監控與請求路由等工作,讓開發者不必在每個 API 上重複實作這些控制機制。然而,這類閘道長期以來都建立在傳統的「請求—回應」模型上:客戶端發出請求,等後端一次性回傳完整結果。這對一般 REST API 沒有問題,但對需要即時、持續傳輸資料的應用來說卻是明顯的短板,尤其是現今大量湧現的 AI 應用——大型語言模型的回應通常是逐字、逐段產生的,而不是等全部生成完畢才回傳。
在這次更新之前,開發者面臨一個兩難:若把 API 放在 API Gateway 後面,就必須放棄串流能力;若為了串流而繞過閘道直接連接後端,則會失去原本選用閘道的理由,包括認證機制、API 金鑰強制執行與可觀測性。換句話說,即時體驗與集中式治理,過去只能二選一。
核心內容:支援哪些串流模式
這次公開預覽讓串流端點可以直接運作在 API Gateway 之後,同時保留既有的閘道政策與安全控制。API Gateway 支援多種常見的串流模式:Server-Sent Events(SSE,伺服器單向持續推送事件的機制)、chunked transfer encoding 與 HTTP 回應串流(將回應切成小塊逐步傳送)、WebSockets(全雙工的持續連線通道),以及 gRPC(Google 開源的高效能遠端程序呼叫框架)。每條串流連線最長可維持一小時,超時後客戶端必須重新建立連線才能繼續通訊。
值得注意的是,這項功能不需要開發者修改既有的 API 規格檔,也不要求使用特定的 API、擴充功能或註解。Google 強調所有既有的閘道設定與能力都照常運作,包括 API 金鑰強制執行、JWT(JSON Web Token,一種常見的權杖驗證格式)驗證、連往後端服務的服務帳戶認證、Cloud Logging 與 Cloud Monitoring 的整合,以及路徑模板與請求路由。這代表採用串流支援基本上是無痛疊加,而非一次遷移工程。
技術或脈絡解讀:為什麼對 AI 應用特別重要
對 AI 應用而言,串流不只是效能最佳化,而是核心體驗。模型的回應是漸進生成的,串流讓使用者即時看到內容,而不是盯著空白畫面等待。藉由這次更新,開發者可以即時串流模型回應、在多步驟 agent 工作流程中持續更新代理進度、支援 tool-calling 協定與連接遠端 MCP 伺服器(Model Context Protocol,一種讓模型與外部工具和資料來源互動的協定),並處理各種互動式 AI 應用場景。
此外,API Gateway 也支援模型路由(model routing):提供一個與 OpenAI 相容的單一端點,依據請求內容中的 model 欄位,把請求導向 Gemini、Claude 或 OpenAI gpt-oss 等模型。串流加上模型路由的組合,意味著客戶端可以用熟悉、基於標準的串流介面存取不同模型,而服務端則保有集中控制權,決定哪些模型可以被誰、在什麼政策下呼叫。
這次發布還附帶一項實用的改進:可預測的閘道主機名稱。過去閘道主機名稱會包含一段系統產生的雜湊值,只有在資源建立之後才能得知;現在則採用確定性格式 GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev,開發者可以在建立資源之前就先寫好設定與參照。
影響與限制
儘管方向正確,社群迴響中也出現了值得留意的限制。X 使用者 emildrops 指出兩點:首先,既有的閘道無法就地切換啟用串流,也就是說現存資源可能需要重建;其次,延遲指標衡量的是整條串流的時間長度,而不是 time to first byte(TTFB,首個位元組送達的時間),因此延遲圖表可能會因為這個衡量方式而看起來異常,但那並不是 bug。LinkedIn 使用者 Ehsan Elahi Zaheer 也提出類似觀察:一條延遲曲線可能掩蓋了截然不同的使用者體驗,因為串流場景下使用者感受到的是「多快開始看到內容」,而不是「總共花了多久」。這提醒團隊在導入後需要調整監控思維,不能沿用傳統請求—回應時代的指標解讀習慣。
在預覽階段,開發者必須在建立閘道時明確加上 --enable-streaming 命令列旗標來啟用這項功能。整體來看,這次更新解決了 AI 時代一個真實的架構矛盾:即時體驗與集中治理不必再互相犧牲,但現有資源的遷移成本與監控指標的重新定義,是實務落地時需要自行處理的部分。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。