背景與問題 AWS Lambda 向來以事件驅動無伺服器計算著稱:開發者提交函式,平台負責接收事件、分配執行環境與擴充容量。對大型語言模型或視覺模型的推論來說,問題不在於能不能寫出推論程式,而在於 GPU 這種圖形處理器成本高、驅動與執行環境繁瑣,而且必須長時間待命才能承接突然到來的請求。Lambda Managed Instances 在 2025 年 12 月推出時,讓函式跑在客戶指定並付費的 EC2 容量上,EC2 是 AWS 的虛擬機器服務,並由 Lambda 處理佈建、修補與擴充,但當時仍缺一塊關鍵能力:不支援 GPU。InfoQ 在 2026 年 11 月 22 日的報導指出,AWS 已補上這塊缺口,讓 Lambda 的 Event Functions,也就是由事件觸發的函式形式,能直接使用 EC2 G 系列 GPU 執行個體。
核心內容 這次開放的執行個體包括 G4dn、G5、G6、G6f、Gr6、Gr6f 與 G6e;它們是 AWS EC2 中配有 NVIDIA GPU 的機器家族,適合模型推論與其他需要大量並行計算的工作。函式必須以 OCI 映像檔部署,OCI 映像檔是按開放容器標準打包的應用程式封裝,並沿用一般 Lambda 函式的事件來源,因此觸發方式不需要另外改寫。這項功能已在同時提供 Managed Instances 與 G 系列執行個體的商業區域正式可用。
AWS 資深專業解決方案架構師 Daniel Abib 將操作面的變化描述得很直接:開發者建立容器映像檔,讓函式指向這個映像檔,其餘佈建、擴充與事件整合交給 Lambda。過去需要自己處理的 GPU 驅動程式、CUDA 版本、AMI,也就是 Amazon Machine Image 這種預先設定好的虛擬機器映像檔,以及叢集與裝置外掛,都不再是用戶必須逐項維護的對象。CUDA 是 NVIDIA 提供的並行計算平台,負責讓程式呼叫 GPU 執行大規模計算。
執行方式與限制條件 容量提供者是這次設計的控制點。它列出允許的執行個體類型、所屬 VPC,也就是 AWS 中的私有網路,以及 vCPU 上限;vCPU 是虛擬 CPU 核心配額單位。Lambda 會挑選仍有容量的新世代執行個體,若新世代不足,再退回較舊世代。函式本身則透過新的 AcceleratorConfig 設定區塊宣告加速器記憶體,並與一般記憶體、逾時時間、暫存空間和每個執行環境的並發上限並列設定。
真正的效率關鍵在於模型共享。在同一個執行環境中,最多 48 個並發呼叫可以共享一份已載入 GPU 記憶體的模型副本,而擴充會依照 GPU 使用率、CPU 使用率與並發程度決定。發布函式版本時,Lambda 會先佈建執行環境、下載模型權重並預熱推理引擎;模型權重是模型訓練後保存下來的參數,推理引擎則是實際接收輸入並產生輸出的程式。Seekable OCI 延遲載入可讓容器層在需要時才讀取,官方稱環境啟動時間最多可縮短百分之七十。
AWS 同時提供五個 GPU 基礎映像檔:只包含 CUDA 的版本、CuPy、PyTorch、vLLM 與 SGLang。CuPy 與 PyTorch 是常見的 Python 科學計算與深度學習框架;vLLM 和 SGLang 則是針對大型語言模型服務設計的推理伺服器,負責批次、排程與輸出管理。使用後兩者時不需要再寫 handler 處理器程式,只要用 MODEL_ID 指向 Hugging Face、ModelScope、S3 前置路徑或本機路徑即可;Hugging Face 與 ModelScope 是模型倉庫,S3 則是 AWS 的物件儲存服務。模型的替換也變成設定變更加上發布新版本,而不是重新打造整套服務。
Launch 階段的限制也相當明確:容器映像檔最大 32 GB,暫存儲存最大 32 GB,一般記憶體介於 2 至 32 GB,加速器記憶體介於 3 至 48 GB,每個容量提供者最多 15,000 個 vCPU;非同步呼叫與事件來源映射的逾時上限可達 90 分鐘。事件來源映射是 Lambda 用來接收並傳遞事件的一種機制。
首批測試透露的現實 upper? Need no "upper!" Here final must not include typo. Need continue.
Classmethod 的 Akaike 在新功能上線後很快逐一測試 us-east-1 的加速執行個體;他曾在 2025 年 12 月的一場會議演講後,因為發現沒有任何 G 類型被接受而更正內容。這次測試中,81 種類型裡有 37 種被接受,且全數屬於 G 家族;偏向通用 GPU 計算的 P 系列、G7、Inferentia、Trainium,以及以 AWS 自有 Arm 處理器 Graviton 為基礎的 g5g 都被拒絕,傳統 zip 封裝套件也不被接受。PyTorch 基準測試顯示,同一工作在 L4 GPU,也就是 NVIDIA 的資料中心推理卡上,速度約為執行個體 CPU 的 66 倍。
問題並不全在 GPU 本身。Terraform 這類基礎設施即程式碼工具,以及 AWS Cloud Control 這種資源管理介面,當時都還未正確理解 AcceleratorConfig。新帳號的 GPU vCPU 配額一開始也可能是零;若使用 g6.xlarge 這種 4 vCPU 執行個體,並採用預設三個執行個體,就需要至少 12 個 vCPU 配額。由 sasidhar-aws 在 11 月 16 日提出的相關 issue 與 pull request,在報導時仍處於開啟狀態。
另一位以 xbill 名義發表的 AWS Community Builder 測試,把 Gemma 4 E2B 模型放到單一 g6.2xlarge 上,透過 vLLM 映像檔運行;Gemma 是 Google 的模型名稱,E2B 是這次使用的版本。映像檔約 9 GB,內含 Google 四位元 QAT 量化感知訓練權重,以及推测? Need use "推測解碼" not simplified. 推測解碼的草稿模型會先產生候選輸出,再由主模型驗證,目的在降低回應延遲。測試中,一個執行環境同時處理 48 個請求,417 次呼叫全部成功;單一請求約每秒 130 個 token,48 並發時約每秒 3,400 至 3,600 個 token。token 是模型輸出與計量時常用的文字單位。
這位測試者遇到的阻力主要集中在部署管線。從發布版本到版本生效花了 484 秒;Docker 映像檔索引一度被 Lambda 拒絕,必須改為推送單一平台清單才行;處理器程式又會回傳完整回覆,因此無法量測第一個 token 出現時間。他的結論也限定在這個範圍:若模型本身要接事件、佇列或其他 AWS 服務,Lambda GPU 函式是較簡單的路徑,一個映像檔、一個函式,由 Lambda 讓伺服器保持存活並路由請求。少量使用者的聊天情境可以保留草稿模型;大量批次負載則應發布不含草稿模型的版本。需要串流回覆或完整控制伺服器時,他建議直接在 EC2 G6 上運行 vLLM。
適用邊界與影響 Abib 對競爭方案的差異描述,集中在營運邊界:某些無伺服器 GPU 服務雖然隱藏了 GPU 管理工作,卻位在 AWS 環境之外,缺少原生事件來源、身分與網路整合。對已經把資料、佇列、權限和監控放在 AWS 內的團隊而言,這意味著 GPU 推論可以少跨一套系統;但這不等於所有延遲與流量問題都會消失。
計價沿用 Managed Instances 的模式,按 EC2 On-Demand 隨用隨付費率加上百分之九點七五的管理費,再收取每百萬次請求零點二美元;相較 CPU 執行個體百分之十五的管理費,GPU 的管理費較低。Savings Plans 與 Reserved Instances 這類以用量承諾或執行個體預留換取折扣的機制仍可套用在執行個體上。同時,它不是以每次呼叫的毫秒執行時間作為主要計費項;只要最低執行環境數大於零,執行個體就會持續計費。
Yan Cui 在 2025 年 12 月針對 Managed Instances 的分析,即使套用到 GPU 情境仍大致成立:一般 Lambda 函式能從大型共享 EC2 資源池快速擴充,Managed Instances 啟動新的 EC2 執行個體則可能需要數十秒,因此不適合面對大且難以預測的流量尖峰。GPU 路徑目前也只支援 Event Functions,尚未觸及 AWS 今年新增的 Web Functions,也就是以 HTTP 伺服器形態運作的 Lambda;AWS 尚未說明是否會補上。整體來看,這項功能的重要之處,是把 GPU 推論從需要自建伺服器的工作,變成一種可由事件驅動、與 AWS 服務原生銜接的部署選項;它的代價,是擴充速度、容量配額、映像檔管線與計費方式仍需按 EC2 容量的邏輯重新評估。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。