對於許多工程師來說，在本地端或實驗環境運行 Hugging Face 上的開源模型並不困難，但要將其部署到企業級的生產環境（Production）環境卻是另一回事。你必須處理 GPU 資源調度、運行時（Runtime）選擇、容器安全性漏洞（CVE）掃描、模型權重存放以及 API 接口的統一管理。
Microsoft Foundry Managed Compute 的出現，就是為了在開源模型的靈活性與企業級運維（Ops）之間搭建一座橋樑。它將 Hugging Face 的豐富生態系統直接整合進 Azure 的管理體系中，讓開發者能以「一鍵部署」的方式，將開源模型轉化為可商用的 API 服務。
什麼是 Microsoft Foundry 與 Managed Compute
Microsoft Foundry 是一個旨在構建 AI Agent（代理程式）應用程式的平台。它的核心理念是提供一個統一的入口，無論你使用的是 OpenAI、Anthropic 等封閉權重模型，還是來自 Hugging Face 的開源模型，都能透過同一套 SDK、同一個端點（Endpoint）以及統一的認證機制來調用。
在部署選項上，Foundry 提供三種模式： 按 Token 計費（Pay-per-token）：最快速的啟動方式，適合低流量或測試階段。 預留吞吐量（Provisioned Throughput）：為高流量生產環境提供預測性的性能保障。 Managed Compute（託管計算）：這是一種 GPU 平台即服務（PaaS）。它專為開源或自定義模型設計，讓工程師可以根據參數規模、上下文長度（Context Length）以及對延遲（Latency）或吞吐量（Throughput）的優先級來部署模型實例。
Managed Compute 解決了最頭痛的底層維運問題：它自動處理 GPU 的拓撲結構（例如模型該放在一張還是多張加速卡上），並在後台自動更新容器、升級運行時與修補安全漏洞，而不需要開發者重新部署模型。
將 Hugging Face 模型企業化的挑戰
Hugging Face 是開源模型的 GitHub，但它本身並非一個企業級的推理服務平台。要在企業環境中使用開源模型，通常面臨以下挑戰： 安全性風險：許多模型權重包含自定義 Python 程式碼（trust_remote_code），在企業環境中執行具有極高風險。 運維複雜度：需要自行選擇最適合的推理引擎（如 vLLM 或 TensorRT-LLM），並處理 GPU 顯存優化。 合規與審核：必須審核模型的授權協議（License）是否允許商業使用。
為了克服這些問題，Microsoft 建立了一套 Curation Pipeline（策展流水線）。
Microsoft 的模型策展流程
當一個模型從 Hugging Face 進入 Foundry 之前，會經過以下嚴格的處理流程： 篩選與審核：根據社區趨勢與客戶需求選擇模型，並審核授權協議，剔除不符合企業分發政策的模型。 安全掃描：僅採用 SafeTensors 格式（一種安全的權重儲存格式），禁止執行未經審核的遠端程式碼，確保模型加載時不會觸發惡意腳本。 運行時構建：Microsoft 會為模型構建對應的推理容器（例如使用 vLLM 或 SGLang），並進行 CVE 安全掃描後存入私有倉庫。 權重預部署：將權重從 Hugging Face 抓取並驗證後，預先存放在 Azure 儲存空間中。這意味著生產環境部署時不需要連接外網訪問 Hugging Face Hub，滿足私有網路的安全要求。 性能驗證：測試 API 兼容性與性能指標（如首字延遲 Time-to-first-token），確認無誤後才將其列入模型目錄。
推理運行時（Runtimes）的選擇
針對不同類型的模型，Foundry Managed Compute 會自動匹配最適合的推理引擎，開發者不需要深入研究底層配置： vLLM 與 SGLang：用於大型語言模型（LLM）。vLLM 追求高吞吐量，而 SGLang 則在結構化輸出（如 JSON 或正則表達式）方面表現強勁，非常適合需要調用工具的 AI Agent。 TEI (Text Embeddings Inference)：專為 Embedding（向量化）與 Reranker（重排序）模型設計，優化 RAG 流程中的檢索速度。 llama.cpp：針對 CPU 或小型 GPU 環境，使用 GGUF 量化格式，適合成本敏感型場景。 TensorRT-LLM 與 NIM：在 NVIDIA 硬體上提供極致的延遲優化。 hf-serve：處理視覺、音訊等非 LLM 類型的 Transformer 模型。
實務部署流程
對於開發者而言，部署開源模型的過程被簡化為選擇「部署模板（Deployment Template）」。
模板定義了運行時、加速卡類型（如 A100 或 H100）、上下文長度以及量化參數。例如，部署 Qwen3-32B 模型時，你可以直接選擇「40k 上下文 + 單張 H100」或「128k 上下文 + 兩張 A100」的模板。所有的併發設定、健康檢查與推理參數都已由 Microsoft 預先調優。
部署完成後，該模型會被掛載在統一的 Foundry 端點下。你可以直接使用 OpenAI SDK，僅需將 model 參數替換為你的部署名稱，即可像調用 GPT-4 一樣調用這個開源模型。
總結
Microsoft Foundry Managed Compute 的核心價值在於將開源模型的「靈活性」與企業級的「穩定性」結合。它讓工程師能快速嘗試 Hugging Face 上的最新研究成果，同時無需擔心底層的 GPU 驅動、容器安全或網路隔離問題。
來源：Hugging Face Blog - Hugging Face Models on Foundry Managed Compute
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。