微軟近期針對其 Foundry Models 服務中的 Model Router(模型路由模型器)進行了重大更新。Model Router 是一種智能調度機制,旨在根據成本、品質或特定需求,在多個底層大型語言模型(LLM)之間自動選擇最合適的對象來處理請求,讓開發者無需為每個任務手動指定單一模型。此次更新的核心在於將其部署區域從原先的兩個(美國東部 2 和瑞典中部)大幅擴展至 28 個全球標準部署區域,以及 21 個數據區域部署,同時更新了其可供選擇的模型池。
模型池的更新包含引入了 Anthropic Claude Opus 4.8 與 GPT-5.6 系列模型,並移除了已達到生命週期終點(End of Life)的 gpt-5-chat、gpt-5.2-chat、gpt-5.3-chat 以及 DeepSeek-V3.1。對於大多數使用預設配置的團隊來說,這些更新是自動生效的,無需重新部署即可獲得最新的模型能力。
然而,這種自動化更新機制在提供便利的同時,也帶來了 API 穩定性與行為穩定性之間脫節的問題。雖然 API 的接口定義(Response Schema)保持不變,但底層模型的更替會直接影響應用程式的實際業務結果。新模型的加入或舊模型的移除,可能會改變 AI 的回答風格、工具調用(Tool-selection)的精準度、結構化輸出的可靠性、延遲分佈,甚至是拒絕回答的邏輯與失敗模式。對於依賴預設配置的團隊,這意味著系統在沒有版本號變更的情況下,突然開始使用未經評估的新模型,或失去了原本依賴的舊模型。
為了應對這種不確定性,微軟提供了三種路由模式供選擇:Balanced(平衡模式)是預設選項,旨在維持品質的同時優化成本;Quality(品質模式)則針對法律審查、醫療摘要或複雜推理等關鍵任務;Cost(成本模式)則適用於高吞吐量的分類或簡單問答。此外,開發者可以透過限制模型子集(Model Subset)來採取「選擇性加入」的策略,將路由範圍固定在特定模型中,從而避免被自動更新影響。
在技術限制方面,Model Router 的運作存在幾個關鍵的邊界條件。首先是上下文視窗(Context Window)的限制:路由後的有效視窗長度取決於模型池中最小的那個模型。如果提示詞(Prompt)過長,只有當路由器恰好選中能處理該長度的模型時請求才會成功,否則將失敗。這意味著向池中加入一個小模型,實際上降低了整個路由請求的承載上限。
其次,路由決策目前僅基於文本。雖然系統接受視覺輸入(圖片),但圖片內容不會影響路由器的選擇邏輯;而音訊輸入則完全不被支援。在成本結構上,Model Router 本身會產生額外的輸入提示詞費用,這將疊加在底層模型的成本之上,因此在評估成本節省時必須將此額外開銷計算在內。
針對特定模型的部署要求,例如 Anthropic 的 Claude 系列,開發者必須先在同一個 Foundry 帳戶中部署對應的 SKU(庫存單位),路由器才能選中該模型。若僅在子集中引用而未實際部署,系統會拋出 InvalidResourceProperties 錯誤。
從治理與合規的角度來看,區域擴展解決了許多企業對於數據駐留(Data Residency)的法規要求,確保推論請求留在特定地理邊界內。但在實務操作上,當數據區域限制與模型可用性發生衝突時,目前的公開資料尚未明確說明路由器將如何處理。此外,Model Router 遵循 Azure Policy 的部署時治理,這要求允許的發行商清單必須包含微軟以及池中所有模型的發行商。
綜合來看,Model Router 將模型選擇從「部署時決定」轉變為「運行時決定」。對於平台團隊而言,建議將模型池的更新視為一種管理依賴項的更新過程。由於微軟並未提供具體的準確率、成本對比或延遲開銷數據,實務上的最佳做法是在正式上線前,利用微軟提供的開源評估管線(Evaluation Pipeline)對初始配置進行基準測試。由於每次回應都會在 model 欄位中標記所選用的模型,開發者應持續監控並記錄模型分佈,以便在自動更新導致業務結果下滑時,能迅速切換回受控的模型子集。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。