在訓練像 GPT 系列這樣的大規模前沿模型時，計算能力不僅取決於 GPU 的數量，更取決於這些 GPU 之間交換數據的速度與穩定性。當集群規模達到數萬顆 GPU 時，網路會變成最大的瓶頸。OpenAI 最近公開了一項名為 MRC（Multipath Reliable Connection，多路徑多樣化可靠連接）的新協定，旨在解決超大規模 AI 訓練中的網路擁塞與故障恢復問題。
為什麼傳統網路無法滿足 AI 訓練
在同步預訓練（Synchronous Pretraining）模式下，數以萬計的 GPU 必須像軍隊一樣步調一致地協作。如果其中一個數據包因為網路擁塞而延遲，或者某條網路鏈路突然故障，整個訓練任務可能會因此停擺，甚至導致崩潰，迫使工程師從最近的檢查點（Checkpoint）重新啟動。
對於 Junior 工程師來說，可以將其理解為一個巨大的同步流水線，任何一個環節的微小抖動（Jitter）都會被放大，導致昂貴的 GPU 資源在等待數據時處於閒置狀態，造成極大的成本浪費。
MRC 的核心設計理念
MRC 並非從零開始，而是基於 RoCE（RDMA over Converged Ethernet，一種讓 GPU 能直接存取遠端記憶體而無需經過 CPU 介入的乙太網路標準），並結合了 UEC（Ultra Ethernet Consortium）的技術與 SRv6（IPv6 分段路由）來實現。其核心突破在於三個維度：
多平面網路拓撲（Multi-plane Networks）
傳統設計通常將一個 800Gb/s 的網路介面視為單一鏈路。MRC 則將其拆分為多個較小的鏈路（例如 8 個 100Gb/s 的鏈路），並連接到 8 個不同的交換機，形成 8 個並行的網路平面。
這種設計的實務好處是大幅降低了網路層級。原本需要三到四層交換機才能連接的萬卡集群，現在僅需兩層即可達成。這不僅降低了功耗和硬體成本，更重要的是增加了路徑的多樣性，讓數據有更多選擇。
自適應封包噴灑（Adaptive Packet Spraying）
傳統網路協定為了確保封包按順序到達，通常要求一次傳輸必須走單一路徑。但在多平面網路中，這會導致某些鏈路過載（擁塞），而某些鏈路卻沒被使用。
MRC 採取了噴灑（Spraying）策略：將單次傳輸的封包分散到數百條不同的路徑上同時發送。雖然封包到達的順序會亂掉，但 MRC 在每個封包中都標記了最終的記憶體地址，接收端可以直接將其寫入正確位置。這樣能有效消除核心網路的擁塞熱點，確保數據流動極其平滑。
從動態路由轉向源路由（Source Routing via SRv6）
這是 MRC 最激進的簡化。傳統交換機使用 BGP 等動態路由協定來計算路徑，但複雜的軟體邏輯在極大規模下容易出現難以診斷的故障。
MRC 引入了 SRv6（IPv6 Segment Routing），將路徑決定權從交換機移交給發送端。發送端直接在封包的地址中編碼這條路徑要經過哪些交換機。交換機不再需要思考路徑，只需像照著地圖走一樣，根據靜態表將封包轉發到下一個節點。
這種做法將網路控制平面簡化到了極致，完全消除了動態路由協議失效導致的網路震盪。
MRC 在實務運作中的影響
在實際部署於 NVIDIA GB200 超級電腦集群後，MRC 展現了強大的韌性：
微秒級故障恢復：當某條路徑丟包時，MRC 會立即假設該路徑故障並停止使用，在微秒等級內切換到其他路徑，訓練任務幾乎感知不到延遲。
容忍硬體維護：以往重啟一個交換機或維修鏈路需要與訓練團隊協調，以免導致任務崩潰。現在，即便在訓練過程中重啟四台核心交換機，MRC 也能自動繞路，訓練任務僅會經歷輕微的減速而不會中斷。
精準處理擁塞：MRC 引入了封包修剪（Packet Trimming）機制。當交換機因擁塞而無法處理封包時，它會切掉數據內容僅保留標頭發回，通知發送端重新傳輸，避免將擁塞誤判為鏈路故障。
總結
MRC 的本質是透過增加路徑冗餘（多平面）、極大化資源利用（封包噴灑）以及簡化控制邏輯（源路由），將不穩定的大規模網路轉化為一個可預測、高可靠的基礎設施。這讓 AI 研究員可以專注於模型演進，而不需要擔心底層網路的微小波動導致數百萬美元的計算資源被浪費。
來源：openai.com - Supercomputer networking to accelerate large scale AI training
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。