在現代 AI 開發流程中，工程師經常面臨一個尷尬的現實：你的模型和數據集儲存在 A 雲端（例如 AWS S3），但你能申請到的 H100 GPU 算力卻在 B 雲端（例如 GCP 或 Lambda Labs）。
當算力與數據分處於不同雲端時，會觸發所謂的 Egress Fee（數據出向流量費）。這是雲端供應商的一種商業策略，將數據移入免費，但移出則需支付高昂費用。對於需要頻繁讀取數十 GB 模型權重或數 TB 數據集的 AI 訓練任務來說，這筆費用會迅速累積，甚至導致團隊為了省錢而將任務強行綁定在特定雲端，導致算力利用率低下。
為了打破這個限制，SkyPilot 與 Hugging Face 合作推出了整合方案，讓開發者能將 Hugging Face Hub 作為統一的儲存後端，在任何雲端執行運算而無需支付數據讀取費用。
核心技術脈絡：SkyPilot 與 Hugging Face 的整合
SkyPilot 是一個跨雲算力調度框架，它能幫你尋找目前哪個雲端有可用的 GPU 並自動部署任務。而 Hugging Face 則提供了 Storage Buckets（儲存桶）以及 Hub 上的模型與數據集倉庫。
這次整合的核心在於 SkyPilot 現在將 Hugging Face Storage 作為一等公民的後端儲存。開發者只需在配置中使用 hf:// 協議，即可將 Hugging Face 的資源掛載到任何雲端的計算節點上。
實作機制：MOUNT 與 COPY 的區別
在 SkyPilot 的配置中，讀取 Hugging Face 數據有兩種主要模式，這對效能與成本有直接影響。
第一種是 MOUNT 模式。它利用了 FUSE（Filesystem in Userspace，一種在使用者空間實現檔案系統的機制），將遠端儲存模擬成本地路徑。其關鍵在於 Lazy Read（懶加載）：當你的程式碼執行 read() 讀取某個檔案片段時，驅動程式才從後端抓取該片段。
這對 AI 訓練至關重要。如果你有一個 100GB 的數據集，但第一輪訓練只需要前 1GB，MOUNT 模式讓 GPU 能在 30 秒內立即開始工作，而不需要等待整個數據集下載完成。這避免了 GPU 在等待下載時依然在計費的浪費情況。
第二種是 COPY 模式。它會直接將整個倉庫下載到本地。這種方式不依賴 FUSE 驅動，相容性最高，但必須在任務開始前完成所有下載，會增加啟動等待時間。
零流量費用與成本優勢
為什麼這個方案能實現 Zero Egress（零流量費）？因為 Hugging Face Storage 採取了不同的計費模式，它不收取讀取數據的出向流量費。
無論你的 GPU 落在 AWS、GCP 還是私有集群，只要是從 Hugging Face 讀取模型或數據，這部分費用都是零。雖然將訓練結果（如 Checkpoints 檢查點）寫回 Hugging Face 時，仍需支付計算雲端的出向流量費，但 AI 任務的特性是讀取量遠大於寫入量，因此整體成本能大幅降低。
進階優化：基於 Xet 的數據去重
Hugging Face 的儲存後端基於 Xet 技術，採用了 Content-Defined Chunking（內容定義分塊）。它將檔案切分成約 64KB 的小塊，並僅儲存唯一的塊。
這在 AI 工程實務中帶來三個具體好處：
第一，增量檢查點（Incremental Checkpoints）。當你進行微調（Fine-tuning）或使用 Adapter 時，大部分權重未改變，僅有少部分參數更新。Xet 僅會上傳變動的部分，大幅縮短保存時間。
第二，模型變體共享。如果你基於同一個基礎模型產生多個量化版本或微調版本，共享的權重塊在儲存端只會存在一份。
第三，高效追加數據。對於 Parquet 等大型數據集，追加新行時，原有的數據塊保持不變，僅需傳輸新增加的部分，而非重新上傳整個檔案。
總結與實作建議
對於 Junior 工程師來說，這套方案將 AI 基礎設施從數據綁定（Data Lock-in）中解放出來。你不再需要為每個雲端供應商維護一份數據副本，也不需要管理複雜的跨雲認證金鑰，只需一個 HF_TOKEN 即可在 20 多個雲端平台間自由切換算力。
若要開始使用，只需安裝 skypilot[huggingface] 並在 YAML 配置的 file_mounts 中定義 hf:// 路徑。建議在需要快速啟動、數據量龐大的場景使用 MOUNT 模式，以最大化 GPU 的利用率。
來源：huggingface.co
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。