世界模擬（World Simulation）是近年 AI 研究中相當關鍵的方向，核心目標是讓模型能夠根據動作預測環境接下來的變化，進而成為機器人學習與自駕系統開發的虛擬訓練場。NVIDIA 於 2026 年 11 月在其 Cosmos 世界模型開發平台上，發表了 Cosmos 3 模型家族的四款全新開放權重模型，涵蓋互動式世界模擬與多感測器、多視角的自駕駕駛場景生成。這四款模型都是 Cosmos 3 Nano 的後訓練版本，各擁有 160 億個可訓練參數，並採用 OpenMDW1.1 授權條款釋出，允許商用與非商用用途。
四款模型分別對應不同的應用情境。Cosmos3-Nano-Transfer-Auto 負責離線合成駕駛資料，可生成同步的多視角影像，最多支援 11 個鏡頭（包括魚眼鏡頭），並能同時生成對應的 RGB 影像與 LiDAR（光達，一種以雷射測距建立 3D 環境感知的感測器）資料。Cosmos3-Nano-Sim-Auto 則是前者的串流版本，能以極少的去噪步驟即時輸出同步的鏡頭影像與光達觀測，支撐長時間的互動模擬。Cosmos3-Nano-Sim-Transfer 走另一條路：它把物理模擬器算出的空間控制訊號與文字描述，轉換成擬真的彩色影像，讓強化學習策略可以直接讀取畫面。Cosmos3-Nano-Sim-Bimanual 則專注在機器人領域，支援 YAM 與 AgiBot 兩種雙臂機器人形態，能從機器人或鏡頭動作直接預測下一幀觀測畫面，動作來源可以是策略模型，也可以是人類操作搖桿。
背景
為什麼研究人員需要這些模型？對機器人研究而言，訓練一個策略需要環境能回答「做了這個動作之後，世界會變成什麼樣子」，而且必須在不同場景與視角下都成立。Sim-Bimanual 從動作直接預測視覺結果，Sim-Transfer 則把模擬器的控制狀態轉成生成的觀測畫面，兩者提供互補的建構方式。對自駕開發來說，影像外觀與幾何結構必須一致，同步生成鏡頭影像與光達資料，正好把視覺觀測與 3D 感知串連起來；研究者還能透過場景與紅綠燈控制，改變道路佈局與號誌狀態，觀察駕駛策略的反應。NVIDIA 也強調開放權重與後訓練流程的價值：它們提供一個共同起點，讓社群能改編模型、比較方法並回饋改進。
技術或脈絡解讀
在串流生成的底層技術上，Cosmos 3 採用 Mixture-of-Transformers 架構，透過注意力機制連接獨立的文字處理與視覺生成網路。模型在稱為 latent 的壓縮影片表示上運作，每個 latent 時間步對應四個 RGB 畫面。生成器根據提示、控制訊號與已生成的歷史，預測每一小段影片；時間因果注意力（temporal-causal attention）允許模型讀取過去歷史與控制訊號，同時遮蔽未來的目標觀測，並以 key/value 快取保留注意力資訊供下一次預測使用。
訓練流程則分為四個階段：第 0 階段是雙向適應，從完整錄製片段學習領域知識與控制到影片的對應關係；第 1 階段是教師強迫，用過去的錄製觀測與控制訊號預測每一片段，並遮蔽乾淨答案與未來目標；第 2 階段是一致性蒸餾，用凍結的教師模型訓練出只需四步去噪就能生成片段的學生模型；第 3 階段是自強迫（self-forcing），讓模型在自己生成的歷史上繼續訓練，由凍結教師與輔助評分模型提供分布匹配訊號。這最後一步特別重要，因為串流生成時，稍微預測錯誤的物體會成為後續畫面的上下文，誤差會不斷累積，自強迫訓練正是為了讓模型適應這種情境。
實務意義與部署條件
實務面上，NVIDIA 完整公開了後訓練流程。開發者可以用自己的駕駛資料後訓練 Transfer-Auto，適配自家的感測器配置與目標環境，再經因果訓練與少步蒸餾轉成 Sim-Auto 做快速串流模擬；機器人方面則可針對自己的機器人形態後訓練 Sim-Bimanual，流程包含資料驗證、各階段配置與檢查點交接。部署環境需要 Linux、NVIDIA GPU、Docker 與 NVIDIA Container Toolkit，官方發布的 vLLM-Omni 設定是在單張 GB200 上測試的，但這並不代表最低記憶體需求。使用 Sim-Bimanual 時要留意動作資料的規範，例如混合動作範例使用 59 個控制值、訓練時填充到 64 個，schema 定義了座標系、旋轉、夾爪校準與有效性遮罩，且 T 次轉移需要 T+1 個觀測以對齊時間。
影響與限制
整體來看，這批開放權重模型把互動式世界模擬的門檻降低了不少：自駕團隊可以擴充不同天氣、光照與時段的訓練資料，機器人團隊能在雙臂互動模擬中訓練策略，而串流生成機制也讓動作與觀測能夠持續交替展開。不過 NVIDIA 本身也指出，這些問題仍然困難，後續的工作在於衡量模型在哪些情境下能忠實支持策略學習與評估、理解其極限，並在不足之處持續改進。換句話說，這些檢查點是研究基礎而非現成解答，實際效果仍取決於使用者如何適配與驗證。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。