手術機器人的發展正從單純的遠端操作，演進為具備視覺語言動作策略（Vision-Language-Action Policies）的智能系統。然而，這類系統的訓練與評估面臨極大挑戰：實體機器人成本昂貴且操作緩慢，且任何一次失敗都可能損壞精密器材或生物組織。
傳統的物理模擬器雖然安全，但手術場景極其複雜。要精準模擬可變形的組織、器械的微小互動、反光表面、縫線、針頭以及手術中的煙霧與遮擋，對傳統建模來說幾乎是不可能的任務。為了突破這個瓶頸，NVIDIA 推出了 Cosmos-H-Dreams，將生成式 AI 的世界模型（World Foundation Models）引入手術模擬。
什麼是世界模型？
簡單來說，世界模型不再嘗試用數學公式去定義物理定律，而是直接從大量的同步影片和機器人運動數據中學習視覺動態。它能預測在給定目前的畫面與接下來的一系列動作後，環境會發生什麼視覺變化。這就像是給 AI 一個想像力，讓它能生成「如果我這樣操作，接下來會看到什麼」的影片。
從離線預測到即時互動
早期的 Cosmos-H-Surgical-Simulator 主要用於離線評估，它可以根據預設的動作軌跡生成預測影片，雖然有用，但速度太慢，無法用於即時互動。而最新的 Cosmos-H-Dreams 則將其轉化為一個即時、可由動作驅動的生成式模擬器。
為了達到即時性，NVIDIA 採用了知識蒸餾（Knowledge Distillation）技術。他們將一個強大但緩慢的教師模型（Teacher Model）所學到的手術先驗知識，轉移到一個輕量化、因果結構的學生模型（Student Model）中。這個學生模型能夠以自回歸（Autoregressive）的方式生成畫面，也就是根據前一幀的結果來預測下一幀。
解決生成崩潰：自我強迫蒸餾
在訓練自回歸模型時，工程師常遇到一個痛點：模型在訓練時看到的是完美的真實數據（Ground Truth），但在實際運行時卻必須依賴自己生成的、可能帶有誤差的畫面。隨著時間推移，微小的誤差會不斷累積，導致畫面崩潰或失真。
為了修正這個問題，Cosmos-H-Dreams 引入了自我強迫蒸餾（Self-Forcing Distillation）。在訓練過程中，學生模型必須使用自己生成的上下文來進行推演，而凍結的教師模型則在旁邊監督，將這些自生成的路徑導向真實的手術視覺效果。這讓模型在面對不完美的輸入時，依然能保持穩定且真實的生成能力。
極速推理引擎 FlashDreams
除了模型本身的輕量化，硬體加速同樣關鍵。NVIDIA 開發了 FlashDreams 推理庫，透過串流 KV 快取（Streaming KV Cache）、CUDA Graph 捕捉以及模型編譯等優化手段，將推理速度從每秒 10 幀大幅提升至每秒 160 幀。
這意味著在單張 NVIDIA RTX PRO 6000 GPU 上，人類操作員或 AI 策略就能在一個封閉迴路（Closed Loop）中，即時地控制模擬環境並看到反應。目前該系統已支持透過 WebRTC 在瀏覽器操作，甚至能對接 Meta Quest VR 設備，讓外科醫生在虛擬空間中進行手術演練。
實務影響與未來方向
Cosmos-H-Dreams 的核心價值在於它創造了一個「可居住」的學習環境。對於 Junior 工程師或研究員來說，這意味著：
第一，可以快速生成稀有的失敗案例。在現實中很難刻意製造手術失敗，但世界模型可以根據指令生成「針頭掉落」或「打結失敗」的場景，用來訓練 AI 如何處理異常。
第二，降低對實體硬體的依賴。在將新策略部署到昂貴的 da Vinci 或 Versius 機器人之前，可以先在生成式模擬器中進行大規模的強化學習或模仿學習。
然而，目前的挑戰在於如何衡量「真實度」。視覺上的漂亮並不代表物理上的正確。因此，NVIDIA 正著手建立一套封閉迴路基準測試，包括工具尖端的位置精度、夾具循環的忠實度以及長時程推演的漂移程度，確保在模擬器中學到的技能能真正遷移到實體機器人上。
來源：https://huggingface.co/blog/nvidia/cosmos-h-dreams
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。