LeRobot 是 Hugging Face 推動的開源機器人學習框架，旨在降低開發機器人 AI 策略的門檻。在最新的 v0.6.0 版本中，核心目標是「閉環（Closing the Loop）」，也就是將想像、評估與改進這三個環節整合在一起，讓機器人不再只是單純地模仿動作，而是能理解環境並從失敗中學習。
對於剛接觸機器人學習的工程師來說，這版本的更新重點在於將原本破碎的「數據採集 $\rightarrow$ 訓練 $\rightarrow$ 部署」流程，轉化為一個可以持續迭代的飛輪。
世界模型：賦予機器人「想像」能力
傳統的機器人策略通常是反應式的，看到 A 畫面就做 B 動作。但 v0.6.0 引入了世界模型（World Models），讓模型在採取行動前能先在內部「預測」未來會發生什麼。
VLA-JEPA 採用了聯合嵌入預測架構（Joint-Embedding Predictive Architecture），讓模型在潛在空間（Latent Space）中預測未來畫面。最關鍵的工程實作在於，世界模型僅在訓練時提供監督訊號，在實際執行（Inference）時會被移除，因此不會增加額外的運算開銷。
LingBot-VA 則採取自回歸（Autoregressive）方式，同時預測未來的影片畫面與動作，並將真實觀察反饋回來修正想像，確保機器人的預測不會脫離現實。
FastWAM 則探討是否需要在執行時進行想像。它將影片生成專家與動作專家結合，訓練時學習「夢境」滾動（Rollouts），但執行時直接輸出動作，兼顧了學習能力與執行速度。
VLA 模型庫的擴充
VLA（Vision-Language-Action）模型是指能同時處理視覺、語言指令並輸出動作的模型。此次更新整合了多款強大模型：
GR00T N1.7 是 NVIDIA 的跨體現基礎模型，能讓同一套邏輯適用於不同形態的機器人。 MolmoAct2 則提供了完整的生命週期支持，從微調到實機部署，甚至能讓 SO-100 類型的機器人在無需訓練的情況下直接執行簡單指令（Zero-shot）。 EVO1 則證明了模型不需要太大，僅 0.77B 參數即可在普通 GPU 上實現即時推論。
獎勵模型：定義什麼是成功
在機器人學習中，最困難的是定義「成功」。以往需要人工標記，而現在 LeRobot 引入了統一的獎勵模型 API（Reward Models API）。
Robometer 是一個通用獎勵模型，只要給它影片和指令，它就能評分任務的進度與是否成功，無需針對特定任務重新訓練。 TOPReward 則利用現成的視覺語言模型（VLM）來判斷，直接讀取模型對「True」這個標記的機率，將 VLM 直接轉化為獎勵函數。
數據集的效能與豐富度提升
數據是機器人學習的燃料。v0.6.0 在數據處理上做了大幅優化：
編碼靈活性：不再限制單一編碼格式，支援硬體加速（如 NVENC），讓錄製與儲存更高效。 深度感測支持：原生支持 Intel RealSense 等深度相機，將深度資訊以 12-bit 影片流儲存，讓模型能感知空間物理距離。 自動化語言標記：透過 lerobot-annotate 工具，利用 VLM 自動分析錄影畫面並生成時間戳標記（如：現在正在抓取方塊），為未來開發能對話、能執行長程任務的機器人奠定基礎。 載入速度：透過並行解碼與優化記憶體傳遞，數據載入速度提升約 2 倍。
評估體系：統一的測試基準
為了避免開發者在「感覺模型變強了」的錯覺中開發，LeRobot 推出了 lerobot-eval CLI，整合了六個新的模擬基準（Benchmarks），包括：
LIBERO-plus：測試模型在光照、視角改變時的魯棒性（Robustness）。 RoboCasa365：包含 365 個廚房任務，測試大規模場景的適應力。 RoboMME：測試模型的記憶能力，例如能否記得被遮擋的物體位置。
部署與持續改進：DAgger 策略
這是本次更新中最具實務價值的部分。新的 lerobot-rollout CLI 將部署獨立化，並引入了 DAgger（Dataset Aggregation）風格的人機協作修正。
在 DAgger 模式下，工程師觀察機器人執行，一旦發現快要出錯，立即按下按鍵接管控制權（Teleoperation）進行修正，隨後將控制權交還。這次修正的數據會被標記為「干預訊號」並存回數據集，用於下一輪微調。這形成了一個「部署 $\rightarrow$ 發現錯誤 $\rightarrow$ 修正數據 $\rightarrow$ 重新訓練」的正向循環。
基礎設施與工程優化
為了支持更大規模的模型，LeRobot 現在支援 FSDP（Fully Sharded Data Parallel），將模型參數、梯度分佈在多張 GPU 上，突破單卡記憶體限制。此外，還整合了 HF Jobs，讓沒有高端 GPU 的開發者能直接在雲端啟動訓練。
安裝過程也變得更精簡，將依賴項拆分為 [training]、[evaluation] 等模組，避免使用者在只需要處理數據時得安裝所有硬體驅動。
來源：huggingface.co / LeRobot v0.6.0: Imagine, Evaluate, Improve
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。