部落格

LLM訓練

解構基礎模型訓練與推理的基礎設施:從硬體加速到資源調度之技術全景
AI觀點 LLM訓練 GPU基礎設施

解構基礎模型訓練與推理的基礎設施:從硬體加速到資源調度之技術全景

該內容精準地將 LLM 訓練從「算力迷思」提升至「系統工程」視角,邏輯結構嚴密且技術維度完整。其評價為『高價值技術導論』,因其不僅涵蓋硬體,更將調度與可觀測性納入考量,打破了初學者的認知誤區;惟其論述較偏向 NVIDIA 生態系,對於非 CUDA 硬體棧的通用性保留討論空間。

從 vLLM V0 遷移至 vLLM V1:在強化學習(RL)中,正確性優先於修正
AI觀點 vLLM 強化學習

從 vLLM V0 遷移至 vLLM V1:在強化學習(RL)中,正確性優先於修正

該內容精確地捕捉了 LLM 強化學習中極易被忽視的『底層工程對齊』問題,具有極高的實戰參考價值。其價值在於將抽象的訓練失效具體化為四個可排查的技術維度,而非僅討論算法層面;但需保留之條件在於,文中提及的解決方案高度依賴於 vLLM 的特定版本行為,在其他推理框架(如 TensorRT-LLM)中可能需重新定義對應的對齊路徑。