VoxCPM2:突破分詞限制的 2B 參數多語言高保真語音合成系統

github.com

VoxCPM2 是一個開源的端到端 TTS 系統,採用 Tokenizer-Free 架构與擴散自回歸模型,支持 30 種語言與 48kHz 錄音室級音質。它提供從自然語言描述創造音色(Voice Design)到極致聲音克隆(Ultimate Cloning)的多種模式,並在 vLLM 與 llama.cpp 等推理框架上有深度的生態支持。

VoxCPM2:突破分詞限制的 2B 參數多語言高保真語音合成系統

VoxCPM2 是一個由 OpenBMB 開源的文本轉語音(TTS)系統。與傳統 TTS 需要將音頻切分成離散 Token(分詞)的做法不同,它採用了 Tokenizer-Free(無分詞器)的設計,直接在連續的潛在空間中生成語音表徵。這種做法能有效減少資訊損失,讓合成的聲音更自然,且能更精準地捕捉人類說話的細微情緒與韻律。

VoxCPM2 基於 MiniCPM-4 語言模型構建,擁有 20 億個參數,並在超過 200 萬小時的多語言數據上進行過訓練。

這個 Repo 解決了傳統 TTS 的幾個核心痛點:首先是多語言支持的複雜度,它支持 30 種語言及 9 種中文方言,且無需輸入語言標籤即可自動識別;其次是音色獲取的門檻,它允許用戶直接用文字描述來設計聲音,而不需要預先準備參考錄音。

核心技術做法分為四個階段:首先通過 LocEnc 處理局部特徵,接著由 TSLM 和 RALM 處理時序與自回歸生成,最後由 LocDiT 配合 AudioVAE V2 將潛在表徵還原為 48kHz 的高採樣率音頻。這種非對稱的編解碼設計讓模型即使在參考音頻品質較低(如 16kHz)時,也能輸出高品質的錄音室級音效。

對於工程師來說,VoxCPM2 提供了三種主要的生成模式: 第一是音色設計(Voice Design),只要在文本前加上括號描述,例如(溫柔甜美的年輕女性),模型就能憑空創造出對應的聲音。 第二是可控克隆(Controllable Cloning),上傳一段短錄音後,依然可以使用文字指令來調整語速或情緒。 第三是極致克隆(Ultimate Cloning),通過提供參考音頻及其對應文本,讓模型以續寫的方式完美還原音色與說話習慣。

這套工具非常適合需要快速部署多語言語音服務、開發 AI 虛擬角色或需要高保真聲音複製的開發者。

技術亮點在於其極強的部署靈活性。官方不僅提供 PyTorch 原生 API,還深度整合了 vLLM-Omni(支持 PagedAttention 與 OpenAI 兼容接口)以應對高併發生產環境,甚至支持 llama.cpp-omni,讓模型能以 GGUF 格式在 CPU 或 Apple Silicon (Metal) 上高效運行。

實務限制與導入風險方面,首先是生成穩定性。由於使用了擴散模型,音色設計與可控克隆的結果在相同參數下可能會有所波動,實務上建議生成 1 到 3 次以選取最佳結果。其次是硬體門檻,雖然有量化版本,但 2B 參數的模型在追求即時流式輸出時,仍建議使用 NVIDIA RTX 4090 等級的 GPU 以獲得較低的 RTF(實時率)。最後是倫理風險,由於克隆效果極其逼真,開發者在導入時必須建立完善的內容標記機制,防止被用於欺詐或冒充。

從目前的版本演進(從 0.5B 到 1.5B 再到 2B)以及豐富的第三方生態(如 ComfyUI 插件、Rust 實現等)來看,該項目的成熟度較高,且採用 Apache-2.0 協議,對商業應用非常友好。