近年開源文字轉語音（Text-to-Speech，簡稱 TTS）模型的發布速度非常驚人。在 Hugging Face Hub 上，截至 2026 年 9 月 30 日，已有超過八千個 TTS 模型可供使用。然而，評測方法的進展卻遠遠落後於模型的產出，整個領域仍處於零散且缺乏標準化的狀態。過去被視為黃金標準的評測方式，是依賴人類聽感偏好來打分數，例如 MOS（平均意見分數）或 MUSHRA（多刺激隱藏參考與錨點測試）。這些方法雖然能反映真實聆聽感受，但需要耗費大量人力與時間，難以應付快速增加的模型數量。
為了解決這個問題，社群中出現了以競技場（Arena）模式運作的排行榜，例如 TTS Arena v2 與 Artificial Analysis 的 Voice Arena。這類平台會同時呈現兩個模型的語音輸出，讓用戶投票選出較好的一個，再透過 Bradley-Terry 模型計算 Elo 積分來排名。雖然人類偏好被認為是最終的判斷標準，但這類競技場機制的擴展性明顯不足，無法跟上 TTS 模型的發布節奏。這也導致開源模型在這些排行榜上代表性偏低。以 Artificial Analysis 為例，截至 2026 年 9 月 30 日，92 個受評模型中只有 16 個是開放權重（open-weights）的模型，Voice Arena 也有類似的傾斜現象。背後原因不難理解：要加入一個 API 模型，只需要取得 API 金鑰即可；但開放模型必須由排行榜營運方自行架設伺服器來提供服務，成本與技術門檻高出許多。此外，商業供應商通常有較強的動機尋求曝光，而開源模型的作者往往缺乏同等誘因。另一個不可忽視的問題是投票者的一致性。沒有任何競技場能確保同一群投票者，在長時間內用一致的「更好」標準來評估模型；即使是同一個人的偏好，也可能隨著時間而改變。
背景：TTS 評測的困境
在這樣的背景下，Open TTS Leaderboard 應運而生。這個排行榜由 Hugging Face 團隊主導，採用客觀指標來評估模型的各項性能，試圖在人類偏好評測之外，提供一個可擴展、可重現的比較基準。它的核心目標不是取代人類偏好排名，而是以更快的速度篩選與監測大量模型，讓評測結果能即時反映這個快速演進的領域。透過自動化指標，一個模型的評測時間可以從收集投票所需的數週，縮短到短短幾個小時。
核心內容：Open TTS Leaderboard 的評估方式
Open TTS Leaderboard 的評估架構涵蓋三個互補的面向。首先是可懂度（Intelligibility），這項指標計算提示文字（prompt）與生成語音經自動語音辨識（ASR）後的文字之間的字錯誤率（WER）與字元錯誤率（CER）。系統使用 Qwen3 ASR 模型，該模型在 Open ASR Leaderboard 上名列前茅。其次是速度，排行榜以 H200 GPU 上的批次推論來計算反向即時因子（RTFx），用以衡量處理速度；同時也測量首次音頻時間（TTFA），用來量化串流模式下批次大小為 1 的延遲，並涵蓋 GPU 與 CPU 兩種硬體環境。第三是說話者相似度，透過計算 WavLM 說話者嵌入（speaker embedding）在生成音訊與參考音訊之間的餘弦相似度（cosine similarity，簡稱 SIM），來評估聲音克隆（voice cloning）的保真度。這些客觀指標各有其意義：WER 是可懂度的代理指標，SIM 則估計聲音身分的保留程度，但它們都無法直接衡量自然度、表現力或聽眾偏好。
多語言與語音克隆評估
從排行榜的預設視圖來看，模型會依據 Seed TTS Eval 與 CV3 Eval（zero shot）英文資料集上的巨觀平均 WER 進行排名。在英文 WER 方面，hexgrad/Kokoro-82M、Supertone/supertonic-3 與 fishaudio/s2-pro 等模型表現領先。然而，英文表現並不能直接推論到其他語言。排行榜提供多語言切換功能，讓使用者可以根據不同語言的評測結果重新排序。Seed TTS Eval 僅提供英文與中文的音訊，因此其他語言的排名主要基於 CV3 Eval（zero shot）的分數。需要注意的是，中文、日文與韓文屬於字元基礎語言，因此會以 CER 來呈現，而跨語言的「平均 WER」則是各語言分數的巨觀平均。在這些多語言模型中，k2-fsa/OmniVoice、fishaudio/s2-pro 與 FunAudioLLM/Fun-CosyVoice3-0.5B-2512 表現突出。啟用「Voice cloning」切換後，排行榜會比較支援此功能的模型，並在表格中新增 SIM 欄位，同時提供更多 Pareto 圖來視覺化 SIM、批次推論速度與模型大小之間的取捨。值得注意的是，某些模型如 bosonai/higgs-tts-3-4b 與 openbmb/VoxCPM2，在提供參考音訊的語音克隆情境下，平均 WER 會有所改善。
聆聽比較與流式性能
數字只能呈現部分面貌，人類偏好仍然是最終的決定因素。為此，排行榜設有「Listen」標籤頁，讓使用者可以實際聆聽支撐這些指標的生成輸出，並比較不同模型的表現。使用者可以選擇感興趣的語言或資料集、決定是否要比較語音克隆，也可以挑選特定模型或聽取隨機選取的輸出。這個功能填補了現有 TTS 排行榜的一個重要缺口，提供了一個探索各種模型輸出的空間。使用者還可以對生成結果給予回饋，隨著社群投票數量的累積，這些資料未來可能被納入排行榜。為防止垃圾訊息與機器人干擾，投票需要登入 Hugging Face 帳號。另一方面，「Streaming」標籤頁則比較模型的串流能力，以 TTFA 作為排名依據。這項指標量化了用戶在發出請求後，需要等待多久才能獲得可播放的音訊，對於語音代理（voice agents）與其他互動式應用至關重要。對於支援串流的模型，TTFA 是第一個音訊區塊到達的時間；對於非串流模型，則是指整個語句生成完成的時間，因為播放無法提前開始。所有模型都以單一音訊（批次大小 1）的方式，在相同硬體上使用預設聲音，跑同一組來自 CV3-Eval 的 50 個英文提示。系統會丟棄前三次運行作為暖身，並回報其餘運行的中位數 TTFA。預設視圖比較 H200 GPU 上的性能，同時也提供 CPU 的結果，目前涵蓋的模型數量雖然不多，但正在持續增加中。在串流表現上，kyutai/pocket-tts 在 GPU 與 CPU 上都表現出色。
影響與限制
Open TTS Leaderboard 的目標不僅是跟上 TTS 模型的發布速度，更希望由社群共同塑造其未來走向。目前計畫開放評測腳本，類似 Open ASR Leaderboard 的作法，讓使用者能直接透過 GitHub Issues 與 Pull Requests 提供意見與建議。現階段的重點集中在開源模型，希望能讓許多被競技場式評測忽略的優秀模型獲得應有的關注；同時也強調多語言評估，因為英文表現並不能作為其他語言的合適代理指標。然而，必須強調的是，這個排行榜並未取代人類偏好排名。ASR 基礎的 WER 只是可懂度的代理指標，說話者相似度也只是聲音身分保留的估計值，兩者都無法捕捉自然度、情感表達或聽眾的整體偏好。儘管如此，這些客觀指標仍能為投票型排行榜提供參考，協助決定哪些模型值得納入後續的人類評測。這套系統的價值在於提供一個快速、可擴展且可重現的初步篩選機制，讓研究人員與開發者能在短時間內掌握大量模型的相對表現，並進一步聚焦於需要深入人工評估的候選模型。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。