語音轉錄聽起來很簡單：把音檔變成文字。但在實際應用中，一段會議錄音即使每個字都被正確記錄下來，使用者和下游應用往往還想知道是誰說了哪句話、內容要如何翻譯成英文，或者醫療、法律等領域的專有名詞是否拼寫正確。多語言會議、節奏快速的對話、醫療口述各自需要不同的輸出格式：翻譯、說話者標籤，或正確拼寫的醫學術語。NVIDIA 於 2026 年 10 月 28 日發表開源權重模型 Nemotron 3.5 Transcribe，並同步釋出其背後的開放資料管線 Granary v2，試圖在單一模型中解決這些問題。兩者皆可在 Hugging Face 與 ModelScope 取得。
核心內容
Nemotron 3.5 Transcribe 是一個可用自然語言提示控制的語音模型，把轉錄、說話者歸屬、翻譯與音訊問答整合進同一個模型權重中。它可轉錄 40 種語言，其中 31 種可與英文互譯，並在 13 種語言中辨識說話者。模型可處理長達一小時的錄音，並標記最多八位說話者。開發者能用自然語言引導輸出，例如要求「轉錄這段錄音並標記每位說話者」、「把這段音訊翻譯成英文」，或「這場會議中做了哪些決定」，同一個模型就會依指令給出不同結果。
模型架構上，Transcribe 結合語音編碼器與混合 Mamba–Transformer 的混合專家語言模型，總參數量約 30B，但每個 token 只啟用約 4B 參數，因此在精度與運算成本之間取得不錯的平衡。對於不熟悉的術語，模型支援透過提示詞提供上下文線索，例如在醫療場景中列出 HbA1c、metformin 等可能出現的詞彙，並指示模型只在音訊確實支持時才使用這些詞。模型也支援字級時間戳記，方便讓字幕與播放進度同步。即時客戶 Agora 就利用字級時間戳記，把錄製的課程轉成逐字稿，與影片重播並列顯示，讓學生知道什麼時間點說了什麼。
效能表現與評測結果
在公開評測上，Transcribe 的成績相當突出。Hugging Face Open ASR Leaderboard 以詞錯誤率衡量轉錄準確度，Transcribe 在英文賽道以平均 5.33% 的詞錯誤率位居開源權重模型之首；多語言賽道在七種語言上平均 4.62%，長音訊賽道平均 10.98%，都是該比較中的最佳成績。Artificial Analysis 的獨立評測中，它以 2.8% 的 AA-WER 與另一模型並列開源第一，但啟用參數只有對方的六分之一左右；在佔評測指標一半的語音代理測試集 AA-AgentTalk 上，它的 1.8% 也明顯優於次佳開源模型的 2.3%。
說話者歸屬方面同樣領先。Sortformer 產生的說話者提示會連同聲學特徵一起送進語言模型，讓模型在生成文字時就能標記說話者，而不必事後再附加。在 David AI 涵蓋 21 種語言的多語言 diarization 排行榜上，Transcribe 以 18.26% 的 diarization 錯誤率排名第一，甚至略勝 NVIDIA 自家的專用模型 Nemotron 3 Diarization（18.38%）。在 VoiceArena 針對英文完整場景、含重疊語音與二至八位說話者的 14 系統比較中，它以 32.4% 的 cpWER 居首，漏刪字比例 8.32% 也遠低於中位數約 31%。吞吐量方面，使用即將推出的 NVFP4 量化版本，在單張 RTX PRO 6000 Blackwell GPU 上處理 100 小時音訊不到三分鐘。目前可透過 vLLM 部署，量化版本與本機部署方案 NeMo-Speech.cpp 即將推出，屆時可在 RTX Spark、DGX Spark 或 Jetson AGX Thor 等裝置上執行。
技術脈絡解讀：Granary v2 資料管線
一個可用提示控制的語音模型，需要訓練資料具備明確、無歧義的格式目標。Granary v2 就是為此打造的開放資料整理管線，以 NVIDIA NeMo Curator 建構，公開清單涵蓋 48 種語言、16 個來源語料庫、共 463,062 小時的音訊，較上一版的 25 種語言大幅擴充。值得注意的是，這些數字描述的是資料集本身，並非 Transcribe 完整的訓練混合比例。管線為每段錄音產生三種轉錄形式：逐字原文（保留語氣詞與口語原貌）、含逆文本正規化（把口說的「twenty-five euros」轉成書面的「€25」）但仍保留語氣詞的版本，以及去除語氣詞、直接可讀的乾淨版本。這些正是開發者可用提示詞向模型要求的輸出風格。
管線分為四個可重複使用的階段：先進行音訊準備，切割長音訊、跨錄音追蹤說話者並標記語言；接著轉錄階段為每種語言安排主模型與備援模型，主模型未通過幻覺檢查時自動切換，並以人工參考轉錄稿保留可信拼寫；第三階段在文字層面衍生各種轉錄變體，檢查字符率、幻覺模式與參考稿一致性，只有通過的紀錄才會獲得上下文偏置詞彙與翻譯；最後的高保真階段過濾嘈雜、截斷或多人重疊的片段，例如把 VoxPopuli 的 35.4 萬小時篩減為 22 種歐洲語言的 11.1 萬小時。開發者可以用 Ray 與 NVIDIA Dynamo 後端在自己的資料上執行這條管線，清單中也附上每筆紀錄的品質標記與來源資訊，原始音訊則需依各語料庫授權另行下載。
影響與限制：從提示詞優化到領域微調
對開發者而言，這套模型與工具的實務意義在於：不需要重訓模型，就能先靠提示詞調整輸出。在 NVIDIA 與 Eka Care 合作的醫療案例研究中，僅在提示詞中指明英語與拉丁字母，就把整體詞錯誤率從 30.8% 降到 23.8%。若領域錯誤仍無法接受，NeMo Speech 微調流程接著上場：研究團隊以生成的醫療文本和公開藥品目錄建立訓練資料，將書面目標與口語呈現分離（例如「HbA1c」是標籤，而「H B A one C」送語音合成器），混合約 153 小時合成語音、29 小時 Common Voice 口音英語與 63 小時 MultiMed 醫療錄音。訓練文字會過濾掉與測試集完全相同或共享八詞序列的內容，避免洩漏。
微調結果在留出的說話者上驗證：855 段調校用音訊與 2,764 段留出音訊分開處理，微調後留出集詞錯誤率從最佳提示基準的 22.44% 降至 12.17%，相對改善 45.8%，關鍵詞錯誤率從 9.2% 降到 6.5%。同一評測下，它也勝過開源醫療專用模型（13.79%）與常見的通用 ASR 模型（14.92%）。整個微調流程在單張 GB300 上約花 14 小時 GPU 時間。技術上，訓練涵蓋語音編碼器與投影層，語言模型則以 LoRA 調整，最終將多次執行的檢查點平均合併。
不過仍有幾項限制值得注意。Transcribe 是為已錄製的音訊設計，不支援即時串流；音訊問答任務僅以英文訓練，各任務的語言支援也不同。與所有語音模型一樣，對人名、說話者切換與問答結果進行抽樣核對仍是必要的。在醫療案例中，通用英文能力略有回退，LibriSpeech test-clean 的詞錯誤率從 1.54% 升至 1.69%，而品牌藥名的精確匹配仍由醫療專用模型領先，研究團隊指出下一步需要真實臨床醫師唸出品牌名的錄音。對想在自身領域應用的團隊，官方建議至少保留 100 段真實標記音訊用於檢查點挑選，並同時評估關鍵實體類型與通用語音能力的保留程度。整體而言，這次發表把模型、資料管線與微調工具一併開放，讓社群不只能使用模型，還能重現並改寫它的訓練與適配流程。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。