背景:語言模型之外,機器學習還有兩件常被忽略的事
近年談到機器學習應用,多數人第一時間想到的是大型語言模型(LLM):它能寫作、摘要、翻譯、呼叫工具。但實際產品中,許多環節其實不需要動用語言模型。以客服電話為例:第一步要先把語音轉成文字,也就是語音辨識(speech recognition);第二步要判斷這通電話該轉給哪個部門,這是一個分類決策問題。這兩件事交給語言模型雖然可行,但專為該任務設計的模型通常更快、更準確、成本更低。
Hugging Face 在 2026 年 10 月 29 日發表了兩個 Swift 套件:AnySpeechRecognizer 與 AnyDecisionModel。這是先前 AnyLanguageModel 專案思路的延伸——用同一套熟悉的 Swift API,讓開發者可以自由選擇底層模型,並且都能從 Hugging Face Hub 下載開源模型、直接在裝置上執行。
核心內容之一:AnySpeechRecognizer,把語音辨識的引擎選擇權還給開發者
Apple 在 macOS 26 與 iOS 26 推出了新的語音轉文字 API「SpeechAnalyzer」。開發者把 SpeechTranscriber(轉錄)、SpeechDetector(偵測語音)等模組組合到 analyzer 中,餵入音檔或音訊串流,就能透過 async sequence 逐步讀取結果;模型下載則由 AssetInventory 管理,讓 App 自行決定安裝時機。這套 API 設計良好,但唯一的引擎是 Apple 自家的。
AnySpeechRecognizer 保留了這套 API 的介面,只是把引擎開放為可替換。如果現有程式已使用 Apple Speech framework,通常只需改一行 import 就能切換。它目前支援的引擎包括 NVIDIA 的 Parakeet 與阿里巴巴的 Qwen3-ASR,兩者都以 Core ML 格式在本機執行。
Parakeet v3 是 NVIDIA 的 Parakeet TDT 0.6B v3,能辨識 25 種歐洲語言並自動判斷語言,不需指定 locale。Moondream 在 v3 基礎上後訓練出的 Parakeet Ultra,在團隊的多數測量中準確度更高。NVIDIA 的 Parakeet Unified 則是僅支援英文的版本。三者的 Core ML 執行環境由套件自帶,支援檔案與即時輸入、volatile results(中間浮動結果)、單字時間標記與單字信心值。
Qwen3-ASR 有 0.6B 與 1.7B 兩種尺寸,支援 30 種語言與 22 種中文方言,涵蓋普通話、粵語、日語、韓語等 Parakeet 未覆蓋的語言。它的取捨是:每段最長 40 秒只回傳一次最終結果,沒有中間結果與單字時間資訊,且在 GPU 上執行、速度比 Parakeet 慢,因此較適合轉錄檔案而非即時串流。若想加入其他引擎,只需實作 SpeechRecognitionModel 與 SpeechRecognitionExecutor 兩個協定。
這些模型已轉換為 Core ML 並發布到 Hugging Face Hub,每個儲存庫都記錄來源 checkpoint 與檔案 checksum,套件會鎖定固定版本。Parakeet 儲存庫額外提供 8 秒編碼器用於即時輸入,可將即時分析時間縮短約三分之一,代價是字錯誤率略增。模型只有在 App 主動要求時才會下載:每個 Parakeet 約 600 MB(另有約 590 MB 的即時編碼器)、Qwen3-ASR 約 0.9 至 2.4 GB。
附加能力:說話者分離(Speaker Diarization)
轉錄對話時,常需要知道「誰在什麼時候說了什麼」,這就是 speaker diarization。Apple 的 Speech framework 沒有提供對應模組,因此 AnySpeechRecognizer 自行加入 SpeakerDiarizer,在 Core ML 上執行 NVIDIA 的 Streaming Sortformer,與轉錄器共用同一時間軸。它最多可追蹤四位說話者,即使彼此搶話也能處理;結果透過 SpeakerTimeline 把每個帶時間標記的單字歸屬到說話者,便可按輪次輸出逐字稿。Sortformer 有 v2 與 v2.1 兩版,後者用了更多會議資料訓練,在會議情境的實測中表現更好。
實測表現與限制
團隊在配備 M4 Max 的 Mac Studio(macOS 27.0.1)上,用套件內建的 hear 命令列工具測量 LibriSpeech 3 到 8 分鐘音檔的字錯誤率(WER,越低越準):Parakeet v3 檔案模式為 1.55%(test-clean)與 2.78%(test-other);Parakeet Unified 檔案模式最低,達 1.43% 與 2.19%;Apple 內建轉錄器為 2.12% 與 3.97%。速度方面,Parakeet 轉錄一小時音檔約需 20 到 40 秒(檔案模式),即時模式約 1.5 到 2.5 分鐘,模型編譯後記憶體占用約 100 MB;Qwen3-ASR 則慢得多且需要數 GB 記憶體。
限制也必須說清楚:多人同時說話的會議場景對所有引擎都很困難,在 AMI 會議錄音上,每個受測引擎的字錯誤率都超過 23%。這些數據來自單一機器與少數資料集,官方建議開發者用自己的硬體與音訊實測(hear evaluate 與 natural-speech-eval.py 可重現測量)。此外目前僅在 macOS 27 上測試過,尚未在 iPhone 上驗證;後續計畫加入更多引擎,包括 macOS 27 與 iOS 27 的 Core AI。
核心內容之二:AnyDecisionModel,從文字生成轉向機率判斷
第二個套件 AnyDecisionModel 處理的是分類決策問題:這則訊息緊急嗎?這張工單該給哪個團隊?這位客戶有多沮喪?傳統做法是提示語言模型並解析它生成的文字,但這樣只能拿到單一答案,看不到模型對各選項分別給了多高的機率。AnyDecisionModel 改為直接從模型的機率分佈得出答案,回傳帶型別的結果與各選項機率。
API 設計採用 model-and-session 模式(與 Foundation Models、AnyLanguageModel 一致)。DecisionSession 持有一個狀態(文字或 JSON),所有問題都針對這個狀態,且各問題彼此獨立——前一題的答案不會成為後一題的輸入;批次提問可用 decide(_:)。以 MLX 後端為例,它為每個允許的答案建立單一 token 的標籤,在一次 forward pass 中讀出各標籤的機率。
官方示範 App「Emoji Magnet」展示了實際用途:畫面上有 343 個 emoji,輸入「things you wear」這類描述後,符合的 emoji 會浮出。App 內建沒有任何關鍵字規則,全部由模型在推論時判斷——對每個 emoji 問一次是非題。使用託管的 Jev 後端時,343 個問題一次請求完成,約半秒內 emoji 就定位;改用本機 MLX 後端跑 Qwen3 4B,配合前綴快取(prefix caching)只評估狀態一次、每次 forward pass 處理 16 題,在 M4 Max 上每組約 0.45 秒,全部掃完約 10 秒。
決策頭與機率校正
直接讀 next-token 機率對通用語言模型有效,但這些模型本來就不是為決策訓練的。Cloudflare 的 Clef 代表了新一代做法:模型帶有專門訓練的 decision head(決策頭),把狀態與型別化的問題 schema 一次轉成所有問題的選項機率。AnyDecisionModel 可透過 MLXHeadDecisionModel 在 Mac 上以 MLX 執行 9B 的 Clef-Flash(4-bit 版本下載約 6.2 GB,建議 16 GB 以上記憶體的 Mac),但目前此後端僅接受文字與 JSON 狀態,不支援 Clef 原本具備的圖片與影片能力。
機率品質方面有幾個實務要點:語言模型的原始機率常過度自信,本機後端可套用 Calibration(溫度調整加上是非題偏誤修正),且應使用不同資料集分別擬合與評估。模型也可能因選項排列位置而偏好某項,rotationDebiasing 選項會對選項的每種排列各問一次再取平均,代價是每個排列多一次推論。每個結果附帶的信心值是基於機率的熵,衡量的是機率分佈的集中程度而非答案正確與否,選擇門檻前應先在自己的資料上檢查錯誤率。
後端與環境需求
AnyDecisionModel 提供六種後端:MLX(Apple silicon 本機小模型)、MLX 決策頭(如 Clef)、Core AI(macOS 27 與 iOS 27)、llama.cpp(GGUF 模型)、Jev(TypeSafe 的託管 API 或相容伺服器)與 Ollama(0.35.0 以上,雲端模型需 0.40.5 以上)。next-token 後端以「yes/no」、A 到 Z 或 0 到 9 作為答案標籤,因此單選最多 26 個選項、評分量表最多 10 級;決策頭後端則無此限制。套件使用 Swift package traits,不啟用 trait 時零第三方依賴,核心型別與 Jev、Ollama 後端也能在 Linux 上建置。
兩個套件都要求 Swift 6.2 以上與 macOS 26 或 iOS 26 以上,Parakeet、Sortformer 執行環境與 MLX 後端需要 Apple silicon。目前有一個已知的相容性限制:AnyDecisionModel 的 CoreAI trait 無法與 AnySpeechRecognizer 同時使用,因為 coreai-kit 0.7.3 依賴 swift-huggingface 1.0 以下版本,而 AnySpeechRecognizer 需要 1.x。
影響與實務意義
這兩個套件的核心價值在於:Apple 提供了乾淨的平台 API,但綁定單一引擎;透過保留 API 形狀、抽換引擎的設計,開發者可以按語言覆蓋、延遲、準確度與記憶體需求選擇最合適的本機開源模型,且模型權重、checksum 與轉換流程都公開可查。對需要在裝置上離線處理語音,或需要大量低成本分類判斷(如內容過濾、工單路由、情緒分級)的 App 來說,這條路徑比全部交給雲端語言模型更省成本,也更容易控管延遲與隱私。當然,引擎選擇伴隨取捨——Qwen3-ASR 語言覆蓋廣但慢、Parakeet 快但語言範圍不同、會議場景對所有引擎仍是硬仗——這些都需要開發者以自身資料實測後再決定。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。