在數位互動的演進過程中，語音轉文字（Speech-to-Text）長期以來面臨著環境噪音干擾、專業術語辨識困難以及人類說話時習慣性的贅詞與自我修正等挑戰。傳統的語音辨識模型通常僅能將聲音機械式地轉換為文字，導致產出的結果充斥著如「嗯」、「啊」等無意義的填充詞，或者在使用者中途改變主意修正措辭時，將錯誤的過程全部記錄下來，使得後續的閱讀與編輯成本增加。為了克服這些問題，Google 推出了 Gemini 3.5 Transcribe，這是一個旨在實現精準且智能轉錄的新一代模型，將原始音訊直接轉換為經過修飾、格式化且符合意圖的乾淨文本。
核心技術與智能轉錄能力
Gemini 3.5 Transcribe 的核心突破在於其智能轉錄（Smart Transcription）能力。不同於以往僅追求字面正確率的模型，它能理解自然說話的脈絡。當使用者在說話過程中出現自我修正（例如說出「我們週二見——不對，是週三」）時，模型能識別出後者的修正意圖，並在最終文本中直接呈現正確的結果。同時，它能自動過濾掉無意義的填充詞，並將口語化的內容自動格式化為易讀的文字。
在精準度方面，根據 Artificial Analysis 的測試數據，該模型在串流模式下的字錯率（Word Error Rate, WER，衡量轉錄文字與原始說話差異的指標，數值越低代表越精準）為 4.0%，而非串流模式下則低至 2.6%。此外，它針對現實世界中的複雜環境進行了優化，能精確捕捉郵遞區號、訂單編號等 alphanumeric entities（字母數字混合實體），並支持自定義詞彙（Custom Vocabulary），讓開發者能將特定產業的專業術語或特殊拼寫導入模型，提升辨識準確率。
靈活的 API 部署與運作模式
為了滿足不同的開發需求，Gemini 3.5 Transcribe 透過兩種不同的 API 提供服務。首先是針對即時互動應用設計的 Live API，採用 gemini-3.5-transcribe-live 模型，提供亞秒級低延遲的雙向串流傳輸，適合用於語音助手或即時字幕工具。其次是針對非即時處理的 Interactions API，使用 gemini-3.5-transcribe 模型，專為處理預錄音檔、會議記錄或通話日誌設計，並提供說話者識別（Speaker Attribution）與單字級時間戳記（Word-level Timestamps），目前可精確區分最多三位說話者。
相較於前代模型 Chirp 3，Gemini 3.5 Transcribe 在效能上有顯著提升。在 FLEURS 基準測試中，其多語言表現更為出色，且最終轉錄完成的時間（Time to Final Transcription）縮短了 70%，大幅降低了使用者在等待文字產出時的焦慮感。目前該模型已支援超過 85 種語言，並能自動偵測語言切換，適應各種區域口音與方言。
跨產品的實務應用與生態整合
Gemini 3.5 Transcribe 並非僅作為單一 API 存在，而是深度整合進 Google 的產品生態中。在 Android 平台的 Gboard 鍵盤上，透過名為 Rambler 的新功能，使用者可以用口述方式快速產出格式整齊的文本，甚至能直接用指令要求模型修改拼字或調整寫作風格。在 macOS 的 Gemini 應用程式中，該模型更展現了函數調用（Function Calling）的能力，這是一種讓模型能將複雜任務委派給其他專門模型的機制。例如，使用者可以用語音指令要求 Gemini 總結本地文件或生成圖片，模型會先將語音轉錄為指令，再調用對應的 AI 模型執行任務。
此外，在 Google Antigravity 環境中，模型能結合螢幕上下文（Screen Context）與對話歷史，確保在提及特定檔案名稱或文件內容時能達到極高的轉錄精確度。未來該功能也將擴展至 Chrome 瀏覽器，讓使用者能在任何網頁輸入框中直接以語音進行高效輸入。
實務意義與開發限制
對於開發者而言，Gemini 3.5 Transcribe 降低了構建高品質語音介面的門檻。透過與 Agora、LangChain、LiveKit 等平台整合，開發者無需自行處理複雜的即時媒體串流基礎設施，即可部署具備低延遲與高精準度的語音驅動界面。這對於醫療保健、客戶服務等對準確性要求極高且需處理大量專業術語的產業具有重要意義。
然而，該技術目前仍存在一定的限制。例如，多說話者識別功能在處理三位以上的人員時仍處於實驗階段，穩定性可能不足。此外，雖然模型能自動處理贅詞，但在極端嘈雜的環境中，依然依賴於高品質的音訊輸入以維持低字錯率。目前該模型已在 Google AI Studio 與 Gemini Enterprise Agent Platform 開放預覽，逐步推向企業與一般消費者市場。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。