企業客服中心導入語音 AI，真正的難題往往不是讓模型講出像人的句子，而是讓它在多輪對話中守住公司政策、扮演被指派的角色、在正確時機呼叫工具，並且在幾百毫秒內開口回應。Retell AI 是一個語音 AI 平台，主要服務客服中心營運，讓企業建置能回答問題、執行動作、必要時將來電者轉接給真人的語音代理。OpenAI 於 2026 年 10 月 27 日公布的案例指出，Retell 平台已服務超過 4,000 家企業，月通話量從 2026 年初的 3,000 萬通成長到 9 月超過 1 億通；目前平台上 80% 通話的回應由 OpenAI 模型生成，客戶端解決率超過 80%，累計消耗的 OpenAI token 超過 1 兆。token 是模型處理文字與對話內容的基本單位，這個數字反映的是實際呼叫規模，而不是展示環境的測試量。
用真實通話挑模型
Retell 共同創辦人暨執行長 Bing Wu 的說法是，他們挑選模型的方式就像客戶挑選供應商，看的是真實通話，而不是展示。為此 Retell 建立 vCX benchmark，從生產環境取樣困難的多輪對話，比較數十個模型在指令遵循、是否以給定資訊為依據、工具呼叫正確性，以及自然對話語言等面向的表現。在 2026 年 10 月 13 日的評測中，GPT‑6 Astra 在指令遵循項目以 89.7% 排名第一。Retell 同時公布 GPT‑6 Astra 推出前的評估結果：GPT‑5.5 在啟用推理時，非幻覺率為 88.0%、工具呼叫正確性為 88.3%，兩項都高於 Gemini‑3.1‑Pro 與 Claude‑4.6；在關閉推理的情況下，其非幻覺率同樣領先。Retell 表示，選擇 OpenAI 模型的新客戶會持續使用，平台也會在 OpenAI 新模型上線當天提供，並重新執行 benchmark。這種做法等於把模型評測當成持續性的營運工作，而不是一次性的選型會議。
一通電話裡發生什麼事
企業在 Retell 上定義代理的業務脈絡、目標與規則，開發者再進一步配置工作流程與系統整合。通話期間，Retell 的 harness 負責執行音訊模型、追蹤對話狀態，並管理代理何時該說、何時該聽、如何處理來電者的打斷。harness 在此指的是包住模型、負責協調語音輸入輸出與對話流程的執行框架。OpenAI 模型，包括 GPT‑6.1 Sol、GPT‑6 Astra 與 GPT‑5.5，會依客戶指示與對話脈絡生成回應，必要時要求工具呼叫；Retell 透過與客戶系統的整合執行這些呼叫，並把處理結果寫回客戶紀錄。若情況需要真人判斷，語音代理會先向客服代表簡報背景、回答代表的追問，確認代表準備好之後才把來電者接上。通話結束後，Retell 使用 GPT‑5.6 Terra 分析逐字稿，擷取處理結果與其他資料。客戶也可以透過 Realtime API 使用 OpenAI 的即時模型，並以 OpenAI 的文字轉語音作為語音引擎。
實際部署的兩家公司
消費電子品牌 Anker 在美國與英國以語音代理處理第一線售後支援，涵蓋訂單追蹤、保固查詢與疑難排解，回報 80.4% 的案件解決率與 63 的淨推薦值 NPS。NPS 是衡量客戶願意推薦產品或服務程度的指標，數值越高代表推薦意願越強。Anker 團隊也表示，代理的語氣、節奏與溫度達到他們對真人客服的期待。Pine Park Health 則用語音代理執行預約提醒與主動排程，並把結果寫入病人的醫療紀錄；團隊因此回收相當於 2.1 個全職醫療助理的時間，轉投入病人照護，其排程代理在成功接觸到病人時，預約率為 55.7%。這些案例說明的不是單一模型能力，而是語音代理能否嵌入既有业务流程並把結果落到系統裡。
延遲、區域路由與備援
語音代理的體驗門檻很直接：延遲一旦拉長，對話就會變成雙方輪流等待。Retell 平台日間流量可達夜間低點的 50 倍以上，為此它使用與 OpenAI 合作的專用伺服器，並在客戶之間共享資源。在 2026 年 10 月 13 日的評測中，GPT‑6 Astra 與 GPT‑6 Sol 的中位數首句延遲同為 883 毫秒，GPT‑5.6 Luna 以 497 毫秒排名最高，也就是最快。OpenAI 的區域 API 端點讓開發者把流量導向特定地理區域，Retell 藉此縮短網路傳輸時間，同時滿足醫療與金融等產業對資料落地的要求。Retell 也在服務的每一層設計冗余：自有電話通訊堆疊之外準備第二套隨時接手，語音與模型服務同樣設有備援，以降低單一服務失效時通話中斷的風險。
Codex 進入開發流程
企業客戶增加帶來更多客製工作流程與整合需求，工程師經常得進入不熟悉的程式碼區域。Retell 的做法是在寫程式之前，先把高階需求交給 Codex；Codex 會瀏覽程式碼、對照實際資料，說明需要改動的地方。有工程師表示，這項前期研究 Codex 做得比他自己更好，也快得多。進入實作階段，工程師說 Codex 常抓到他們原本沒想到的細節；除錯時，Codex 會交叉比對日誌、資料庫紀錄與程式碼，追查實際發生的狀況。在協助客戶建置時，Codex 也被用來加速撰寫引導模型回應的指示內容。前端變更則依靠 GPT‑6 Astra 的電腦操作能力：工程師送出前端 pull request 後，GPT‑6 Astra 會開啟介面、點擊操作、走過流程、嘗試破壞既有路徑，並回報發現的問題。Retell 表示較早的模型無法可靠完成這項工作。公司仍持續招聘，但工程團隊不需要隨業務等比例擴張，其公布每位員工的年化營收為 160 萬美元。
意義與限制
這個案例反映的是語音代理進入生產環境後，競爭重點從能不能講得像人，轉向能不能在真實流程裡穩定完成任務。模型要能遵循指令、降低幻覺、正確呼叫工具；平台要能處理延遲、斷線與人工轉接；通話結束後還要把結果結構化寫回系統。Retell 的目標是讓最貼近客戶工作的人直接運用自身專業，自行建置、測試與改進代理，後續規劃包括擴大品質保證與模擬能力、支援更多語言，以及知識庫自動學習。需要留意的是，文中數字多由 OpenAI 與 Retell 自行公布，vCX 也是 Retell 自建的評測，模型版本與排名屬於特定時間點的快照，會隨模型更新而變動；月通話量、解決率與每人生產力等指標的計算方式，外部無法獨立核對。這些數據適合用來說明語音代理的部署規模與工程取捨，不宜直接當成跨平台的通用結論。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。