對於許多工程師來說，開發語音 AI 最頭痛的不是讓 AI 能說話，而是如何讓對話「像人一樣自然」才是真正的挑戰。過去的語音 AI 經常讓我們感到僵硬，不是因為它不聰明，而是因為底層的架構限制了互動的流暢度。OpenAI 最近推出的 GPT-Live 透過改變模型架構，試圖解決這個問題。
為了讓初入行的工程師能快速理解，我們將其技術演進分為三個階段來分析。
第一階段：串接式系統（Cascaded Systems）
早期的語音模式採取的是一種 Pipeline 串接方式。簡單來說，它由三個獨立的模型組成：首先是 STT（Speech-to-Text，語音轉文字），將你的聲音變成文字；接著交給 LLM（Large Language Model，大型語言模型）生成文字回覆；最後透過 TTS（Text-to-Speech，文字轉語音）將回覆唸出來。
這種做法的缺點在於資訊損耗。當語音被轉成文字時，說話者的情緒、語調、停頓等非文字資訊全部丟失了。此外，因為要經過三個模型接力，延遲（Latency）非常明顯，導致對話過程顯得生硬且斷斷續續。
第二階段：回合制模型（Turn-based Models）
隨後演進到了如 Advanced Voice Mode 的階段。這類模型不再是簡單的串接，而是在單一模型內處理音訊的輸入與輸出，大幅降低了延遲。
然而，它依然受限於回合制邏輯。模型必須等待使用者「停止說話」後才開始反應。這導致了一個實務上的痛點：模型依賴靜默（Silence）來判斷回合結束。如果你在思考時稍微停頓，或者背景有雜音，模型可能會誤以為你說完了而突然插話，破壞對話的節奏。
第三階段：GPT-Live 的全雙工架構（Full-duplex Architecture）
GPT-Live 引入了全雙工（Full-duplex）的概念。在電信工程中，全雙工是指通訊雙方可以同時發送與接收資料（就像電話），而非像對講機一樣必須輪流說話（半雙工）。
在 GPT-Live 中，模型不再是等待一個訊息結束才處理，而是持續地處理輸入並同時生成輸出。這意味著模型每秒鐘都在做出決定：現在該說話嗎？該繼續傾聽嗎？還是該發出像 mhmm 或 yeah 這樣的口頭回應來表示我在聽？這種機制讓 AI 能在不中斷對話流的情況下，實現自然地插話或適時地保持沉默。
深度任務的委派機制（Instant Delegation）
除了對話流暢度，GPT-Live 還解決了互動速度與思考深度之間的矛盾。
如果一個語音請求需要複雜的推理、網頁搜尋或長時間運算，直接讓對話模型在線等待會導致尷尬的沉默。因此，GPT-Live 採取了委派機制。它將對話互動與深度思考解耦（Decoupled）。
當遇到複雜問題時，GPT-Live 會在背景將任務委派給更強大的模型（如 GPT-5.5），而前端的對話模型則繼續與使用者維持互動，確保對話不中斷。等到背景模型完成運算後，結果會被無縫地帶回對話中。
實務影響與能力提升
這種架構上的改變帶來了幾個具體的實務提升。首先是抗噪能力的增強，模型能更精準地分辨使用者的聲音與環境噪音。其次是推理層級的可選性，使用者可以根據需求選擇 Instant（快速反應）或 Medium/High（深度思考）模式。此外，系統還加入了視覺卡片（Visual Cards）來補充語音無法高效傳達的資訊，如天氣或股市數據。
安全設計的考量
由於語音互動是即時且具有強烈情感暗示的，GPT-Live 在安全層面做了特別強化。除了傳統的文本過濾，它增加了音訊原生的評估，針對自殘、情感依賴等高風險領域進行訓練。最重要的是，它建立了即時攔截機制，能在模型說話的過程中偵測到不安全內容並即時修正或終止對話，而非等說完才後悔。
總結
GPT-Live 的核心價值在於將 AI 從一個等待指令的工具，轉變為一個能同步感知、即時反應的協作夥伴。從串接式到回合制，再到現在的全雙工架構，這代表著 AI 互動正從單純的輸入輸出，演進為真正的即時協作。
來源：openai.com
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。