許多工程師在開發語音 AI 時，最頭痛的不是讓 AI 說話，而是如何處理語音互動中的延遲與上下文斷層。傳統的語音流程通常是將語音轉文字（STT）、將文字交給 LLM 處理、再將結果轉回語音（TTS），這種三段式架構會導致明顯的停頓，且無法處理使用者中途打斷或情緒起伏。
OpenAI 最近推出的 Realtime API 新模型系列，旨在將語音互動從簡單的問答，提升到能思考、能翻譯且能即時採取行動的 Agent 級別。對於開發者而言，這意味著我們能建構更接近人類自然對話的介面。
這次更新的核心在於三款針對不同場景優化的模型：GPT-Realtime-2、GPT-Realtime-Translate 以及 GPT-Realtime-Whisper。
實現語音 Agent 的思考與執行
GPT-Realtime-2 是此次更新的旗艦模型，它將 GPT-5 等級的推理能力整合進語音流中。在工程實務上，它解決了幾個關鍵的互動痛點。
首先是處理等待時間的 Preambles（前置語）。在執行複雜任務時，AI 不會陷入死寂，而是能先說出像「讓我幫您確認一下」這樣的短句，讓使用者感覺系統正在運作，降低焦慮感。
其次是 Parallel Tool Calls（平行工具調用）與透明度。模型可以在後台同時呼叫多個 API 工具，並同步用口頭告知使用者「正在查詢您的行事曆」，將原本枯燥的載入時間轉化為自然的對話過程。
此外，模型在恢復能力（Recovery Behavior）上有所提升。當系統遇到錯誤時，它不再是直接崩潰或沉默，而是能優雅地告知使用者目前遇到困難，維持對話的連續性。
針對開發者的控制項，GPT-Realtime-2 引入了可調整的推理強度（Reasoning Effort）。開發者可以根據場景選擇從 minimal 到 xhigh 的五個等級。例如，簡單的問候可以使用低強度以降低延遲；而需要複雜邏輯的排程規劃則開啟高強度，在反應速度與思考深度之間取得平衡。
為了支持更複雜的 Agent 工作流，上下文視窗（Context Window）從 32K 擴展至 128K，這讓 AI 能在長時間的對話中依然記得之前的細節。
即時翻譯與串流轉錄的實務價值
除了核心推理模型，另外兩款模型則專注於特定功能的極致優化。
GPT-Realtime-Translate 解決的是跨語言即時溝通的問題。它支持超過 70 種輸入語言與 13 種輸出語言。對於開發者來說，這款模型的重點在於低延遲與對區域發音的耐受度，使其能應用在即時客戶支持或全球化直播翻譯中。
GPT-Realtime-Whisper 則是一款專為低延遲設計的 Streaming Speech-to-Text（串流語音轉文字）模型。它不再需要等待使用者說完一整句話才開始轉錄，而是在說話的瞬間同步產出文字。這對於需要即時字幕、即時會議記錄或需要持續監控使用者語音狀態的系統至關重要。
語音介面的三大演進模式
從這些模型的組合中，我們可以觀察到語音 AI 的三個主要應用模式。
第一是 Voice-to-action（語音轉行動）。使用者描述需求，AI 推理後調用工具完成任務。例如房產助手能直接根據使用者的預算與偏好，在後台篩選房屋並預約看屋時間。
第二是 Systems-to-voice（系統轉語音）。系統將後台的狀態變更轉化為主動的語音引導。例如旅遊 App 在發現航班延遲時，主動告知使用者新登機門的位置與最快路徑。
第三是 Voice-to-voice（語音對語音）。打破語言隔閡，讓不同語言的使用者能自然對話，AI 在中間扮演即時翻譯的角色。
安全性與部署考量
在將這些模型部署到生產環境時，OpenAI 提供了多層防護。Realtime API 內建了主動分類器（Active Classifiers），能偵測並中斷違反安全指南的對話。開發者也可以透過 Agents SDK 自行增加額外的安全護欄。
在合規性方面，該 API 支持歐盟數據駐留（EU Data Residency），這對於對數據隱私要求極高的企業級應用至關重要。
來源：openai.com
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。