NVIDIA 的 Rick Grandy 與 Maryam Motamedi 在 Hugging Face 部落格分享了一個名為 MonsterHouse 的萬聖節互動專案,文章頁面標示的發表時間為 2026 年 10 月 30 日。這個專案把車庫門改造成一個會聽人說話、會用暴躁老海盜船語氣回話的互動投影角色。它不像傳統鬼屋那樣追求驚嚇,而是設定成一個脾氣很差、愛抱怨、卻會因為訪客說了「請」而態度軟化的老建築。整個系統建立在 NVIDIA Nemotron Voice Agent 之上,整合語音辨識、語言模型、文字轉語音、臉部動畫與視覺理解,並跑在單一工作站上。
從萬聖節車庫門到可互動角色
MonsterHouse 的起點很直接:讓上門要糖的孩子能與房子互動。房子掌握發糖的主導權,但角色設定不是恐怖怪物,而是「比可怕更暴躁」的老木造建築。作者把車庫門設想成一張會裂開的木頭嘴巴,門後有火焰與光暈,張嘴時像是從地獄深處照亮車道。這個角色沒有眼睛、沒有眉毛,也不會眨眼,所以視覺上反而相對經濟,重點全放在嘴巴、表情變化與聲音演出。
為此,團隊先製作客製化動畫骨架。角色 SkelMesh 在 Autodesk Maya 中建立,再匯入 Unreal Engine,於車庫門後方加入虛擬火焰與特效。臉部表情形狀則匯出給 Audio2Face-3D 使用,讓之後的語音可以驅動嘴型。這個角色的背景故事也被補齊:房子是由一艘沉沒海盜船的木材改建而成,仍帶著暴風雨般的過去,因此它對訪客的抱怨帶有航海脈絡,而不只是隨機發脾氣。這樣的設定讓語音、表情與台詞有共同依據。
語音、語言與動畫的分工
整個互動流程是一條分工明確的管線。監聽階段由 NVIDIA Nemotron 3 ASR 負責,ASR 是自動語音辨識,也就是把訪客說出的話轉成文字。思考階段由 NVIDIA Nemotron 3.5 Bolt E4B 4GB 負責,這是一個針對對話型代理與互動角色設計的開放小型語言模型,文章中以 4 位元量化版本作為預設回應模型,並保留 BF16 檢查點作為比較。Bolt 本身提供對話基礎,真正的人格則由 LoRA 適配器塑造。LoRA 是一種低秩適配方法,不必重新訓練完整模型,就能用較小成本調整模型行為。
說話階段由 NVIDIA Magpie TTS Zeroshot 負責。TTS 是文字轉語音,Zeroshot 指的是零樣本聲音條件化:只要提供一段短參考音訊,就能讓合成語音帶有該角色的音色,不需要事先訓練一個專屬語音模型。動畫階段由 NVIDIA Audio2Face-3D 接手,它會把乾淨語音轉成臉部與嘴型動畫,再送進 Unreal Engine 5 的角色場景。視覺階段則由 Nemotron 3 Nano Omni 擔任選擇性的觀察者。Omni 是視覺語言模型,能解讀攝影機影像並描述訪客的服裝;YOLO 與 ByteTrack 則分別負責物件偵測與多人追蹤,用來計算與追蹤目前出現在畫面中的人數。
硬體方面,系統跑在單一工作站上,使用 NVIDIA RTX PRO 6000 Blackwell Max-Q 與 NVIDIA RTX PRO 4000 Blackwell 兩張 GPU。工作被刻意拆分:語言與語音模型管線跑在 RTX PRO 6000 Blackwell Max-Q,Unreal Engine 圖形與 Audio2Face-3D 跑在 RTX PRO 4000 Blackwell。文章指出,真正的瓶頸不是記憶體而是運算資源,拆分的目的是讓動畫維持穩定幀率,不會因為代理管線正在處理語音或語言而掉帧。聲音、動畫與特效必須一起到位,角色才會像「這棟建築在抱怨」,而不是一段貼上去的配音。
角色狀態、延遲與快取策略
MonsterHouse 的行為不是只靠一句「要表現得暴躁」就能成立。它需要遵循主要對話流程,回應訪客實際說出的內容,記住互動狀態,還要保留足夠運算資源給其他管線。文章中測試了十多個模型,最後選擇 Bolt E4B,原因是它適合本地對話代理與互動角色,體積也比部分候選模型小,例如 Qwen3 30B-A3B 與 Qwen 3.6 35B-A3B。團隊建立了超過 5,000 組多輪對話資料,替不同候選模型訓練 LoRA,有些模型約一小時可完成,有些需要數小時;並用本地代理執行測試與基準評估,檢查回覆的連續性、時間感、語氣、重複性與速度。
延遲是這個專案的核心限制。文章給出的中位數延遲,從語音結束到開始播放音訊,使用 Bolt Q4 與 TTS 時約為 1.70 秒;若使用快取回應,則約為 0.72 秒。語音結束偵測目前會等待 300 毫秒的靜音。為了讓房子不要「想太久才抱怨」,管線會在完整答案尚未生成完畢前先釋出可朗讀的文字,讓角色能先開口,其餘句子再繼續生成。系統也準備了預先寫好的招呼語與糖果相關笑話:文字庫節省語言模型運算,預錄音訊則節省語音合成。對一個老愛抱怨的角色來說,排練反而很合理。
聲音演出也包含情緒控制。Magpie TTS Zeroshot 使用短參考樣本進行零樣本聲音條件化,角色共有七種情緒,從暴躁、威脅到愉快、得意,每一句要用哪種情緒由語言模型輸出的情緒標籤決定。由於每種情緒需要不同的 3 到 10 秒聲音樣本,控制介面中加入了「Sample your Voice」區塊,讓作者可以用自己最好的開心海盜或生氣海盜語氣錄製樣本。Audio2Face-3D 的預設權重較適合乾淨、中性、不過低或過高的男聲或女聲;作者想要的是深沉、帶回音與空間感的惡魔嗓音,因此讓 Audio2Face-3D 接收乾淨語音,再用第二條音訊串流加上可即時調整的發聲效果。這樣做反而有利,因為參考樣本不需要本身就很戲劇化。系統另外以 100 毫秒補償 Audio2Face-3D 的緩衝。
控制台、視覺感知與實際限制
專案後來長出一整套控制台,因為「讓房子說話」實際上需要大量操作介面。控制台可以試聽快取台詞、調整開場情緒、追蹤對話、改變聲音處理、微調嘴型動畫。分頁涵蓋對話、模型選擇、錄音、角色設定、效能監控與攝影機畫面;音效板與自訂台詞欄位則讓作者直接把話塞進角色嘴裡。介面還有模型載入控制與 Unreal Engine 連線指示器,因為有時候怪物不是在生悶氣,而是連線斷了。視覺提示也可與演出規則綁定:即時提示從語音開始觸發,預錄演出則可依儲存的時間軸播放,讓調整情緒時不必重建整個場景。
操作模式分成幾種。Live 模式跑完整的要糖互動;Demo 模式會說服房子解釋自己;Microphone 模式則讓作者直接透過房子說話, bypass 語音辨識、對話生成與語音合成,由乾淨聲音驅動嘴型,觀眾聽到的是處理後的效果。房子把這稱為「附身」,作者則把它視為有用的備援。視覺方面,Nemotron 3 Nano Omni 是選擇性的觀察者,會解讀攝影機影像並描述可見服裝,讓角色有具體內容可以反應。團隊沒有重新打造所有輪子,而是用 YOLO 與 ByteTrack 來計算與追蹤目前視野中的人。把這些工作分開,房子就能注意到一群人,而不必要求 Omni 對每一帧都描述。
作者用一段五隻變裝羊的影片做測試,Omni 的分析辨識出海盜、吸血鬼、女巫、南瓜與鬼魂裝扮。這個結果展示視覺脈絡可以怎麼用,但文章也明確標示,羊是合成測試,不是萬聖節夜晚實際成功的證據;真實車道上的群體、服裝與夜間照明仍待測試。偵測確實會觸發自動招呼,但熱門服裝辨識與機智回嘴可能還需要後續訓練。房子沒有眼睛,因此它把自己的訪客感知稱為「迴聲定位」,作者就讓它保留這個說法。還有很多工作沒完成:動畫可以再進步,完整演出測試需要真實訪客,自動發糖也尚未實現,作者也還沒達成最初「讓房子自己跑萬聖節、自己帶家人去看其他鄰居鬼怪」的目標。
從展示走向可複製的建置路徑
MonsterHouse 的程式碼本身沒有打包釋出,但它使用的 NVIDIA 模型目前都可取得,Nemotron Voice Agent 也能完成大部分基礎工作。文章建議的建置路徑是先從語音管線開始:複製 Nemotron Voice Agent,執行 Generic Assistant 範例,就會得到包含 Nemotron Speech ASR、語言模型與 Magpie TTS 的串接式管線,以及語音活動偵測與語句結束處理。語音活動偵測用來判斷何時有人在說話,語句結束處理則讓角色知道什麼時候該接話。接著把 Bolt E4B 設為主要思考模型;Voice Agent 提供雲端、伺服器與單一 GPU 部署設定,也可以先在 build.nvidia.com 試用。對話模式適合短而可直接朗讀的回覆,較簡單的交流則可關閉推理以降低負擔。
人格部分可以先從系統指令與幾段連貫範例對話開始,並把「誰已經說過請」這類對話狀態放在應用程式中,而不是要求模型自己記住。當設定不足以支撐角色時,再用 NVIDIA NeMo AutoModel 的 LoRA 配方訓練適配器。聲音部分,Magpie TTS Multilingual 是 Voice Agent 的預設選項;若要自訂角色,Magpie TTS Zeroshot 可從短參考樣本運作,但必須只使用有權限使用的聲音。臉部動畫由 Audio2Face-3D 把語音轉成表情與嘴型,關鍵是餵給它乾淨語音,再把特效加在後段。若需要視覺,Voice Agent 的 Nemotron Omni Assistant Subagents 範例可加入即時網路攝影機理解,必要時再搭配輕量人物追蹤器。
如果運算資源有限,文章也提出更務實的做法:Live 版本可以只使用 Nemotron 3 ASR、一個 Python 對話路由器與全部快取音訊;另外用 Bolt E4B 與 Magpie 管線離線生成數百條回應,再把快取用在正式演出。這樣的取捨會犧牲部分即時生成彈性,但能換來更快的反應與更穩定的現場表現。整體來看,MonsterHouse 的價值不只在於把萬聖節道具做得有趣,而是在示範一個在地端運作的互動角色需要哪些層次:語音辨識、小型語言模型、低秩適配、零樣本語音、臉部動畫、視覺理解、狀態管理、延遲控制與多 GPU 分工。它同時也提醒,這類系統的限制往往不在單一模型,而在整體管線的同步、真實場地測試與長期維護。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。