推薦系統長期以來大多圍繞「即時興趣」運作,但真實使用者往往帶著跨越數週甚至數月的長期目標而來。Pinterest 近期公開的一項工程改動正好切中這個問題:該公司把原本以多階段聚類為基礎的用戶旅程推論系統,整個換成一個經過微調的 40 億參數語言模型,並在線上實驗中量測到電子郵件點擊率提升 1.1%、推播通知開啟率提升 1.3%,同時帶來具統計顯著性的互動與留存成長。這項案例發表於 InfoQ,對思考「LLM 能否取代傳統推薦管線中的特定環節」的團隊來說,是相當具參考價值的實際部署經驗。
Pinterest 對「旅程」的定義,是一個能跨越多次使用階段、把興趣、意圖與情境串連起來的目標。以裝修廚房為例,使用者可能先搜尋櫥櫃設計、儲存檯面靈感,之後又陸續瀏覽牆面磁磚或燈具——這些行為合起來指向一個連貫的專案,而不是幾個互不相關的興趣標籤。掌握這種長期目標,能讓推播與電子郵件內容更貼近使用者真正在意的事,而非單次瀏覽造成的雜訊。
舊系統的做法是典型的機器學習管線:先從用戶活動中抽取關鍵字,用向量嵌入(embedding,把文字轉成可供比對的數值向量)搭配階層式聚類把關鍵字分組,再為每個群集合命名,最後交給額外的模型與多樣性啟發式規則做排序。這套流程相較於更早期的興趣式通知已經有效,但存在明顯缺陷:相關的活動可能被拆散成多個各自獨立的旅程、產生的標籤過於籠統,或者把偶發的瀏覽誤判成持續性的意圖。
新系統則把旅程推論直接視為一個「生成任務」。微調後的 LLM 會讀取一份按時間排序、最多涵蓋 150 個動作、橫跨 360 天的用戶活動紀錄,搭配一份精簡的用戶側寫,然後生成一組經過排序的旅程名稱。在輸入端,搜尋與儲存行為的權重高於隨手點擊;在提示詞端,則明確要求模型考慮重複互動、時間接近性與具體程度。原本系統中許多排序與過濾邏輯,如今被搬進了提示詞本身:指示模型不要合併無關的興趣、壓抑一次性活動與雜訊多的自動標籤,並且在證據不足時允許回傳空結果。值得注意的是,Pinterest 把這些提示詞的修改視同正式的產品上線,而不是隨手可改的設定,反映出當提示詞承載了業務邏輯後,其變更風險已經等同於程式碼。
技術選型方面,Pinterest 沒有龐大的人工標註資料集可用,因此改用前沿模型從自家用戶活動紀錄生成合成訓練範例,再透過監督式微調與 LoRA(Low-Rank Adaptation,一種只訓練少量附加參數就能完成微調的高效方法)訓練較小的開源權重 Qwen3 模型。團隊實測了 0.6B 到 8B 等不同規模,最終選擇 4B 模型,原因是在推論品質與服務吞吐量之間取得最佳平衡。
要把這個模型跑在 Pinterest 的流量規模上,又是另一項工程挑戰。部署架構採用 NVIDIA Dynamo 作為前端調度層,後方接著在 L40S GPU 上運行的 vLLM 推論伺服器,並運用連續批次處理(continuous batching)、PagedAttention,以及感知字首快取的路由策略來提升效率。不過最大的一項吞吐量改善,其實來自「根本不做不必要的推論」:系統會追蹤每位用戶旅程上次產生的時間,若在過去一兩天內已經處理過就直接跳過,省下大量運算。
品質驗證則採三軌並行:人工的並排比較、由另一個 LLM 擔任評審以判斷旅程與用戶活動的相關性與支持度,再加上線上實驗。在美國與加拿大的初步 A/B 測試中,新系統相較於聚類方案交出了前述的點擊率與開啟率提升。這條路徑也與 Netflix 的方向呼應:Netflix 曾描述從會員的長期互動序列中學習,產出可被下游推薦模型重複使用的偏好表示。兩者的差異在於 Netflix 追求可重用的抽象表示,Pinterest 則生成明確的旅程描述,但共同思路是一致的——用更長期的行為歷史去豐富既有的個人化基礎設施,而不是整個推翻重來。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。