背景
當生成式 AI 成為主流話題之後，業界開始頻繁討論回饋迴圈（feedback loop）、線上學習、評估方法與在不確定性下運作系統等議題。曾任 Twitter、Walmart 與 Netflix 工程主管、長期投入搜尋與個人化基礎設施的 Mallika Rao，在 QCon AI Boston 2026 的演講中指出，這些其實是推薦系統領域早已面對多年的老問題。她在 InfoQ 發表的演講中提出一個核心觀點：打造推薦系統最困難的部分，從來不是模型本身，而是整個端到端系統如何在延遲、成本、可觀測性與實驗需求等真實限制下，持續學習、適應並演化。
Rao 將討論範圍定義為「自適應系統」（adaptive systems），也就是不只定期重新訓練模型，而是能持續攝取使用者訊號、即時納入上下文，甚至在使用者仍與產品互動的當下就調整行為的系統。傳統推薦系統靠手工規則與週期性更新運作，學習速度緩慢；而現代系統採用 embeddings（將內容與使用者轉換為向量以便計算語意相似度）、多階段檢索與即時特徵更新，反應速度以秒甚至毫秒計。這種演進帶來能力，也帶來全新的營運挑戰。
核心架構：檢索、排序、編排與回饋
一次推薦請求的完整生命週期包含：使用者抵達、檢索候選項目、排序、推論、評估結果，再把結果回饋給系統。Rao 認為，多數組織最大的錯誤是把推薦系統當成孤立的模型問題，而真正的複雜度其實出現在元件之間的協調上。
她以檢索（retrieval）為例，指出排序模型只能對已經被檢索到的候選集進行排序，如果某個項目從未進入候選集，再好的排序模型也無能為力。檢索是「廣度」問題，目標是蒐集足夠大且足夠好的候選宇宙，因此現代系統通常同時運行多種檢索策略，例如基於 embedding 的語意檢索、行為檢索、熱門度檢索、趨勢感知與上下文感知檢索，各自捕捉不同類型的訊號。許多團隊花大量力氣優化排序層，更大的機會卻可能在上游的檢索廣度與資料新鮮度。
排序（ranking）層的關鍵也不再是模型複雜度，而是訊號豐富度。現代排序系統結合行為訊號、互動訊號、會話（session）訊號、時間訊號與內容訊號，而其中最重要的差異化因素是意圖訊號：使用者在此刻想做什麼。意圖會隨時間、地點與情境快速改變，因此系統要回答的不再是「這個使用者通常喜歡什麼」，而是「這個使用者現在喜歡什麼」，這是兩個本質上不同的問題。排序之上還浮現出第三層：編排（orchestration）。一次推薦可能對個體相關，但此刻展示卻會傷害整體體驗；使用者可能需要探索、需要多樣性、或需要意外的內容。這些協調多個目標與情境的決策屬於編排層，而非排序層。
貫穿所有階段的是回饋迴圈。每次推薦、每次使用者反應都成為訓練訊號，而正向與負向結果都可能自我複利：系統可能過度收斂到狹窄路徑、變得過度保守或重複，把使用者困在局部最優解。Rao 強調這些不是模型問題，而是系統行為問題，推薦系統的失敗多半是分散式系統問題「披著機器學習的外衣」，例如資料品質、延遲、上線流程與回饋迴圈的故障。
案例與實務啟示：首頁、新鮮度與探索平衡
Rao 以大型消費應用的首頁推薦為案例。首頁必須同時優化相關性、新鮮度、多樣性、探索空間、互動率與長期滿意度，還要兼顧新使用者與資深使用者，並在數百毫秒內完成所有決策。產品、業務與個人化目標在這個有限的版面交會，使首頁成為所有組織目標衝突的落點。系統必須同時掌握使用者的長期偏好與當下意圖：使用者今天想看喜劇，明天可能想看驚悚片，本週獨自觀看，下週可能與孩子一起看。
在工程實務上，她歸納出幾個反覆出現的教訓。首先是「新鮮度勝過精緻度」：採用較新資料的簡單模型，經常勝過使用過期資料的複雜模型，因為使用者體驗到的是結果的時效性，而非後端的精巧程度，這也是許多系統轉向近即時串流架構的原因。其次是探索與利用（exploration versus exploitation）的經典拉鋸：只優化歷史互動會製造可預測但封閉的體驗，過度探索則會帶來不相關的推薦並侵蝕使用者信任，而這個平衡必須針對每個會話與情境動態調整，而非全域一體適用。
即時推論與營運現實
在延遲面向，Rao 指出次十毫秒級的推論目標很少只是模型優化問題。模型被呼叫之前，系統通常已完成候選檢索、特徵補水（hydration）、資料表連結與多個下游服務呼叫，延遲預算早已消耗大半。優化延遲應針對端到端路徑而非單一模型，且不發出的服務呼叫才是最省錢的呼叫。扇出（fan-out）是摧毀延遲最快的方式之一：一次首頁請求若分散到十個下游服務，營運複雜度與耗時都大幅增加。因此實務上大量依賴快取、非同步管線、批次處理與優雅降級，並務實區分哪些訊號必須即時、哪些可以等待。
成本方面，並非每個請求都值得用最昂貴的模型。業界逐漸採用模型分層（model tiering）的做法，例如以 CPU 上的輕量模型處理一般請求、GPU 上的複雜模型處理高價值請求，並保留備援模型以應對過載，配合漸進式品質層級。目標不是單點最大化模型品質，而是最大化整體系統品質。她同時提醒離線與線上指標之間的落差：離線儀表板一片綠燈不代表線上表現良好，因為真實的意圖與行為訊號只存在於生產路徑中，系統必須能在影響使用者之前偵測到這種偏斜。可觀測性（observability）同樣應被視為一級需求，若產品經理無法解釋為何向使用者展示某項內容，信任便會流失。
評估、組織與未來方向
Rao 認為評估（evaluation）比建模更困難，且「每個指標最終都會被操縱」。點擊率、觀看時長、停留時間都只是代理指標而非目標本身，使用者可能在體驗變差的同時互動更多。因此系統必須在多個彼此衝突的目標之間取得平衡，包括多樣性、留存、互動、新鮮度與生態系健康，而目標不是找到完美的單一指標，而是讓工程與產品團隊共同定義、共享並公開這些取捨。
她最後指出一個非技術性的關鍵：隨著系統越來越自適應，成敗越來越取決於組織對齊，而非單一元件。誰決定互動與探索之間的取捨、誰定義成功指標、誰擁有實驗，這些組織問題最終會塑造系統行為，自適應系統會放大組織既有的結構與激勵，對齊則學得快，錯位則放大錯誤。展望未來，她認為最大的轉變不在模型品質，而在於使用者希望參與推薦過程本身：表達意圖、引導與修正結果。勝出的系統未必是預測最精準的，而是能從使用者回饋中學習與演化最快的。
影響與限制
這場演講的價值在於把近年圍繞 AI 代理與線上學習的討論，放回推薦系統十餘年累積的工程紀律中重新檢視，提醒團隊延遲預算、特徵新鮮度、評估設計與組織激勵才是長期成敗所在。不過演講以架構原則與經驗觀察為主，並未提供具體的基準數據或可重現的實作細節，各項權衡的適用程度仍高度依賴產品規模、流量型態與資料基礎設施成熟度，團隊在導入時仍需依自身情境驗證。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。