在現代推薦系統與搜索架構中，向量搜索（Vector Search）是實現精準內容匹配的核心。Pinterest 作為一個視覺發現平台，其核心體驗如首頁饋送、搜索、相關圖文推薦、廣告以及通知系統，都極度依賴於其分佈式搜索平台 Manas。隨著平台處理的數據量迅速增長至數百億個 Embedding（嵌入向量，即將圖片或文字轉換為高維空間座標的數值表示），傳統的向量索引技術在面臨超大規模數據時，會遇到極高的硬體成本與基礎設施靈活性挑戰。
背景與記憶體壓力
Pinterest 最初大量使用 HNSW（Hierarchical Navigable Small World，分層可導航小世界算法）來實現近似最近鄰搜索（ANN）。HNSW 是一種基於圖結構的索引方式，能提供極高的查詢速度與召回率（Recall，指搜索結果中包含真正相關項目的比例），但其致命缺陷在於極其消耗記憶體，因為整個圖索引必須常駐於 RAM 中才能保證低延遲。當索引規模達到數十億甚至百億級別時，維持全記憶體索引的成本將變得不可承受，且硬體分配的壓力會限制系統的擴展能力。為了在維持性能的同時降低成本，Pinterest 工程團隊開始探索量化技術與基於 SSD 的存儲方案。
量化技術的權衡與實踐
為了縮減記憶體占用，Pinterest 引入了兩種量化技術：標量量化（Scalar Quantization, SQ）與乘積量化（Product Quantization, PQ）。量化（Quantization）的本質是將高精度的浮點數向量壓縮為低位元的表示形式，以減少儲存空間。
乘積量化（PQ）將原始向量切分為多個子向量，並將每個子向量映射到一個緊湊的位元碼（Byte codes）。這種方式壓縮率極高，在 GraphSage 數據集測試中，PQ 能將 HNSW 索引的大小縮減 74%，將倒排文件索引（IVF）縮減 93%。然而，這種高度壓縮會導致精度損失，其召回率僅落在 70% 到 80% 之間。
標量量化（SQ）則將向量的每個分量直接轉換為低位元的整數。雖然壓縮率較低（HNSW 縮減 59%，IVF 縮減 75%），但它能穩定維持 90% 以上的召回率。在實際基準測試中，原本 121 GB 的 HNSW 索引在採用 SQ 後可降至 50 GB，且召回率幾乎沒有明顯下降（從 93.72% 降至 92.92%）。
為了克服量化後在計算距離時需要解碼所帶來的 CPU 瓶頸，Pinterest 實作了基於 SIMD（Single Instruction, Multiple Data，單指令多數據流）指令集的線性縮放 SQ 技術，成功將查詢所需的計算資源降低了 10% 到 15%。在生產環境中，這些量化方案最終為服務成本節省了 20% 到 30%。
從記憶體轉移至 SSD 存儲
即便使用了量化，面對百億級向量，完全依賴 RAM 依然不切實際。Pinterest 評估了 DiskANN 與 SPANN 兩種基於 SSD 的索引方案。這類技術的核心在於將大部分索引數據存放在高吞吐量的 SSD 中，而僅在記憶體中保留少量的元數據。
評估結果顯示，SPANN 結合 PQ 量化後的表現遠優於 DiskANN。SPANN 的運作方式是在記憶體中維護一個小型且快速的質心索引（Centroid Index）用以定位相關分區，而將龐大的發佈列表（Posting lists）存儲在 SSD 上。這種架構優化了 IOPS（每秒輸入輸出操作數），使 SPANN 的查詢速度（QPS）達到 DiskANN 的三倍，且延遲僅為其三分之一，而召回率僅下降約 5%。在處理超過 50 億個 Embedding 的推薦場景中，相較於全記憶體 HNSW，SPANN 為生產環境查詢節省了超過 40% 的 CPU 時間。
邁向多向量與晚期交互模型
在解決存儲與性能問題後，Pinterest 進一步挑戰單向量雙塔模型（Two-tower models）的表達力限制。傳統模型將整個對象壓縮為單個向量，容易遺失細節。因此，Pinterest 正在轉向 ColBERT 等晚期交互（Late Interaction）模型。
晚期交互模型允許使用多向量表示，並透過 Sum of MaxSim（最大相似度之和）評分機制，在 Token（文本或圖像的最小單位）層級進行更精細的相關性匹配。為了支持這一點，Manas 平台對查詢解析器進行了升級，使其能將多 Token 查詢分解為多個向量 Embedding，並在索引中同步執行多次近似最近鄰搜索。目前該功能已在內部客戶團隊中啟動試行，旨在提升生產環境中複雜查詢的精準度。
技術演進的實務意義
Pinterest 的這次技術迭代展示了在大規模向量檢索中，性能、成本與精度之間的三方權衡。從 HNSW 到 SQ/PQ 量化，再到 SPANN 的 SSD 存儲，其核心邏輯是將數據由高成本的 RAM 逐步下移至低成本的 SSD，並利用量化與 SIMD 加速來抵消性能損失。而向多向量模型的轉型，則標誌著系統從單純的「高效檢索」向「高精細度匹配」演進。這套方案為處理百億級數據量的推薦系統提供了一套可行的路徑：先透過量化降低記憶體壓力，再透過分層存儲突破硬件極限，最後透過模型升級提升用戶體驗。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。