在建構 RAG（Retrieval-Augmented Generation，檢索增強生成）系統時，許多工程師的第一直覺是使用向量資料庫（Vector Database）進行語義搜尋。然而，在實際生產環境中，你會發現單純依賴向量搜尋經常會出現令人困惑的錯誤。例如，當使用者搜尋「如何啟動 payment_v2 功能旗標」時，系統卻回傳了「如何關閉啟 payment_v2 功能旗標」的指南。
這種現象並非因為你的 Embedding 模型不夠強，而是因為向量搜尋的本質就是一種近似引擎（Approximation Engine）。
向量搜尋的盲點：語義相似不等於精確匹配
向量搜尋的核心是將文字轉換為高維空間中的向量（Embedding），其強項在於捕捉語義上的相似性。例如，「功能旗標」、「開關」、「配置切換」在向量空間中會聚集在一起，這讓系統能處理概念性的查詢。
但問題在於，對於工程實務中至關重要的精確識別符（Identifiers），如版本號（v3.2 vs v3.1）、錯誤碼（ERR_TIMEOUT vs ERR_REJECTED）或特定的功能旗標名稱，向量模型往往會將它們視為高度相似。在模型眼中，「啟動」與「關閉」這兩個詞在相同的上下文環境中，產生的向量差異極小。
因此，當檢索階段將 Top-K 個最相似的片段交給 LLM 時，如果錯誤的片段排在正確片段之前，LLM 即使能力再強，也極容易被誤導而產生自信的錯誤回答。
理解三類查詢需求
要解決這個問題，我們必須意識到使用者在搜尋時，其實在下三種不同類型的查詢：
第一類是語義查詢（Semantic Queries）。例如「當區域失效時的協定是什麼？」。使用者在找的是一個概念，不需要字面完全匹配。這類查詢是向量搜尋的強項。
第二類是精確匹配查詢（Exact-Match Queries）。例如直接貼上錯誤碼「ERR_PAYMENT_GATEWAY_TIMEOUT」。使用者需要的是完全一致的識別碼，此時語義相似反而會造成干擾（例如回傳其他相似的錯誤碼）。這類查詢是傳統關鍵字搜尋的強項。
第三類是混合查詢（Hybrid Queries）。例如「v3.2 版本的部署回滾指南」。這需要同時滿足語義理解（回滾指南）與精確匹配（v3.2）。在生產環境中，絕大多數的查詢都屬於這一類。
引入 BM25 補足精確度
為了彌補向量搜尋的不足，我們需要引入 BM25（Best Matching 25）。這是一種經典的概率排名函數，也是 Elasticsearch 等搜尋引擎的核心算法。BM25 透過三個機制解決精確度問題：
首先是逆文檔頻率（IDF）。它會給予罕見詞（如 v3.2 或特定的錯誤碼）更高的權重，而降低常見詞（如 service 或 deployment）的權重。這讓區分度高的關鍵詞能決定排名。
其次是詞頻飽和（TF Saturation）。它防止某些詞彙在文中出現過多而導致分數無限飆高，避免被刻意堆砌關鍵字的文檔欺騙。
最後是文檔長度正規化（Length Normalization）。它會根據文檔長度調整分數，防止較長的文檔僅僅因為包含更多單字而排在前面。
混合檢索的實作：RRF 排名融合
有了向量搜尋（捕捉意義）和 BM25（捕捉精確詞彙）兩套系統後，最大的挑戰是如何將兩者截然不同的分數合併。向量搜尋的分數通常在 -1 到 1 之間，而 BM25 的分數則是無界的。
解決方案是使用 RRF（Reciprocal Rank Fusion，倒數排名融合）。RRF 完全無視原始分數，僅根據文檔在各自列表中的排名（Rank）來計算最終得分。
其邏輯簡單且強大：如果一個文檔在兩種檢索方式中都排名前列，它將獲得最高的融合得分。這種機制獎勵的是共識（Consensus）。即使其中一個檢索器對該文檔的信心不足，只要另一個檢索器將其排在頂端，該文檔仍有機會被選中，從而有效平衡了語義與精確度的需求。
生產環境的完整檢索管線
一個成熟的生產級 RAG 檢索管線通常分為三個層次：
第一層是並行檢索。同時執行 BM25 和向量搜尋。
第二層是融合排名。使用 RRF 將兩者的結果合併，篩選出前 20 到 50 個候選片段。
第三層是重排序（Reranking）。使用 Cross-Encoder（交叉編碼器）對小規模的候選集進行精細排序。不同於 Bi-Encoder（向量模型）獨立處理查詢與文檔，Cross-Encoder 會將查詢與文檔成對輸入模型，進行 token 層級的深度交互分析。雖然計算成本高，但對小規模候選集的排序精度極高，能顯著提升最終交給 LLM 的上下文質量。
總結
向量 Embedding 是強大的近似工具，但它不能取代精確匹配。在設計 RAG 系統時，不要試圖透過更換更好的 Embedding 模型來解決精確度問題，而應從架構上採取混合檢索策略：BM25 負責精確度，向量搜尋負責泛化能力，RRF 負責融合，Cross-Encoder 負責最後的精準把關。
來源：infoq.com
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。