背景與問題
在檢索增強生成(Retrieval-Augmented Generation,RAG,一種先把相關資料找出來再交給大型語言模型回答的架构)的實際部署中,向量嵌入模型(embedding model)負責把各種資料轉成可比較的數值向量,可說是整條管線的地基。過去這類模型多以文字為主,若要處理圖片、影片、音訊或程式碼,開發者通常得為每一種媒介各自維護一套互不相通的向量空間,再自行設計融合策略,工程成本相當高。此外,許多場景希望把檢索直接跑在手機或筆電等消費級硬體上,避免資料上傳到雲端,這又對模型體積與推論延遲提出嚴格要求。
Google 於 2026 年 10 月 19 日透過 InfoQ 宣布的 EmbeddingGemma 2,正是針對上述痛點提出的解方。這是一款體積緊湊、開放權重(open-weight,代表權重檔案公開可下載)的多模態嵌入模型,基於 Gemma 4 開發並採用 Apache 2.0 授權條款發布,目前已可在 Hugging Face 上取得。它延續了第一代 EmbeddingGemma 的定位,也就是針對離線與重視隱私的使用情境,例如在本地搜尋個人檔案、搭配 Gemma 3n 在手機上執行 RAG 管線,或建置特定領域的聊天機器人,同時把能力從純文字擴展到更多媒介。
核心內容:統一的 768 維向量空間
EmbeddingGemma 2 最關鍵的設計,是把文字、程式碼、圖像、影片與音訊統一映射到同一個 768 維的嵌入空間中。這代表來自不同媒介的向量佔據相同的維度空間,可以直接計算語意相似度並互相比較。對開發者而言,最直接的好處是不必再為不同媒體類型維護各自獨立、彼此不相容的向量庫,一套檢索系統就能同時處理跨媒介的查詢。具體來說,系統可以根據一段文字查詢,找出相關的文件、螢幕截圖或會議錄音;可以用自然語言搜尋程式碼庫;也可以用文字描述去檢索影片內容。
在部署彈性上,模型允許開發者只載入應用真正需要的編碼器(encoder,負責把某種媒介轉成向量的模組)。純文字與程式碼場景大約需要 2.7 億參數,若要啟用完整的多模態支援則為 7.4 億參數。這種模組化的設計讓端上裝置能依自身算力與儲存條件選擇合适的配置,而不必為用不到的模組付出代價。Google 表示,相較於第一代,EmbeddingGemma 2 在程式碼搜尋與技術文件檢索上有顯著提升,特別適合用來建立本地程式碼庫索引,以及代理式(agentic)程式碼搜尋——也就是由 AI 代理自主決定搜尋策略、反覆查詢程式碼的應用方式。
技術細節:MRL 縮減與實際取捨
模型支援 Matryoshka Representation Learning(MRL,一種讓向量「可任意截斷」的訓練技巧)。其原理是把最重要的語意資訊集中在向量開頭的維度,因此使用者可以先把 768 維向量截短成較短的單位長度向量再儲存,以降低儲存空間與搜尋成本。以實際數字為例,用 bfloat16 精度儲存 100 萬筆 768 維向量約需 1.5 GB 記憶體;截短到 128 維後只需約 250 MB,空間縮減為六分之一。但截短必然伴隨檢索品質的折損。Google 公布的數據顯示,截到 128 維時,文字檢索仍能保留約 90% 的品質,但圖像、影片與語音檢索的品質會降到約 75%。因此官方建議只在儲存空間或搜尋速度確實成為瓶頸時才使用截短。
社群回饋也點出了值得注意的實務細節。有 Reddit 使用者指出,這款模型真正令人印象深刻的是把圖像與音訊嵌入同一個共享語意空間的能力,至於純文字任務上的提升則不算巨大——這與官方強調多模態與程式碼場景的宣傳重點一致,也提醒以純文字檢索為主要需求的團隊應先實測再決定是否遷移。另有使用者分享兩點容易踩雷的操作細節:其一是任務前綴(task prefix)並非可有可無,為文件建立索引時若誤用查詢用的前綴、而沒有使用文件專用的前綴格式,會明顯拉低召回率;其二是在使用 MRL 截短時,必須先切片再對較短的向量做 L2 正規化,若先在 768 維做正規化再截斷,得到的向量會偏離單位長度,影響後續相似度計算的準確性。
影響與限制
EmbeddingGemma 2 的意義在於把「一套向量空間打天下」的跨媒介檢索從研究概念推進到可在消費級硬體上運行的開放模型,加上 Apache 2.0 授權,企業在商用部署上的法規風險相對可控。對希望在本地或離線環境建置搜尋、RAG、分類與群集功能的團隊來說,它降低了跨媒介系統的架構複雜度。
限制方面也相當清楚:一是多模態完整運作需要 7.4 億參數,端上裝置的實際耗電與推論速度仍需實測;二是 MRL 截短帶來的品質折損在非文字媒介上尤其明顯,大規模截短前務必用自身資料評估召回率變化;三是模型對前綴格式與正規化順序有嚴格要求,實作上若忽略這些細節,效能可能大幅低於官方基準。整體而言,這是一款在跨媒介檢索與端上部署之間取得平衡的模型,但能否取代既有的文字嵌入方案,仍取決於具體場景的實測結果。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。