視覺搜尋的演進史：從圖文並茂的 25 年
對於剛接觸搜尋引擎技術的工程師來說，我們習慣將搜尋視為在資料庫中比對關鍵字。但 Google 視覺搜尋的發展史，實際上是一場將非結構化的影像數據，逐步轉化為可計算、可理解之語義特徵的技術長征。從 2001 年的簡單圖片索引到如今的 AI 多模態理解，其核心目標始終在於縮短使用者心中想像與實際搜尋結果之間的距離。
第一階段：從文字索引到視覺相似度
早期的 Google Images 僅僅是將圖片與網頁上的文字標籤掛鉤。如果你搜尋一件衣服，系統是根據網頁標題或替代文字來找圖。但這種方式極其依賴標記的準確性。
為了突破這個限制，Google 在 2009 年推出了相似圖片功能，並在 2011 年推出以圖搜圖。這在技術上意味著搜尋邏輯從文字比對轉向了視覺特徵提取。系統不再僅僅看標籤，而是分析圖片的色彩、構圖與形狀等特徵向量，讓使用者能透過視覺特徵直接在海量圖片中定位相似對象。
第二階段：行動端與即時環境的整合
隨著智慧型手機普及，搜尋的場景從電腦螢幕移到了現實世界。Google Lens 的出現將視覺搜尋定義為一種即時的環境感知工具。
這不僅是相機功能的整合，更是將電腦視覺與實時處理結合。2022 年推出的多模態搜尋（Multisearch）是一個關鍵轉折點。所謂多模態（Multimodal），是指系統能同時處理不同類型的輸入數據（例如同時接收一張照片與一段文字描述）。這解決了單純以圖搜圖無法表達精確需求的問題，例如你拍一張桌子的照片並輸入咖啡桌，系統能理解你想要的是同風格但不同功能的產品。
第三階段：AI 驅動的深度推理與生成
進入 2024 年後，視覺搜尋進入了生成式 AI 與深度推理時代。目前的技術核心在於將影像理解從單一對象識別，提升到對整個場景的語義分析。
一個值得注意的技術概念是視覺影像扇出（Visual Image Fan-out）。傳統搜尋是將一張圖視為一個查詢項，而扇出技術會將單張圖片分解為數十個子查詢。舉例來說，當你拍一張客廳照片時，AI 會自動將其拆解為沙發、燈具、牆面顏色等多個元素分別分析，從而理解完整的視覺脈絡，而非僅僅識別出最顯眼的物體。
這種能力進一步延伸到了 Circle to Search 的多對象識別，讓使用者能一次性分析畫面中多件物品，並將其轉化為可購買或可查詢的資訊。
從發現到創造：視覺搜尋的新邊界
目前的視覺搜尋已不再滿足於在既有網頁中尋找圖片，而是開始進入生成領域。透過將影像生成模型（如 Nano Banana）直接整合進 AI Overviews 中，搜尋引擎能夠在找不到現成圖片時，根據使用者的文字描述從零開始生成高品質的自定義視覺內容。
回顧這 25 年，視覺搜尋的路徑非常清晰：先是建立索引，接著提取特徵，隨後實現多模態融合，最後達到場景級的語義理解與內容生成。對於開發者而言，這證明了搜尋的本質正在從查詢關鍵字，轉變為對現實世界視覺邏輯的數位模擬。
來源：blog.google
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。