Project Genie 的核心定位是一個通用世界模型 World Model。對於工程師來說,世界模型與一般的生成式 AI 不同,它不只是產出一段文字或一張圖片,而是要模擬一個具有物理邏輯、可互動的環境。簡單來說,它能將靜態的視覺資訊轉化為一個可以被 AI 代理人 Agent 或機器人進行導航與互動的虛擬空間。這種能力在自動駕駛或機器人學習中至關重要,因為它能提供低成本且高安全性的模擬環境,讓 AI 在進入真實世界前先在虛擬空間中學習如何推理與應對複雜狀況。
將 Street View 整合進 Project Genie 的關鍵在於影像對齊與接地 Maps Imagery Grounding。所謂的接地 Grounding,是指將 AI 生成的虛擬內容與現實世界的真實座標或特徵綁定。以往的生成模型傾向於創造完全虛構的場景,但透過 Street View 的真實影像作為基礎,Genie 可以將現實世界的地理特徵作為起始點,再疊加生成式 AI 的創意風格。這意味著模型不再是隨機畫圖,而是基於真實世界的空間結構進行擴展。
在實務應用上,這種技術允許使用者選定一個真實地點,例如金門大橋,並指定一個風格主題,如海洋世界或黑白電影。此時,Genie 會分析 Street View 的空間布局,並在保持地理結構一致性的前提下,將環境材質、光影與物件替換為指定風格。對於開發者而言,這不僅是視覺上的變換,更是將真實世界的拓樸結構轉化為可互動環境的嘗試。
目前這項功能已整合進 Project Genie 的實驗性原型中,並逐步開放給 Google AI Ultra 的訂閱用戶。雖然目前主要支援美國地區,但其技術路徑展示了如何將海量的地理資訊數據集轉化為 AI 訓練的模擬場景。
然而,作為一個研究原型,這項技術仍面臨挑戰。生成式世界模型在處理極高精確度的物理碰撞或長期記憶的一致性上仍有進步空間。目前的目標是讓生成出的環境在視覺上更銳利,且在空間邏輯上更準確,以確保 AI 代理人在其中學習到的經驗能有效遷移到現實世界。
來源:blog.google
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。