Google Photos 近期推出的 Video Remix 功能,本質上是將生成式 AI 整合進日常相簿管理工具中,旨在解決一般使用者在影片剪輯時面臨的技術門檻。對於工程師來說,這項功能的重點不在於簡單的濾鏡,而是在於後端如何利用 Gemini Omni 這種多模態模型,將複雜的複雜影像處理流程轉化為直覺的模板操作。
所謂的 Gemini Omni,是指 Google 開發的一種多模態大模型(Multimodal Model)。這類模型之所以重要,是因為它能同時理解文字、影像與聲音,而不需要將這些資訊拆分成多個獨立的處理模組。在 Video Remix 的應用場景中,模型必須先分析影片的內容(例如辨識出主體與背景),才能精準地執行後續的視覺轉換,這比傳統基於像素運算的濾鏡要複雜得多。
在實務應用上,Video Remix 提供了三種核心的影像處理方向。首先是電影級重新打光(Cinematic Relighting),這解決了影片拍攝時光線不足或方向錯誤的痛點,透過 AI 推論出場景的深度資訊,重新模擬光影分佈。其次是背景替換(Background Swap),這涉及到精準的影像分割(Image Segmentation)技術,將主體從背景中分離並填補缺失部分。最後是藝術風格化(Artistic Treatments),例如將影片轉化為水彩或油畫風格,這通常是利用風格遷移(Style Transfer)技術,將特定藝術作品的特徵映射到原影片的每一幀畫面中。
這類功能的設計邏輯是將 Create 標籤頁作為創意中心,讓使用者透過預設模板快速觸發後端的 AI 運算,而非讓使用者面對複雜的參數調整。這反映了目前 AI 產品的趨勢:將底層複雜的生成式模型(Generative AI)封裝成簡單的指令或模板,讓非專業使用者也能在秒級時間內完成原本需要專業剪輯軟體才能達成的效果。
目前該功能優先提供給 Google AI Plus、Pro 與 Ultra 的訂閱用戶,這也顯示出高品質的 AI 影片處理需要極高的運算資源(Compute Resources),因此在部署上採取分階段開放的策略。
來源:blog.google
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。