在數位藝術的開發中，如何讓使用者在螢幕上感受到真實的物質觸感，以及如何讓工具不再只是冰冷的介面而是具有互動感的對象，一直是工程師與藝術家共同挑戰的課題。Google Arts & Culture Lab 最近推出的 Splash Canvas 實驗計畫，提供了一個極佳的實作範例，展示了如何將流體物理模擬、局部 AI 模型與大型語言模型（LLM LLM）結合，打造出一個具有感官反饋的數位繪畫體驗。
從技術實作的角度來看，Splash Canvas 並非單純的繪圖軟體，而是一個多模態（Multimodal）的互動系統。所謂多模態，是指系統能同時處理與產生不同類型的資料，例如視覺上的色彩流動、聽覺上的合成音效，以及文字形式的對話。
核心物理模擬與局部 AI
要讓數位油漆在螢幕上看起來像真實液體，開發者 David Li 採用了流體模擬（Fluid Simulator）技術。在傳統的繪圖軟體中，筆觸通常是靜態的像素填充，但在此實驗中，油漆的擴散與混合是基於物理規則計算的。
為了在瀏覽器端實現高效能的流體效果，該計畫引入了神經元細胞自動機（Neural Cellular Automata, NCA）。這是一種局部 AI 技術，透過定義每個像素（細胞）與周圍鄰近像素的互動規則，讓複雜的圖案或液體流動能以去中心化的方式自動演化。這種做法比起全域的物理計算更省資源，能讓使用者在網頁瀏覽器中就能體驗到即時且流暢的色彩暈染與混合效果。
生成式 AI 的角色與人格化設計
除了視覺效果，Splash Canvas 將筆刷設計成具有個性的海洋生物。這裡引入了 Google 的 Gemini 與 Chirp 模型。Gemini 負責處理對話邏輯，讓這些海洋生物能扮演藝術評論家的角色，根據使用者的繪畫行為提供即時的評論或分享藝術史知識。
這種設計解決了數位創作中常見的孤單感。透過將 AI 整合進工具本身，AI 不再是一個獨立的對話視窗，而成了創作過程的一部分。而 Chirp 則用於處理音訊合成，將使用者的筆觸動作即時轉換為對應的合成音效，強化了感官上的反饋，讓使用者在視覺之外也能透過聽覺感受到油漆的厚度與流動感。
從工程實務看其重要性
對於開發者而言，Splash Canvas 的重要性在於它證明了 AI 的應用場景可以從單純的問答，轉向與物理模擬結合的互動體驗。它將 AI 分層運用：底層使用 NCA 處理高頻率的物理視覺更新，上層使用 Gemini 處理低頻率但高複雜度的對話邏輯。
這種分層架構確保了系統在維持高性能運算的同時，依然能提供深度的情感互動。這類實驗為未來的創意工具開發提供了方向，即如何將生成式 AI 轉化為具有情境意識（Context-aware）的輔助工具，而非僅僅是生成內容的機器。
來源：blog.google
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。