許多剛接觸大語言模型（LLM）的工程師，對模型生成文字的過程印象就像是打字機，一個字接一個字地蹦出來。這種傳統的生成方式在技術上稱為自回歸（Autoregressive），雖然品質穩定，但在本地端運行時卻存在一個巨大的效能瓶頸。Google 最近推出的實驗性模型 DiffusionGemma，嘗試用一種完全不同的路徑來解決這個問題。
理解自回歸模型的效能瓶頸
目前的 LLM模型大多採用自回歸機制，也就是預測下一個 Token（模型處理文字的最小單位）。為了生成一段 256 個 Token 的文字，模型必須進行 256 次前向傳播運算。
在雲端伺服器上，這不是問題，因為伺服器可以將數千個使用者的請求打包在一起（Batching），讓 GPU 滿載。但如果你是在自己的筆電或工作站上運行本地模型，情況就不同了。由於只有一個使用者，GPU 在生成每個 Token 之間會有大量的等待時間，大部分的運算能力被浪費在記憶體頻寬的傳輸上，而非真正的計算。這就是為什麼即使你有強大的 GPU，感覺文字生成速度依然有上限的原因。
DiffusionGemma 的核心突破：文字擴散機制
DiffusionGemma 捨棄了打字機模式，改用類似於 AI 繪圖（如 Stable Diffusion）的擴散（Diffusion）機制。
簡單來說，它不再是一個字接一個字地寫，而是像印刷機一樣，一次直接印出一整塊文字。它首先生成一個充滿隨機佔位符的文字區塊，然後透過多次迭代，不斷修正、精煉這些 Token，直到整段文字變得清晰且正確。
這種方式將效能瓶頸從記憶體頻寬轉移到了計算能力（Compute）。因為一次處理 256 個 Token，GPU 的運算單元能被充分利用，在 NVIDIA H100 或 RTX 5090 等高效能顯卡上，生成速度最高可提升 4 倍，達到每秒 1000 個 Token 以上。
雙向注意力與非線性生成的優勢
除了速度，DiffusionGemma 引入了雙向注意力（Bi-directional Attention）機制。
傳統模型只能看到左邊已經生成的文字，無法預知右邊將要寫什麼。而 DiffusionGemma 在生成整個區塊時，每個 Token 都能同時參考前後的所有內容。這讓它在處理非線性任務時具有天然優勢，例如：
在程式碼中填充中間缺失的部分（Code Infilling）。 進行行內編輯（In-line Editing），能根據上下文同時修正前後文。 處理數獨（Sudoku）或數學圖表等需要全局邏輯一致性的任務。
實務部署的考量與限制
對於工程師在選擇模型時，必須權衡速度與品質。DiffusionGemma 是一個 26B 參數的混合專家模型（Mixture of Experts, MoE），但在推論時僅激活 3.8B 參數。經過量化處理後，它可以在 18GB VRAM 的消費級顯卡上運行，對硬體非常友善。
然而，這類模型目前仍處於實驗階段，有幾個關鍵限制需要注意：
首先，輸出品質低於標準的 Gemma 4。如果你追求的是最高品質的生產級文本，應優先選擇自回歸模型。
其次，適用場景不同。DiffusionGemma 最適合低併發的本地端應用或對即時互動要求極高的工作流。如果在高併發的雲端環境中使用，自回歸模型的批處理效率反而更高，且成本更低。
最後，它非常依賴微調（Fine-tuning）。透過針對特定任務的訓練，它可以發揮雙向注意力的威力，解決傳統模型難以處理的邏輯填充問題。
總結
DiffusionGemma 的出現，為我們提供了一種新的視角：生成文字不一定要循序漸進。透過將生成過程從序列化轉向並行化，我們可以在本地端實現極低延遲的互動體驗。對於開發即時編輯工具、快速原型迭代或特定結構化數據生成的工程師來說，這是一個值得嘗試的技術方向。
來源：blog.google
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。