大語言模型（LLM）在生成文字時，最令人詬病的往往不是計算速度，而是生成速度過慢。對於工程師來說，理解這個問題的核心在於記憶體頻寬瓶頸（Memory-Bandwidth Bottleneck）。在傳統的推論過程中，模型每產生一個 Token（文字單位），處理器就必須將數十億個參數從視訊隨機存取記憶體（VRAM）搬運到計算單元中。這種不斷重複的數據搬運導致了極高的延遲，且讓強大的計算資源在等待數據時處於閒置狀態。
更低效的地方在於，模型無論是在處理簡單的日常對話，還是在解決複雜的邏輯難題，每次預測單個 Token 所消耗的計算量幾乎是一樣的。這意味著我們在處理簡單內容時，浪費了大量的計算資源。
為了解決這個問題，Gemma 4 引入了多 Token 預測（Multi-Token Prediction, MTP）技術。這是一種基於投機解碼（Speculative Decoding）的優化方案。簡單來說，它不再讓笨重的主模型單獨地一個接一個預測 Token，而是為其配備一個輕量級的輔助模型，稱為草稿模型（Drafter）。
多 Token 預測的工作流程
在實際運作時，輕量級的草稿模型會利用主模型閒置的計算資源，快速地一次性預測出接下來的數個 Token。由於草稿模型體積小、速度快，它生成多個 Token 所花的時間，甚至比主模型生成單個 Token 的時間還要短。
接著，主模型會一次性對這些由草稿模型提出的建議進行並行驗證。如果主模型認為這些預測是正確的，就可以一次性採納多個 Token；如果發現錯誤，則修正後重新開始。因為最終的決定權仍在主模型手中，因此這種方法能在不犧牲回答品質與推理精準度的前提下，將推論速度提升至最高約 3 倍。
實務上的挑戰與技術突破
對於在本地端部署模型的工程師來說，投機解碼通常有一個巨大的痛點：記憶體開銷。因為你必須在記憶體中同時載入主模型與草稿模型，這對消費級 GPU 來說壓力很大。
Gemma 4 的關鍵改進在於，其草稿模型與主模型共享 KV 快取（KV Cache）。KV 快取是模型用來儲存先前對話上下文的記憶機制，讓模型不需要每次都重新計算之前的內容。透過共享 KV 快取，Gemma 4 顯著降低了額外載入模型所帶來的記憶體開銷，讓這種技術在個人電腦、行動裝置（如 E2B 與 E4B 變體）以及消費級 GPU 上變得可行。
適用場景與限制
儘管 MTP 帶來了顯著的性能提升，但其適用場景有所區分。在行動裝置或邊緣運算（Edge Computing）等單用戶場景中，計算資源相對充足，MTP 能極大地提升回應速度與使用者體驗。
然而，對於大規模提供 API 服務的供應商來說，其效益則較有限。因為在高度併發的伺服器環境中，計算資源已經被推到極限，不再有足夠的閒置空間來運行額外的草稿模型。
總結來說，Gemma 4 的 MTP 實作將 LLM 的推論重心從單純的計算轉向對記憶體頻寬的優化。透過輕量級預測與高效驗證的協作，讓模型在保持頂尖推理能力的同時，大幅縮短了使用者等待文字產出的時間。
來源：infoq.com
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。