在部署大型語言模型（LLM）的實際應用場景中，系統提示詞（System Prompt）扮演著至關重要的角色。它定義了模型的行為準則、知識背景以及輸出格式。然而，隨著應用複雜度的增加，系統提示詞往往變得極其冗長，這直接導致了推理成本的上升與延遲的增加。當模型每次請求都必須處理數千個標記（Tokens）的背景資訊時，伺服器端需要消耗大量的計算資源，且使用者感知到的首個標記生成時間（TTFT, Time to First Token）會明顯增加。
為了克服這個效能瓶頸，Shopify 工程團隊引入了一項名為 Gisting 的技術。這是一種將冗長的系統提示詞壓縮為一組較小且經過學習的 Gist Tokens（精華標記）的方法。與傳統的文字摘要不同，Gisting 並非將提示詞簡化為人類可讀的短文，而是將其轉換為模型能理解的向量表示，從而大幅提升吞吐量並降低基礎設施的運行成本。
Gisting 的核心運作機制基於 2022 年的一項研究，旨在透過學習將長文本的語義壓縮進少數幾個特殊的標記中。這個過程分為兩個主要階段：老師階段（Teacher Pass）與學生階段（Student Pass）。在老師階段中，模型使用完整的原始提示詞來生成回應，並記錄下其輸出概率分佈，即 Teacher Logits。接著在學生階段中，模型則使用一組可學習的 Gist Tokens 作為輸入來嘗試生成相同回應，產出 Student Logits。
訓練的目標是最小化這兩組 Logits 之間的 KL 散度（KL Divergence），這是一種衡量兩個概率分佈差異的統計指標。簡單來說，訓練過程會不斷調整 Gist Tokens 的向量值，直到模型在看到這幾個精華標記時，其反應與看到完整長篇提示詞時幾乎完全一致。一旦訓練完成，這些 Gist Tokens 的嵌入向量（Embeddings）會被直接寫入模型的嵌入矩陣中，並在分詞器（Tokenizer）中註冊為特殊標記。在實際推理時，模型僅需讀取這少數幾個標記即可進入工作狀態，無需額外的編碼器或特殊的注意力掩碼（Attention Mask），維持了原生的推理路徑。
這種技術在實務上帶來了顯著的效能提升。以 Shopify 的 Sidekick GraphQL 代理程式為例，該系統的提示詞原本約為 6000 個標記，經過 Gisting 處理後被壓縮至 1500 個精華標記，實現了 4 比 1 的壓縮率，且並未犧牲預測品質。在每分鐘 350 次請求（RPM）的壓力測試下，首個標記生成時間（TTFT）從 438 毫秒下降至 354 毫秒，端到端（End-to-End）的請求延遲則從 6.8 秒大幅縮減至 4.2 秒。同時，每秒查詢數（QPS）從 20.2 提升至 23.4，這使得工程團隊能夠減少分配的 GPU 數量，直接降低硬體成本。
值得注意的是，Gisting 並非獨立的優化方案，而是能與其他技術產生協同效應。例如，許多公司會使用前綴快取（Prefix Caching），這項技術能避免對重複的提示詞序列重新計算 KV 張量（KV Tensors，即模型在處理序列時儲存的鍵值對快取）。然而，即便有快取，模型在解碼階段仍需處理這些快取張量。Gisting 則從根本上減少了輸入序列的長度，將長提示詞替換為極短的精華標記，進而進一步降低解碼時的開銷。
儘管 Gisting 提供了顯著的效能增益，但其限制在於需要額外的訓練過程來生成這些特殊標記。這意味著每當系統提示詞發生重大變更時，可能需要重新進行老師與學生的對比學習訓練，而非像修改純文字提示詞那樣即時生效。然而，對於那些系統提示詞相對穩定且請求量巨大的企業級應用而言，用一次性的訓練成本換取長期的推理效能提升與硬體成本降低，具有極高的實務價值。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。