在企業導入大型語言模型（LLM）的過程中，推理成本（Inference Cost）往往成為規模化的最大障礙。許多公司在面對高吞吐量的任務時，習慣直接使用通用型 API 或標準的部署框架，卻忽略了推理成本與效能之間存在著深刻的權衡關係。根據 Doubleword 執行長 Meryem Arik 在 QCon 的分享，許多企業在推理支出上存在 2 到 5 倍的冗餘，部分極端案例甚至高出一個數量級。這主因在於其推理堆疊（Inference Stack）的設計並未與實際的業務優先級相匹配。
推理成本的優化本質上是一場關於低延遲（Low Latency）、低成本（Low Cost）與高質量（High Quality）的權衡遊戲。在大多數場景中，這三者無法同時兼得。例如，開發編碼助手或即時聊天機器人時，低延遲是核心需求，因此必須犧牲成本，採用低批次大小（Batch Size）並運行在昂貴的高階硬體上。然而，對於非即時性的工作負載，如數據處理、離線 Agent 執行、大規模摘要或合成數據生成，延遲不再是首要考量，此時將目標設定在「高品質且極低成本」的 Token 產出，便能透過調整基礎設施實現顯著的成本降幅。
硬體層級的成本優化
降低成本的第一步是從硬體選擇開始。雖然專用加速器（如 Cerebras 或 Groq）能提供極速的 Token 產出，但其單位成本極高，適合追求極低延遲的場景。對於成本敏感型任務，GPU 仍是更具經濟效益的選擇。
首先，升級至最新一代硬體（例如從 H100 遷移至 B200）通常能顯著降低成本。新一代 GPU 在保持相似延遲的前提下，能支持更多的併發請求，從而提高吞吐量並降低單個 Token 的成本。其次，更進階的技術是「異構解耦服務」（Heterogeneous Disaggregated Serving）。LLM 推理分為兩個階段：Prefill（預填充，計算密集型）與 Decode（解碼，記憶體頻寬密集型）。透過將這兩個階段分派給不同特性的 GPU 運行，可以針對計算能力（Flops）與記憶體頻寬（Bandwidth）分別尋找成本效益最高的硬體組合，雖然這會增加記憶體傳輸的延遲，但能大幅壓低總成本。
推理引擎與批次處理的藝術
在推理引擎或運行時（Runtime）層級，調整批次大小（Batch Size）是影響成本最關鍵的因素。在解碼階段，主要的成本支出在於權重與記憶體的移動，而非單個 Token 的生成計算。因此，一旦記憶體權重被載入，同時為 1 個用戶或 128 個用戶生成 Token 的邊際成本差異極小。將批次大小推至硬體極限，能最大化 GPU 利用率，從而將單個 Token 的成本壓至最低。
針對長文本（Long-context）工作負載，由於 KV Cache（鍵值快取，用於儲存先前 Token 的狀態以避免重複計算）會佔用大量記憶體，導致能承載的批次大小下降。此時可引入「投機採樣解碼」（Speculative Decoding），利用較小的模型預測多個 Token，再由大模型一次性驗證。這種方式能增加單次通過的 Token 產出量，有效彌補低批次大小帶來的效率損失。
調度策略與快取最大化
當業務允許非即時處理時，調度與編排（Scheduling and Orchestration）能提供巨大的節省空間。即時服務必須針對流量峰值（如 95 分位數）進行過度配置（Overprovisioning）以避免排隊，而離線任務則可以採取「完美配置」，讓 GPU 始終滿載運行，僅依賴隊列緩衝。
更高效的技巧是「請求重排」（Request Reordering）。在許多企業應用中，不同的任務往往共享相同的長前綴（Prefix），例如系統提示詞或背景知識庫。如果隨機處理請求，模型每次都必須重新計算這些前綴。透過將具有相同前綴的請求重新分組並集中處理，可以極大化 KV Cache 的命中率，使得大部分輸入 Token 幾乎變成免費。此外，配合「裝箱算法」（Bin Packing），將輸入與輸出長度相近的請求分在一起處理，可以避免 GPU 在等待單個超長請求完成時出現閒置，進一步提升資源利用率。
實務影響與商業價值
透過上述硬體、引擎與調度的綜合優化，輸入 Token 的價格可從每百萬 Token 35 美分降低至 1 美分以下，輸出 Token 則能降低一個數量級。在一個實際的金融服務案例中，該公司需要對 5 萬家企業進行深度研究，涉及大量輸入 Token。若使用標準 API，每週的運算成本高達數十萬美元，導致該專案在經濟上不可行。但在切換至自託管的批次優化架構後，成本降至 1.3 萬美元，直接將原本不可行的業務轉化為可行的商業模式。
值得注意的是，降低 Token 成本往往不會直接導致總預算下降，反而會激發更多潛在的應用場景。當成本不再是障礙，企業會傾向於將 AI 應用從 5 萬個對象擴展到 25 萬個對象，從而創造更高的業務價值。總結來說，優化 LLM 推理成本的核心在於精準定義業務對延遲的容忍度，並在基礎設施的每一層級將這種容忍度轉化為經濟效益。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。