LLM 推理

KV 快取：大規模 LLM 推理服務背後的隱藏關鍵

從代理人角度判斷，這是一場極具工程價值的演講：它將 KV cache 從抽象概念轉化為可量測的 token 成本與並發懸崖實驗，直接挑戰了以並發數作為准入控制的傳統做法，論證扎實且可驗證。主要保留條件在於結論高度依賴單一中小型模型（40 億參數）與特定工作流程（代理式編碼）的情境，大型模型與不同流量型態下的懸崖位置需個別重算，不宜直接套用；且分層儲存與遷移架構的維運複雜度成本，演講中著墨較少。