對於許多開發者或初級工程師來說，當我們提到 NLP 模型時，直覺往往會想到像 GPT 這樣能對話的生成式模型（Decoder-only）。但在實際的工業生產環境中，我們經常需要的是「理解」而非「生成」。例如：判斷這封郵件的意圖是什麼（意圖路由）、檢查合約中是否包含違規條款（政策稽核）或偵測個資（PII 偵測）。這類任務最適合使用 Encoder 模型。
傳統上，BERT 是這類模型的標竿，而近期 ModernBERT 則將效能推向新高。然而，當輸入的文本變得非常長時，大多數模型在 CPU 上的推論速度會劇烈下降。Liquid AI 推出的 LFM2.5-Encoder 系列（包含 230M 與 350M 兩種尺寸）正是為了解決這個痛點，讓開發者能在不需要昂貴 GPU 的情況下，在普通 CPU 上高效處理長達 8,192 個 token 的文本。
什麼是 Encoder 模型及其核心價值
簡單來說，Encoder（編碼器）的作用是將一段文字轉換成一個高維度的向量（Vector），這個向量捕捉了文字的語義特徵。與生成式模型（Decoder）一次只預測下一個字不同，Encoder 是雙向的，它會同時參考字詞的前後文來理解含義。
這種架構在實務上非常重要，因為它比生成式 LLM 更小、更快且成本更低。如果你只需要對文本進行分類或標記，使用微調後的 Encoder 模型會比呼叫大型 LLM API 便宜且快速得多。
LFM2.5-Encoder 的技術突破與設計
LFM2.5-Encoder 並非從零開始，而是基於 LFM2 的 Decoder 骨幹改造而來。為了將其轉化為高效的雙向編碼器，開發團隊做了三項關鍵調整：
第一是導入雙向注意力遮罩（Bidirectional Attention Mask）。原先的 Decoder 只能看到之前的字，而 Encoder 則被允許看到左右兩邊的所有 token，這讓模型能更全面地理解上下文。
第二是使用非因果短卷積（Non-causal Short Convolutions）。透過對稱填充（Symmetric Padding），讓每個 token 在進行卷積運算時能同時融合鄰近左右兩側的資訊。
第三是採用遮蔽語言模型（Masked Language Modeling, MLM）訓練。在訓練過程中，模型會隨機遮住 30% 的 token，並嘗試預測這些被遮住的內容，藉此強迫模型學習深層的語言結構。
此外，模型經過兩階段訓練：先在 1,024 token 的短文本上建立基礎語言能力，再擴展至 8,192 token 的長文本訓練，以強化對法律文件、事實陳述及多國語言的處理能力。
實務效能：為什麼 CPU 推論速度至關重要
在生產環境中，並非所有服務都能配置 GPU。許多背景任務（Background Jobs）運行在 CPU 伺服器上。LFM2.5-Encoder 的最大優勢在於其推論延遲隨文本長度增加而增長的幅度非常緩慢。
對比測試顯示，在處理 8,192 個 token 的極端長文本時，LFM2.5-Encoder-230M 在 CPU 上的推論時間約為 28 秒，而 ModernBERT-base 則需要超過 90 秒。這意味著 LFM2.5 在長文本場景下約快了 3.7 倍。
對於工程師而言，這意味著你可以在一般的筆記型電腦 CPU 上，在 30 秒內完成一份完整合約或長篇對話紀錄的分類與掃描，而不需要擔心記憶體崩潰或等待過久。
如何選擇適合的模型尺寸
LFM2.5-Encoder 提供了兩種版本，選擇邏輯如下：
如果你追求極致的準確率，且硬體資源相對充足，請選擇 LFM2.5-Encoder-350M。它在多項基準測試中表現優異，甚至能與規模大上 10 倍的模型競爭。
如果你對吞吐量（Throughput）有高要求，或者運行在極低配置的硬體上，請選擇 LFM2.5-Encoder-230M。它在維持高效率的同時，依然能擊敗許多較大的模型。
應用場景與實作建議
這類模型最適合用於高流量、需低成本且對延遲敏感的理解任務。具體應用包括：
零樣本意圖路由（Zero-shot Prompt Routing）：將使用者的輸入快速分流到不同的處理路徑。 政策稽核（Policy Linting）：檢查文本是否符合公司內部規範。 個資偵測（PII Detection）：在多國語言文本中快速定位並移除敏感個資。 拼字檢查與標記：在 token 層級進行精準的錯誤修正。
在實作上，開發者可以直接透過 Hugging Face 的 transformers 庫載入模型。由於基礎模型提供的是通用表示法，建議針對特定任務進行微調（Fine-tuning），以獲得最佳的分類或提取效果。
來源：huggingface.co (Liquid AI Blog)
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。