背景
近年大型語言模型的主流做法是把參數規模不斷放大，再透過雲端 API 提供服務，但這也帶來延遲、成本與隱私問題：資料必須離開使用者的裝置，代理（agent）型應用若要長時間運作，token 費用會持續累積。Liquid AI 在 Hugging Face 上發表的 LFM2.5-24B-A2B，就是針對這個痛點設計的模型。它是一款總參數 240 億、但每個 token 只啟動約 20 億參數的混合專家模型（Mixture of Experts, MoE），核心訴求是讓具備推理能力的代理能在使用者自己的硬體上快速、私密且可持續地運行。所謂代理，指的是模型不只回一句話，而是會先思考、規劃步驟、呼叫外部工具，再完成多步驟任務。MoE 架構的意義在於：模型內部有許多「專家」子網路，但每次推論只啟用其中一小部分，因此可以用大模型的容量換取小模型的推論成本。
架構與訓練方式
LFM2.5-24B-A2B 延續前代 LFM2-24B-A2B 的架構：共 40 層，每個 MoE 區塊含 64 個專家並採 top-4 路由，也就是每個 token 由路由機制挑選 4 個專家參與運算；同時混合使用閘控短卷積（gated short convolutions）與分組查詢注意力（GQA）兩種機制，兼顧效率與序列建模能力。相較前代有兩個重要改動：脈絡窗口從 32K 擴大到 131K token，足以處理長文件與多輪代理軌跡；分詞器則透過原地擴充把詞彙表從 65K 增加到 128K，改善非拉丁語系文字的切分效率。此外，新版本是「純推理模型」，會在給出最終答案前先輸出明確的思考鏈（chain of thought），也就是先寫下推理過程再作答。
訓練分為多個階段。預訓練規模從約 17T 擴大到約 33T token；接著是中期訓練（mid-training），先在 32K 脈絡下加入 2T token，內容偏向推理、數學、程式、指令遵循與多語文本，再以 131K 脈絡加入 3000 億 token，偏重長脈絡資料，且兩個階段都混入工具呼叫與多輪對話軌跡。後訓練則分五步把基礎模型塑造成代理：先進行監督式微調（SFT），再培養各領域的專家教師模型，接著用「多領域在策略蒸餾」（MOPD）分兩階段分別蒸餾非代理任務與代理任務的能力，最後是代理強化學習（Agentic RL），直接讓模型在 OpenClaw、Hermes Agent、Pi、OpenCode 等代理框架（agent harness，指負責排程工具呼叫與多步執行的外層程式）中實際執行任務並從結果中學習。
基準表現與取捨
官方將 LFM2.5-24B-A2B 與 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 及 Nemotron-3.5-Lightning 等 MoE 模型在 16 項基準上比較，測試統一使用 vLLM 推論框架與各基準建議的生成參數。它是對比組中參數最小的模型，但在工具使用與代理類基準上表現突出：八項相關測試中有五項領先或持平，包括 AutomationBench（27.69，對手最佳僅 8.72，差距超過三倍）、BFCLv4（65.01）、ToolSandbox（80.71）、LiveClaw（48.09，Qwen 為 38.19）與 τ³-Bench Banking，且在三項指令遵循基準（IFEval、IFBench、Multi-IF）全部領先。不過它也有明確弱點：知識密集型的 GPQA Diamond、HLE、AA-Omniscience 以及程式類的 SWE-Bench Verified、SciCode 仍由較大模型佔優。官方因此建議，面對知識密集型工作負載時應搭配檢索增強生成（RAG）或網路搜尋，而不是指望模型本身記住所有知識。
推論速度與部署生態
因為每個 token 只啟動 2B 參數，推理成本隨之降低，這對需要連續輸出長思考鏈的代理尤其關鍵。官方數據顯示，LFM2.5-24B-A2B 在 Apple M5 Max 上可達 184 token/s，在 AMD Ryzen AI Max+ 395 上為 114 token/s，比對比模型最快可達 1.7 倍且記憶體占用最低；在單張 NVIDIA B300 GPU 高並發情境下，輸出吞吐量可超過 21K token/s。模型釋出當日即支援 llama.cpp、MLX、vLLM、SGLang 與 ONNX 等主流推論後端，涵蓋從筆電、桌機到資料中心 GPU 的部署路徑。
實務使用上，開發者可透過 transformers（需 5.0 以上版本）直接載入模型，或在本機以 llama.cpp（埠 8080）、vLLM（埠 8000）、SGLang（埠 30000）、LM Studio（埠 1234）等 OpenAI 相容介面提供服務，再把代理框架指向本地端點即可，等於用本地模型替換原本送雲端的請求。LFM2.5-24B-A2B 與其基礎版 LFM2.5-24B-A2B-Base 皆以開放權重形式上架 Hugging Face，可用於微調與自行部署。
影響與限制
這款模型的意義在於把「會思考、會用工具的代理」從雲端拉回終端裝置：對隱私敏感的場景（如企業內部自動化、個人助理、離線環境），資料不需離開本機；而每 token 只啟動 2B 參數的低成本特性，讓代理可以長時間持續運作而不需在意 API 計費。但限制也同樣清楚：它的知識廣度與程式能力仍不及更大的模型，實務上需要靠檢索與外部工具補足；此外官方基準為自家評測，實際表現仍需在各自的代理流程中驗證。整體而言，LFM2.5-24B-A2B 展示了 MoE 架構在「裝置端代理」這個方向上的可行性，也為本地代理的硬體需求設下了新的參考點。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。