對於許多開發者來說，想要在手機或筆電上運行 AI Agent（AI 代理）一直是一個巨大的挑戰。傳統上，要讓模型具備 Tool Calling（工具調用，指模型能決定何時調用外部 API 或函數來獲取資訊）以及處理複雜的多步驟工作流，通常需要極大的參數規模，這意味著必須依賴昂貴的雲端 GPU 叢集。
Liquid AI 推出的 LFM2.5-2.6B 模型旨在打破這個僵局。這是一個參數僅 2.6B 的輕量級模型，但其目標是在維持低記憶體佔用的前提下，提供足以媲美大 4 倍模型的能力，讓 AI Agent 能真正地 Local-first（本地優先）運行。
為什麼 LFM2.5-2.6B 對於邊緣設備至關重要
在邊緣設備（Edge Devices，如手機、筆電）上部署 Agent，面臨的三大痛點是：延遲、隱私與成本。如果每次調用工具都要經過雲端，反應速度會被網路延遲拖累，且敏感數據必須上傳。
LFM2.5-2.6B 透過高效的架構，在 Apple M5 Max 上可達到每秒 220 個 token 的生成速度，而在 AMD Ryzen CPU 上也能達到 113 token/s。更重要的是，它的記憶體佔用低於 2.5 GB，這意味著它可以在大多數現代筆電甚至手機上流畅運行，且完全不需要支付雲端推理費用。
打造可靠本地 Agent 的技術路徑
要讓一個小模型具備強大的 Agent 能力，不能只靠增加數據量，必須在訓練策略上進行精確設計。LFM2.5-2.6B 的訓練分為四個關鍵階段：
首先是監督式微調（SFT）。開發團隊進行了兩輪 SFT，重點強化了工具使用、網頁搜索以及 Agent 執行軌跡（Trajectories，指模型從思考到採取行動的完整路徑）的數據。
其次是教師模型專業化（Teacher Specialization）。針對數學、程式碼、工具調用等不同領域，分別訓練專門的教師模型，確保每個領域都有最高水準的指導。
接著是多領域在線策略蒸餾（MOPD）。將上述多個專業教師模型的知識，透過蒸餾技術（Distillation，將大模型的知識遷移到小模型的過程）整合到單一的學生模型（即 2.6B 模型）中。
最後是 Agentic RL（代理強化學習）。這是最關鍵的一步。模型被放入真實的 Agent 框架（如 OpenClaw 或 Hermes Agent）中進行多輪強化學習。模型在實際操作工具、面對系統提示詞（System Prompts）和處理多輪任務的過程中，根據結果的反饋不斷優化自己的策略。
為了實現這一點，Liquid AI 建立了一套完整的流水線：訓練引擎負責優化模型，Rollout 引擎生成行動，而沙盒服務（Sandbox Service）則提供一個安全的環境讓模型執行指令並收集獎勵。
實務效能與適用場景
根據基準測試，LFM2.5-2.6B 在指令遵循（Instruction Following）和工具調用（Tool Use）方面表現極其強悍，甚至超越了許多參數規模大得多的模型。
對於工程師來說，這意味著 LFM2.5-2.6B 非常適合用於開發需要高頻率調用工具、需要精確執行指令且對隱私要求高的本地應用。然而，在純程式碼編寫（Coding）能力上，大模型仍保有明顯優勢。因此，如果你的應用核心是複雜的軟體開發，建議選擇更大規模的模型；但如果是為了構建一個能操作系統、調用 API 的本地助手，這個 2.6B 模型是目前極佳的選擇。
部署與整合
該模型對生態系統的支援非常全面，包括 llama.cpp、MLX、vLLM 和 ONNX 等主流推理框架。開發者可以直接透過 Hugging Face 的 transformers 庫（版本 5.0.0 以上）載入模型。
總結來說，LFM2.5-2.6B 的意義在於證明了透過精準的強化學習與蒸餾技術，我們可以在不犧牲太多能力的情況下，將 AI Agent 的運算壓力從雲端移回設備端，實現真正的隨處部署。
來源：huggingface.co (Liquid AI Blog)
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。