背景：邊緣裝置需要的是專家，不是萬能模型
近年大型語言模型的發展趨勢大多朝「愈大愈好」的方向走，但對實際部署在手機、嵌入式裝置或私有環境中的應用來說，一個龐大的通用模型往往不是最佳解。通用模型雖然什麼都會一點，卻未必真正熟悉特定領域的術語、資料格式與工作流程，而且龐大的參數量也讓裝置端推論的成本與延遲居高不下。
Liquid AI 團隊於 2026 年 10 月 27 日在 Hugging Face 發表了新一代的 Liquid Foundation Models（LFM）系列，命名為 LFM3。這個系列的核心概念是「專用智慧」（specialized intelligence）：與其靠一個大模型包辦所有任務，不如提供一系列小型、可微調、可部署在應用運行位置的模型，讓開發者依照自己的資料進行調整。整個 LFM3 家族都以 2B 參數等級為主，涵蓋文字、視覺、音訊、全模態（omni）以及決策模型。
相比上一代 LFM2 家族，LFM3 帶來四項主要變化。第一是單位參數的能力提升：新的混合架構與訓練配方讓 LFM3-1.7B 以少了 35% 的參數量，超越 LFM2.5-2.6B。第二是六個 2B 等級的模型（文字、視覺、音訊、全模態與決策）全部從同一個 LFM3-1.7B-Base 骨幹分支訓練而來，其中包含團隊首個全模態模型，視覺模型也首度支援影片輸入。第三是針對邊緣裝置的優化：文字模型在 4-bit 精度下僅佔約 1 GB，新增的自研視覺與音訊編碼器加快了處理速度，256K 的上下文視窗也讓代理程式（agent）可以直接在裝置上運行。第四是專為微調設計：所有模型都能在單一 GPU 上完成微調。
核心架構：tri-hybrid 混合層設計
LFM2 已經證明「短卷積混合注意力」的架構可以在裝置上快速運行且不犧牲品質。LFM3 更進一步，團隊透過硬體在環（hardware-in-the-loop）的架構搜尋方法重新設計架構，搜尋範圍涵蓋 14 種裝置與後端組合，從手機、Raspberry Pi 5 到筆電、雲端 CPU、GPU 以及 Qualcomm Hexagon NPU。這種搜尋方式的意義在於：架構不是只在理論上有效率，而是直接在真實硬體上驗證過推論速度，特別針對需要長上下文快速推論的代理應用情境。
LFM3-1.7B-Base 有 24 層，包含四項關鍵設計：
tri-hybrid 混合層：13 層 gated 短卷積（kernel size 從 LFM2 的 3 增加到 7）、5 層滑動視窗注意力（SWA，視窗 256 token）、6 層全域注意力。短卷積處理局部模式非常快，滑動視窗注意力兼顧一定範圍的上下文，而少量的全域注意力層則負責捕捉長距離依賴。
head-wise gated attention：用 sigmoid 閘門為每個注意力頭的輸出做縮放，讓某個頭在沒有貢獻時可以自動關閉。這有助於壓制會傷害量化品質的激活異常值（activation outliers），對邊緣部署常見的低精度量化特別重要。
Partial RoPE：全域注意力層只對每個頭頻率最高的那一半套用 RoPE 旋轉位置編碼，另一半則完全依內容比對、不受距離影響；SWA 層則保留完整 RoPE。
Sandwich norm：每個區塊對輸入與輸出都做正規化，讓激活值維持在穩定範圍。
這些改動的效益在長上下文時最明顯：每參數效率上，LFM3-1.7B 在各種邊緣裝置的短提示下與 LFM2-1.2B 相當，但當上下文達到 8K token 時，速度快了約 25%。
訓練方面，LFM3-1.7B-Base 以 22T token 預訓練，沿用 LFM2.5-8B-A1B 的 128K 詞彙表。最後 3.5T token 是一個 mid-training 階段，使用精心挑選的資料，加大了代理軌跡與工具呼叫（tool call）的比例，同時將上下文視窗延伸至 256K。
一個骨幹，六個模型
LFM3 家族的所有模型都從 LFM3-1.7B-Base 分支而來。開發者不必執行一個龐大的通用模型，而是選擇適合自己輸入型態的模型，客製化後部署在裝置上。各模型的分工如下：LFM3-1.7B 處理純文字；LFM3-VL-2B 接受文字、圖片與影片並輸出文字；LFM3-Audio-2B 接受文字與音訊、可輸出文字與語音；LFM3-Omni-2B 則結合視覺與音訊編碼器，能同時看、聽與說話；d1-2B 與 d1-omni-2B 是決策模型，輸出帶校準機率的答案。
視覺與音訊模型採用兩個新的自研編碼器。視覺編碼器結合卷積與注意力，運算量比上一代使用的 SigLIP2 編碼器少了 3 倍；這個 164M 參數的編碼器在相同語言骨幹（LFM2.5-230M）的測試條件下，準確度與 Qwen3.5-2B 的視覺編碼器相當，但 FLOPs 少了 2.2 倍。處理影片時，它將每對取樣影格嵌入成一個時間切片，讓時間序列長度減半。
音訊方面，音訊編碼器混合滑動視窗注意力與短卷積，並且是完全因果（causal）的，意味著使用者還在說話時模型就能同時預填（prefill），首 token 延遲可低至 50 毫秒。新的音訊 tokenizer LiquidCodec 能在 Apple M4 Max 上以單一 CPU 執行緒達到約 87 倍即時速度，把生成的 token 轉換成語音，並支援串流解碼。
各模型的實際表現
LFM3-1.7B 定位為本地代理與工具呼叫的基礎模型，已針對 Hermes Agent、Pi、OpenClaw 等代理框架做過後訓練。它以少 35% 的參數超越 LFM2.5-2.6B，最大優勢在代理任務：在 WebArena-Verified 上得分 38.42 對 3.02，甚至在瀏覽器與商業應用的長任務上超越 Qwen3.5-9B。
LFM3-VL-2B 是首個支援影片輸入的 LFM 視覺模型，回答前會逐步推理，也能定位物件並推論其空間關係，適合做機器人學的基礎。它以 1.9B 參數在 62 個視覺基準上將平均分數從前代 LFM2.5-VL-3B 的 57.6 提升到 71.4，與參數量大六倍以上的 Gemma 4 12B 相當。
LFM3-Audio-2B 面向語音對話、語音辨識、語音合成與 18 種語言的翻譯。相較 LFM2.5-Audio-1.5B，它換上新的自研音訊編碼器與語音編解碼器，語音品質從 UTMOSv2 的 3.22 提升到 3.83，並新增音訊理解、通用音訊推理與工具呼叫能力。
LFM3-Omni-2B 是團隊首個全模態模型，可用一個模型取代原本需要分開部署的 ASR、視覺語言模型、LLM 與 TTS。它能回答關於圖片的語音提問、同時觀察影片畫面與聲音，並把所見所聞轉成工具呼叫。在視聽影片理解上，它在 Daily-Omni、WorldSense 與 AV-SpeakerBench 上超越了參數量達 10.7B 的模型，例如 Qwen2.5-Omni-7B。
d1 系列則是決策模型：給定一個情境（客服工單、發票、應用畫面、照片或語音訊息）與一組問題，它們能在單次前向傳播中回答所有問題，且每個答案都附帶校準機率。除了是非題、選擇題與評分，現在還能指出物件位置、讀取文件數值、以區間估計數字，以及多選。d1-2B 以少三分之一的參數取代 d1-3B，在四個決策測試套件上全面勝出，例如 ImajevBench 上 75.5 對 64.0；d1-omni-2B 則支援音訊輸入，改用語音提問幾乎不損失準確度。
微調與實際應用：機器人案例
LFM3 的設計初衷就是為了被專門化。團隊認為，前沿模型雖然是強大的通才，但未必是你的使用情境的專家；LFM3 把額外容量壓進一個小而快的模型裡，一次短暫的微調就能讓它成為特定任務上的可靠專家。所有模型都可在單一 GPU 上微調，並提供從資料準備到評估的完整 Colab 範例，涵蓋 SFT、DPO、GRPO、CPT 等方法，例如從雜亂文件抽取結構化 JSON、依檢索文件回答或拒答、在 108 個工具的應用中正確呼叫工具、從原始文字學習新語言、把收據照片轉成 JSON、把語音智能家居指令映射到函式呼叫等。
一個較完整的示範是把 LFM3-VL-2B 改造成三個互補的機器人模型：負責調度的 orchestrator 透過工具呼叫操作機械手臂，包括以指標定位物件、用深度工具量測、呼叫運動規劃器並從後續攝影機畫面確認結果；navigator 依路線描述與最近的 RGB 觀測，僅用五個 token 預測空間目標與路徑點軌跡；操作用的 VLA（Vision-Language-Action）模型則將影像、語言與機器人狀態在一次前向傳播中映射為八步連續動作。這個 VLA 跨 15 種機器人形態聯合訓練，在 LIBERO 四個測試套件上達到 96.2% 的平均成功率，在 RoboCasa-GR1 桌面任務上達到 45.7%，並在 Jetson AGX Orin 上以 TensorRT FP16 於 50 毫秒內生成動作區塊。
影響與限制
LFM3 代表的意義在於：小型模型不再只是「將就用的閹割版」，透過架構搜尋、混合層設計與專門化的訓練配方，2B 等級的模型在代理任務、視覺理解、語音互動上都能逼近甚至超越大得多的模型。對需要在裝置端或私有環境部署的團隊來說，這降低了硬體門檻與資料外洩風險，單 GPU 微調也大幅降低了客製化的成本。
不過，這些數字多數來自官方選定的基準測試，實際表現仍取決於具體任務與資料分佈；像決策模型的校準機率、機器人控制的成功率，也都需要在真實場景中驗證。目前所有模型均以開放權重形式發布在 Hugging Face，包含可供自行後訓練的 LFM3-1.7B-Base，以及各模型的微調範例與本地代理部署指南。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。