Hugging Face 於 2026 年 10 月 15 日發布文章，介紹 Meta 的 Muse Spark Open。這是 Muse 系列的開放權重模型，採用混合專家架構，把文字、影像、音訊與影片放進同一個模型，總參數約 816B，每個 token 約啟用 42B，推論脈絡最高 100 萬 token。輸出為文字，開發者可用一致介面對不同輸入提問。它接續 Muse Glimmer；Muse Glimmer 是此前八月推出的小型稠密模型，適合本機執行，兩者共用分詞器與詞彙表，聊天模板也延續後者再加入新模態。文章稱 Muse Spark Open 是迄今美國最強開放權重模型，並強調它針對代理式程式開發訓練，能閱讀程式碼庫、撰寫與偵錯程式碼、呼叫工具，並在長任務中規劃、行動、觀察與自我修正，也能讀取螢幕截圖、聽語音備忘或看螢幕錄影。
架構核心 語言模型有 62 層，隱藏維度 8192。每層有 128 個查詢頭與 16 個鍵值頭，屬於 grouped query attention，每個頭 64 維。注意力區塊有輸出閘與輸出正規化，並對查詢與鍵做 QK 正規化。每個區塊的輸入與輸出透過可學習殘差閘結合，不是單純相加。Muse Glimmer 每層用一個稠密前饋網路，Muse Spark Open 改成混合專家區塊。每層有 256 位專家，路由器為每個 token 選 8 位。每位專家都是前饋網路，先把 8192 維投影到 4096 維，再投回 8192 維，並對輸出做正規化。專家約佔總參數 97%。每個 token 只跑 8 位專家，計算量相當於約 42B 參數模型，但所有專家都須留在記憶體，部署需要 816B 模型的記憶體容量，速度則接近 42B 模型。BF16 檢查點以 safetensors 儲存約 1.5 TB；NVFP4 以 4 位元精度儲存，精度損失很小，主要針對 NVIDIA Blackwell GPU。BF16 可在 4 節點、每節點 8 張 H200 上以張量平行 32 執行，NVFP4 可在單一 B200 節點執行。
多模態與長脈絡 感知編碼器把影像與影片幀轉成 token。編碼器有 1.8B 參數、50 層、隱藏維度 1536、16 個注意力頭，每張影像切成 14 乘 14 patch，產生 4096 維特徵。位置資訊來自可學習絕對嵌入與二維 RoPE，每層前饋網路使用 LayerNorm 與 GELU。每第四層與最後一層使用完整注意力，其餘用稀疏注意力，設計延續 Meta 的 Perception Encoder，Muse Glimmer 30B 也使用相同架構。影片走同一編碼器。音訊透過音訊編碼器輸入，音訊分詞器把音訊轉成 token，聊天模板用 audio 標記標出位置。編碼器每 80 毫秒產生一個 token，等於每秒 12.5 個 token，10 秒音訊約 125 個輸入 token。音訊編碼器是卷積金字塔，各階使用不同 patch 大小與兩個一維卷積區塊，卷積核大小 7、步長 1，patch 大小依序為 16、6、5、4，最後接 RMSNorm、線性投影、RMSNorm。脈絡視窗為 100 萬 token，設定中的 max_position_embeddings 是 1,048,576，文字、影像、影片與音訊共用同一視窗。Grouped query attention 讓 KV 快取較小，但每個 token 仍增加 2 乘 16 乘 64 乘 62 等於 126,976 個數值，BF16 下約 250 KB，完整 100 萬 token 約 266 GB。
推論與部署 Transformers 提供 MuseSparkForConditionalGeneration 與 MuseSparkProcessor，處理器整合分詞器、影像與影片處理器、音訊特徵提取器與聊天模板。DistributedConfig 的 tp_size 控制稠密層分散，ep_size 控制專家分散。文字推論可調推理強度，low、medium、high、xhigh 對應 16、64、256、512；此模型無法關閉推理，簡單任務可設 low。影像會被展開成 patch token，並用邊界標記包住，讓文字位置與視覺特徵對齊，也支援多圖。影片預設每秒 2 幀、上限 96 幀，可調整 fps，但提高 fps 會增加記憶體與前饋延遲；含音訊影片需啟用從影片載入音訊並保留中介資料。音訊預期單聲道 24 kHz，會填充到 1,920 樣本倍數，並以遮罩排除填充嵌入。工具呼叫支援純文字與多模態，聊天模板採用 Harmony 通道設計，由模型用 to 選擇 self、commentary、user 或工具接收者。
部署工具方面，llama.cpp 已整合，可用預建二進位與 GGUF 量化啟動，內建網頁介面可加入音訊與影像並調推理強度。文章在 Mac M3 Ultra 512GB 測試經 imatrix 校正的 2 位元量化，每秒約 18 token，模型約佔 304 GB。SGLang 支援文字、影像、音訊與影片，NVFP4 參考配置跑在四張 GB300 GPU，服務埠 30000，推理軌跡置於 reasoning_content。vLLM 支援文字與影像，需 Blackwell GPU，設定包含張量平行 4、專家平行、最大模型長度 131072 與工具呼叫解析器。MLX 方面已可在 oMLX 與 mlx lm 使用，oQ 提供 3 位元與 4 位元量化；M3 Ultra 512GB 測 oQ3e 約佔 344 GB，前饋每秒約 225 token、生成每秒約 21 token，但 3 位元仍需超過 256 GB 記憶體。Inference Endpoints 提供 NVFP4 的 SGLang 預驗證配方，可選 8 張 RTX Pro 6000 98GB 搭配 131072 脈絡，或 8 張 H200 141GB 搭配 1,048,576 脈絡。
微調與實測 TRL 的 SFTTrainer 可用於完整 816B 檢查點。原文在 8 節點、每節點 8 張 H100，共 64 張 GPU 上訓練 LoRA，只更新注意力層，256 位專家凍結。DistributedConfig 設 fsdp_size 等於 64，以 FSDP2 切分模型，ep_size 等於 8，把每層專家分成 8 組。資料集使用 allenai 的 tulu 3 sft mixture 前 50 萬筆，設定包含 packing、最大長度 2048、save_only_model、最大步數 500。LoRA 的 r 為 16、alpha 為 32，目標是 q_proj、k_proj、v_proj、o_proj。訓練約 2 小時，吞吐約每秒 8,000 token，平均 token 準確率從 72% 升至 84%，損失從 1.26 降至 0.57。
展示與限制 文章展示數個應用。3D 資產生成器把 llama.cpp 上的 2 位元模型與 Pi 程式代理結合，產生並迭代 Three.js 資產，透過瀏覽器多角度截圖回饋修改程式碼。瀏覽器代理範例用 OpenEnv 與 Hugging Face Sandbox，以 helium 與 selenium 包裝網頁動作，並以 Chromium 執行點擊、輸入、捲動，模型只看先前行動、系統提示、網址與截圖，不看 DOM 或 HTML。Call your Browser 更結合語音、影像與代理能力，讓模型依語音描述在 Amazon 搜尋並選擇商品。整體而言，Muse Spark Open 把開放權重、多模態、混合專家與長脈絡集中在一模型，並以代理式程式開發為核心；限制是部署門檻高、長脈絡 KV 快取龐大、影片與音訊會推升成本，且推理無法完全關閉。BF16、NVFP4、llama.cpp 量化、MLX 量化與 Inference Endpoints 之間的取捨，將直接影響硬體成本、延遲與可用脈絡長度。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。