很多初學者在接觸大型語言模型（LLM）時，會發現模型越大，雖然能力越強，但部署成本也越高。為了在維持性能的同時降低運算成本，業界引入了 Mixture-of-Experts (MoE，專家混合模型) 的架構。簡單來說明，MoE 不再是用一個巨大的神經網路處理所有事情，而是將模型中的前饋網路（Feedforward Network）拆分成許多個較小的子網路，稱為專家（Experts）。每當模型處理一個 Token（文字單位）時，由一個路由（Router）決定由哪幾個專家來負責處理。
然而，目前的 MoE 模型存在一個實務痛點：雖然理論上我們只需要部分專家就能處理特定任務，但實際上，目前的 MoE 專家分工非常混亂。大多數專家學習的是低階的語法特徵（例如：專門處理介係詞或標點符號），而非高階的領域知識（例如：專門處理數學或程式碼）。這導致如果你想為了省記憶體而只加載 10% 的專家，模型性能會崩潰，因為你無法單獨抽取出一個完整的知識模組。
為了打破這個限制，Allen Institute for AI 提出了 EMO (Emergent Modularity)，旨在讓模型在預訓練階段就自動形成具有語義功能的模組。
EMO 的核心挑戰與解決方案
傳統 MoE 的問題在於路由器的選擇太過隨機。在標準 MoE 中，每個 Token 獨立選擇專家，導致同一篇文章中的 Token 可能被分發到完全不同的專家手中。
EMO 提出了一個簡單但強大的假設：同一篇文件中的所有 Token 通常屬於同一個領域。因此，EMO 引入了文件邊界（Document Boundaries）作為一種弱監督訊號。
在 EMO 的訓練過程中，路由器不再讓每個 Token 自由選擇，而是先為整篇文件選定一個專家池（Shared Expert Pool）。該文件內的所有 Token 必須在這個限定的池子中選擇專家。具體做法是將文件中所有 Token 的專家偏好取平均值，選出最被需要的幾個專家組成池子。
這樣做強迫模型將相關的知識聚集在一起。如果一篇是關於醫療的文章，模型必須用同一組專家來處理整篇內容，久而久之，這組專家就會演化成醫療領域的專家，而非僅僅是處理介係詞的專家。
實作中的技術細節與限制
在開發這種架構時，工程師必須處理兩個關鍵問題：
首先是負載平衡（Load Balancing）。在 MoE 中，為了防止模型只使用少數幾個專家而導致其餘專家被廢棄，通常會加入負載平衡損失函數。但在 EMO 中，我們強迫同一文件使用同一組專家，這在微批次（Micro-batch）層級會與負載平衡衝突。EMO 的解決方案是將負載平衡提升到全域（Global）層級，確保雖然單篇文件集中使用某些專家，但整體所有文件分佈依然均勻。
其次是專家池的大小（Document Pool Size）。如果池子太小，模組化程度高但靈活性低；如果太大，則回到了傳統 MoE 的混亂狀態。EMO 採取隨機採樣池大小的策略，讓模型在推理時能適應不同規模的專家子集。
實務影響：記憶體與性能的權衡
對於工程實務而言，EMO 最重要的貢獻在於它實現了可組合的架構（Composable Architecture）。
在測試中，EMO 展現了極強的魯棒性。即使只保留 12.5% 的專家（例如 128 個專家中只用 16 個），其性能下降僅約 3%，而標準 MoE 在相同條件下幾乎會喪失所有能力。這意味著開發者可以根據任務需求，動態地加載對應的專家子集，極大地降低了記憶體佔用與推理成本。
此外，識別哪些專家對特定任務有用也非常廉價。僅需少量的 few-shot 範例，就能快速定位出該任務所需的專家模組，而不需要龐大的驗證集。
總結：從語法分工到領域分工
如果將標準 MoE 比作一個團隊，裡面的專家分工是：有人負責寫逗號，有人負責寫冠詞，有人負責寫名詞。要寫一篇論文，你必須請所有人到場。
而 EMO 的專家分工則像是一個專業機構：有人負責法律，有人負責醫學，有人負責程式。如果你只需要處理法律文件，你只需要請法律組的專家到場，其他人可以休息，且工作品質幾乎沒有下降。
這種從低階語法到高階語義的轉變，讓大規模稀疏模型（Large Sparse Models）真正具備了模組化部署的可能性。
來源：huggingface.co (EMO: Pretraining mixture of experts for emergent modularity)
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。