在大型語言模型（LLM）的發展中，Transformer 架構憑藉其強大的注意力機制（Attention Mechanism）主導了市場。然而，近期 AI2 提出的 Olmo Hybrid 揭示了一種新的可能性：將 Transformer 與遞迴神經網路（RNN）結合的混合架構。為了釐清這種混合模型究竟比純 Transformer 強在哪裡，研究團隊針對 Token 級別的預測表現進行了深入分析。
對於工程師來說，理解模型表現不能只看總體損失值（Overall Loss）或基準測試（Benchmark）的分數，因為這些數字會掩蓋模型在處理不同類型資訊時的特質。透過對比 Olmo 3（純 Transformer）與 Olmo Hybrid（混合架構），我們可以發現兩種機制在處理資訊時的本質差異。
注意力機制與遞迴機制的互補性
Transformer 的核心是注意力機制，它允許模型在預測下一個 Token 時，直接回頭查看輸入序列中的任何一個位置。這種能力讓它非常擅長精確的召回（Recall），例如從很長之前的文本中直接複製某個單字。但代價是計算成本隨輸入長度增加而劇增，且較難處理隨時間演進的連續狀態。
遞迴層（Recurrent Layer）則採取不同的策略。它像是一個流式處理器，從左到右讀取 Token 並將資訊壓縮進一個固定大小的記憶體（Memory）中。雖然這種記憶體是有損的（Lossy），無法像注意力機制那樣精確回溯到某個特定位置，但它非常擅長追蹤狀態的演變，例如在長句中追蹤某個代名詞到底是指向哪一個人。
混合模型（Hybrid Model）的設計邏輯就是保留少數的注意力層，將其餘層替換為遞迴層，試圖在維持高效能的同時，兼顧精確召回與狀態追蹤的能力。
哪些 Token 是混合模型的強項
研究發現，混合模型在處理實義詞（Content Words）Token 時表現最為出色。實義詞包括名詞、動詞與形容詞，這些詞彙承載了句子的核心意義，且預測它們通常需要對上下文的邏輯、語義狀態有深刻的理解。
相較之下，在處理功能詞（Function Words）如 the, of, is 等僅具備語法功能的詞彙時，混合模型的領先優勢則較小。這是因為功能詞的出現往往遵循簡單的語法模式，幾乎任何模型只要掌握基礎語法都能輕易預測。
此外，混合模型在處理需要追蹤上下文狀態的 Token 時也具有明顯優勢，這證明了遞迴層在維護動態記憶方面的實務價值。
Transformer 的領地：精確複製與結構匹配
儘管混合模型在許多面向勝出，但 Transformer 在特定場景中依然不可替代。最典型的例子就是複製（Copying）。
當下一個 Token 僅僅是重複先前出現過的文字片段（即 n-gram 重複）時，混合模型的優勢會迅速消失。因為這類任務不需要理解意義，只需要精確地將之前的資訊搬移到當前位置，而這正是注意力機制的拿手好戲。
同樣的現象也出現在閉合括號（Closing Braces）的預測上。無論是在自然語言、程式碼還是 HTML 標記中，匹配對應的括號只需要簡單的結構對應，注意力機制足以處理此類需求，因此混合模型在此類 Token 上並沒有額外增益。
對模型評估的實務啟發
這次研究給予工程師一個重要的啟發：單一的平均損失值（Average Loss）過於粗糙，無法反映模型架構的真實特性。
如果我們在預訓練階段將 Loss 依照 Token 類型進行分組（Filtered Loss），就能更早發現模型的缺陷或強項。例如，如果一個模型在實義詞上的 Loss 下降緩慢，但在重複詞上表現優異，我們就能判定該模型傾向於記憶而非理解。
總結來說，混合架構透過遞迴層強化了對意義與狀態的捕捉，而透過注意力層保留了精確回溯的能力。未來的模型優化方向將在於更精細地分配這兩種機制的職責，讓模型在正確的 Token 上使用正確的運算邏輯。
來源：huggingface.co / AI2 (Allen Institute for AI)
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。