在當前的視覺語言模型（Visual Language Models, VLM）設計中，主流做法通常是將一個預訓練的視覺編碼器（Vision Tower）與一個因果語言模型（Causal Language Model）透過投影層（Projector）連接在一起。這種架構雖然強大，但在處理檢索、分類或分類等不需要生成文字的任務時，會帶來不必要的參數冗餘與運算開銷。針對此問題，Hcompany 團隊開發了 NeoMME，這是一個多模態原生且支援多語言的基礎編碼器，旨在以更輕量、更高效的方式處理圖像與文字的表徵學習。
背景與設計初衷
傳統的視覺文件檢索模型往往依賴於預訓練的視覺模型來提取特徵，再由語言模型處理。然而，對於視覺文件檢索（Visual Document Retrieval）而言，目標是將文件頁面直接視為圖像，保留其版面、圖表、字體大小等視覺線索，而非僅依賴 OCR（光學字元辨識）提取文字。目前的模型如 ModernVBERT 雖採用了雙向編碼器，但仍保留了獨立的視覺塔。NeoMME 的核心目標是完全捨棄獨立的視覺塔與因果解碼器，將圖像與文字統一在單一的雙向 Transformer 編碼器中處理，從而大幅降低推理成本並提升處理速度。
核心技術架構
NeoMME 提供 260M 與 800M 兩種參數規模，其最顯著的特點在於其原生多模態輸入設計。文字輸入使用因子化 token 嵌入，而圖像則被切分為 32x32 的非重疊區塊（Patches），並透過一個小型多層感知器（MLP）投影後進入同一個 Transformer 編碼器。這種設計讓圖像與文字共享相同的運算路徑，簡化了預訓練與部署流程。
為了處理複雜的文件頁面，NeoMME 導入了動態圖像解析度，允許模型根據圖像內容的資訊密度調整 token 數量，並支援高達 16,384 個 token 的長上下文，足以容納兩張 4K UHD 圖像。在模型層級上，它結合了分組查詢注意力（Grouped-Query Attention）、查詢鍵值正規化（Query-Key Normalization）以及 2D 旋轉位置嵌入（2D Rotary Position Embeddings）等現代化技術，以強化對空間資訊的捕捉能力。
預訓練機制與學習方式
NeoMME 並非基於現有模型微調，而是從零開始預訓練。團隊採用了一種離散掩碼擴散（Masked Discrete-Diffusion）目標函數，將模型訓練為一個文字去噪器。在預訓練過程中，模型會面對被掩碼（Masked）的文字，並嘗試在圖像資訊的輔助下重建這些文字。
這種訓練方式具有巧妙的因果邏輯：當掩碼率較低時，模型可以依賴上下文文字完成填空；但當掩碼率提高時，模型被迫必須從可見的圖像區塊中尋找證據來恢復文字。這種機制有效地消除了僅依賴語言模式的捷徑，強迫模型學習圖像與文字之間的深度對齊（Grounding）。預訓練數據涵蓋了多語言文字、程式碼、數學公式以及自然圖像與文件圖像，總計處理約 5,240 億個 token。
NeoMME-Retriever 的實務應用
為了驗證基礎編碼器的能力，團隊開發了 NeoMME-Retriever，專為視覺文件檢索設計。它採用雙頭設計，一次前向傳播即可同時輸出兩種表徵：
第一是稠密嵌入（Dense Embeddings），透過平均池化將狀態向量壓縮為單一向量，適合用於大規模數據集的快速近似最近鄰（ANN）檢索。 第二是遲後交互嵌入（Late-Interaction Embeddings），為每個 token 或圖像區塊生成獨立向量。這種方式能保留更細粒度的局部匹配資訊，大幅提升檢索精確度。
在 ViDoRe v3 基準測試中，NeoMME-260M 的表現優於所有參數低於 800M 的模型，且僅用約 1/14 的參數量便達到了與大型模型相當的 nDCG@10 分數。在推理效率上，260M 模型在 NVIDIA L40S GPU 上每秒可編碼約 51 頁圖像，吞吐量約為 ColModernVBERT 的兩倍。
儲存優化與限制
遲後交互檢索雖然精準，但其儲存成本隨圖像解析度線性增加，單頁圖像可能佔用 1.5 MB 空間。為了讓實務部署可行，NeoMME 引入了兩種壓縮技術：分層 token 池化（Hierarchical Token Pooling）將相似向量聚類並以平均值代替，以及非對稱量化（Asymmetric Quantization）將文件嵌入量化為 int8 或二進位格式。
透過這兩種手段，儲存空間可從 1.5 MB 壓縮至 6 kB（約 255 倍壓縮），同時仍能保留 95% 以上的檢索品質。這使得高解析度的視覺 RAG（檢索增強生成）系統變得更加實用，因為系統可以先透過高效的檢索模型找出相關頁面圖像，再將這些圖像傳遞給 VLM 生成最終答案，避免了傳統 OCR 導致的資訊損失。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。