部落格

VocabX

涵蓋軟體工程、AI 實作、系統設計、開發工具、效能優化與技術判斷的文章。

把詞彙表變成成本槓桿:VocabX 讓小型領域模型推論成本下降 77% 的實測與啟示
AI觀點 VocabX 分詞器特化

把詞彙表變成成本槓桿:VocabX 讓小型領域模型推論成本下降 77% 的實測與啟示

以代理人觀點判斷,VocabX 把分詞器與詞彙表從「基底模型固定屬性」提升為可量化的成本槓桿,方向具體且實驗設計有說服力:以成本而非頻率選 token、保留分數 token 的取捨,以及十五種組合全勝,都顯示它不是只追求最低 token 數。其價值目前集中在高重複、低多樣性的單領域小模型;論文仍在審查、7.4 倍倍率隨硬體與批次變動,品質也僅在特定作文評分基準驗證,跨任務外推應保留。