背景與印度語系的模型訓練困境
在當前大型語言模型的發展中，多語言支援的瓶頸往往不在於模型架構本身，而在於高品質訓練語料的嚴重匱乏。印度憲法承認的二十二種官方語言涵蓋了該國百分之九十七的人口，背後代表近十二億的使用群體。然而，相較於英語或主流歐洲語言，印度語系在網路上的數位化文本資源極度不均，特別是在數學、程式碼撰寫、邏輯推理與專業問答等結構化技術領域，原生高品質語料更是稀少。正如印度理工學院馬德拉斯分校（IIT Madras）旗下 AI4Bharat 研究室負責人 Mitesh Khapra 所指出的，印度語言技術之所以落後於英語，核心癥結就在於缺乏足夠的訓練資料。
為了解決這項結構性缺口，NVIDIA 與 IIT Madras 及 AI4Bharat 展開深度合作，共同發表了名為 Nemotron-pretraining-Indic-v1 的預訓練資料集，規模達到約 2.8 兆個標記（Token）。該計畫不僅釋出龐大數據，更將整體資料生成管線全面開源，提供模型開發者一套基於繪圖處理器（GPU）加速的可複現工作流程，藉由高品質合成文本來擴充非英語母語的模型知識深度。
合成語料的核心構成與雙書寫系統設計
該資料集以 Gemma-4 分詞器進行計算，共包含 26,010 億個原生文字（Native-script）標記，以及 2,246 億個羅馬化拼音（Romanized）標記，橫跨三十四種語言與書寫配置。原生文字指的是採用該語言傳統字元系統（例如印地語的梵文字母），其內容係由高品質英文文本轉譯而來；羅馬化拼音則是將印度語言以拉丁字母拼寫呈現，這反映了當代許多印度使用者在行動裝置與數位通訊中的實際書寫習慣。
整體資料涵蓋兩大語言陣營。第一組包含十二種同時具備原生文字與羅馬化文本的主流語言，包括孟加拉語、古吉拉特語、印地語、坎那達語、馬拉雅拉姆語、馬拉地語、尼泊爾語、歐利亞語、旁遮普語、坦米爾語、泰盧固語與烏爾都語。第二組則涵蓋十種僅採用原生文字的語言，例如阿薩姆語、博多語、多格里語、克什米爾語、康卡尼語、邁蒂利語、曼尼普爾語、梵語、桑塔利語與信德語。這項分類確保了模型在學習基礎概念時，能同時對應傳統正字法以及現實網路對話中的非正式拉丁化輸入。
GPU 加速管線與品質修復機制
為了確保合成語料的嚴謹性與可追溯性，該計畫以 NVIDIA 的 Nemotron-CC-v2 語料庫中十五個子集為起點，資料來源廣泛涵蓋網路文本、問答、數學推導與程式碼。整個生成流程依托於 NVIDIA 的開源合成資料生成架構 NeMo Data Designer，為每筆產出保留原始來源識別碼（Source ID），讓開發者能夠完整稽核語意來源。
針對十二種主流語言，技術團隊採用完整篇章（Full Document）翻譯策略，選用 Gemma-4-31B-it 模型作為核心引擎，以便模型在處理跨段落脈絡、表格、方程式及代碼區塊時能維持結構完整性。系統提示詞特別區分了需要翻譯的敘述文字，以及必須原樣保留的程式碼、數學公式與超連結。翻譯完成後，系統引入以「多維度品質指標」（Multidimensional Quality Metrics，簡稱 MQM，一種將翻譯錯誤按類型與嚴重程度量化的開源評估標準）為基礎的自動評分機制，針對語意、流暢度、術語準確性、風格與格式進行評分。只有達到七十五分以上（滿分一百分的評分制）的譯文才會被保留。
若翻譯未能達標，管線會提取評估回饋並觸發定向修復機制，引導模型修正錯誤後再次評估。單是這項基於回饋的修復機制，就在原生文字與羅馬化資料中挽救並回收了 4,384 億個高品質標記。針對羅馬化資料的生成，團隊採取兩階段策略：先將英文翻譯為受驗證的原生文字，再由原生文字轉寫為拉丁字母，這大幅降低了直接自英文生成羅馬化文本時容易產生的幻覺與英文殘留問題。
對於另外十種資源更為稀缺的語言，考量到長篇文本翻譯穩定度與字元系統的特殊性，團隊改採 Bodhan AI 開發的專門模型 Indic Translate。針對長篇桑塔利語文本，管線採用滑動視窗切割再重組的方式；對於曼尼普爾語，則先轉譯為孟加拉文字再轉換為其傳統的梅泰文字（Meitei Mayek），以克服模型對少見字元的生成偏差。
持續預訓練的驗證成效與實務意義
這批大規模合成語料的實用價值在 Nemotron 3.5 Super VL 模型的訓練實驗中獲得驗證。在模型進行「持續預訓練」（Continued Pretraining，簡稱 CPT，指在基座模型完成通用預訓練後，注入特定領域語料以強化特定能力的訓練階段）時，團隊配置了一千億個訓練標記的總預算，其中百分之十（即一百億個標記）分配給由這批合成資料與自然印度語言文本混合構成的語料。
評測結果顯示，模型在涵蓋印度語系的五項主流知識與推理基準測試中全面提升，包括 MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy 與 Indic GSM8K，進步幅度落在 4.98 到 9.82 個百分點之間。在橫向對比 Nemotron 3.5 Super VL 與上一代 Nemotron 3 Super 的表現時，新架構在多數知識、推理、數學與程式碼基準上皆展現顯著優勢，並在 Sarvam AI 開發的 IndiVibe 評測中，於實用性、流暢度、語言字元保真度及回覆長度適宜性等四個維度全面勝出。
這項成果證實了在缺乏天然專業數據的情況下，以高品質英文技術語料為基礎進行嚴格過濾與修復的合成翻譯，能有效提升模型在低資源語言環境中的高階推理與專業應答能力。
技術邊界與使用限制
儘管 2.8 兆標記的規模極具突破性，這套方案在實務應用上仍存在技術限制。合成翻譯資料能迅速補充科學、數學與技術知識的空缺，但無法憑空產生印度當地的原生知識、歷史脈絡與深層文化語境。因此，在構建生產級多語言模型時，仍必須將此類合成語料與本土原創的自然語言文本進行適當比例的混合調配。
此外，品質檢驗流程目前以大語言模型作為裁判（LLM-as-a-judge）的高度自動化為主，雖輔以抽樣人工審查，但在主流十二種語言的管線中，負責翻譯與負責評估的皆為 Gemma-4-31B-it，這可能導致評審盲點；而在其餘十種少數語言中，亦缺乏更大規模的母語者全面審核。目前的來源去重機制僅能移除處理過程中的重複項目，尚無法完全做到語意層面的實質去重。為此，AI4Bharat 與 NVIDIA 亦同步推動 Indic-LLM-Eval-Suite 評測基準，希望藉由更完善的評估工具，協助全球開源社群在合成語料的基礎上持續修正並精進多語言模型的訓練成果。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。