背景與痛點：阿拉伯語雙層語言現象與大模型的方言盲區
在自然語言處理領域，阿拉伯語長期以來都被視為最具挑戰性的語系之一。這種複雜性不僅源於其高度屈折的詞彙形態，更來自其特殊的「雙層語言」（Diglossia）現象。阿拉伯語在現實世界中其實是一整個龐大的語言家族，書籍、學術論文與新聞廣播所使用的現代標準阿拉伯語（Modern Standard Arabic，簡稱 MSA），主要扮演正式書面語的角色；然而在阿拉伯聯合大公國（UAE）的日常生活中，無論是街頭閒聊、幽默調侃、商業談判還是口語敘事，大眾實際使用的是阿聯酋方言（Emirati Arabic）。這是一種深深植根於海灣文化的口語變體，擁有專屬的詞彙系統、語音語調與獨特的句法結構。
更關鍵的屏障在於文化脈絡的隱喻。以阿聯酋極具代表性的納巴提詩歌（Nabati poetry）、傳統諺語和民間典故為例，這些文本蘊含著無法從字面拆解的弦外之音。如果一個語言模型僅在標準阿拉伯語語料上訓練，即便它能精準翻譯出句中每一個單詞的字面意思，依然會完全誤解說話者的真實意圖。通用大型語言模型在面對這類高度口語化與文化綁定的場景時，往往顯得生硬且脫節。為了解決這一長期存在的語境鴻溝，阿布達比技術創新研究院（Technology Innovation Institute，簡稱 TII）的研究團隊發表了 Falcon-Emirati-7B，旨在打造一個能夠像當地母語人士一樣理解並生成阿聯酋方言的專業語言模型。
基底架構與規格取捨：Falcon-H1 混合架構下的平衡點
Falcon-Emirati-7B 並非從零開始預訓練，而是建立在團隊先前發布的 Falcon-H1-Arabic 基底模型之上。在底層技術上，該模型採用了結合狀態空間模型（State Space Models，簡稱 SSM，具體實作為 Mamba 架構）與傳統 Transformer 注意力機制的混合架構（Hybrid Architecture）。這項設計在模型的每一個神經網路區塊（Block）內部平行運作 Mamba 與注意力層，並在向後投影前將兩者的特徵輸出進行融合。
這種混合架構的優勢在於互補：Mamba 具備處理長序列時線性時間複雜度的運算效率，能大幅壓低記憶體消耗與推論延遲；而 Transformer 的自注意力機制則維持了捕捉長距離複雜語意依賴的高精確度。這對於詞彙形態極其豐富、構詞變化繁瑣的阿拉伯語而言至關重要。雖然 Falcon-H1 系列具備 3B、7B 與 34B 等多種參數規模，並支援最高 128K 至 256K 的長文本上下文窗口，但開發團隊最終明確選擇以 7B 規格進行方針微調。
在模型參數量級的選擇上，研究團隊進行了嚴謹的工程權衡。3B 模型的參數量過小，難以在保留既有通識能力的同時容納足夠深度的文化細節與方言變化；而 34B 模型雖然理論上能提供更精細的表現，但其龐大的訓練與推論硬體成本，並不符合對話型模型在實際落地部署時的經濟效益。7B 規格成為整體架構中的甜蜜點，既能在有限的運算資源內維持靈敏的推論速度，又具備足夠的參數量來承載方言調適所需的複雜語意與文化底蘊。
三大管線突破低資源困境：真實語料、文化知識與受控合成
將通用模型轉化為特定方言專家，其工程難度並不亞於基礎預訓練。首先，阿聯酋方言本質上是一種口語，在網路數位文本中的佔比遠低於現代標準阿拉伯語，甚至少於黎凡特或埃及等流行方言，面臨嚴重的數據稀缺問題。其次，其大量修辭與諺語高度依賴文化共識，缺乏字面邏輯。再者，業界缺乏標準化的方言調適訓練範式，從數據配比到訓練階段（接續預訓練、監督式微調、偏好對齊）的權重分配皆無現成先例可循。
為了突破數據瓶頸，TII 團隊構建了由三個互補來源組成的專屬阿聯酋數據處理管線。第一部分是「原生網路方言數據」，團隊從阿聯酋本地網站、討論區抓取未經標準化改寫的真實對話內容，以此獲取當地人在日常交流中自然混合方言與標準語的真實語法和用詞習慣。
第二部分是「文化背景標準語數據」，涵蓋以現代標準阿拉伯語撰寫的阿聯酋歷史、傳統習俗、社會規範與禮儀指南。這類文本的目的不是教會模型方言語法，而是讓模型充實認知內容，當對話涉及文化符號或傳統禮節時，模型能理解談論主題的背景脈絡。
第三部分則是「規則約束下的合成數據」。鑑於真實抓取的方言文本無法涵蓋日常對話的所有領域，團隊利用生成模型補充數據量。為了避免合成數據流於含糊的「泛海灣阿拉伯語」，團隊引入了嚴格的阿聯酋專屬辭典、術語表與語法規則作為防護欄。這種在嚴密語法邊界內生成的合成語料，成功消除了非道地語句的干擾，為後續的方言對齊奠定了高品質的訓練基礎。
量化基準與評測突破：Alyah 基準與生成保真度
為了衡量方言適應的真實成效，評測方法不能僅依賴標準學術評測集。團隊結合了母語人士的人工盲測，以及專門針對阿聯酋方言設計的基準測試集 Alyah。Alyah 是由社群與團隊聯合打造的原生多選題基準，包含 1,173 道由阿聯酋母語人士親自編寫的題目，領域橫跨日常問候禮儀、修辭隱喻、歷史遺產知識乃至納巴提詩歌。
在 Alyah 基準測試中，Falcon-Emirati-7B 取得了 84.83% 的準確率，超越了所有受測的同級與更大規模模型。評測數據揭示了一項核心事實：單純擴大模型參數量無法自動獲得方言理解力。多款規模龐大的通用跨語言模型在該測試中的得分，顯著落後於經過方言特化的較小模型，證明針對特定語言變體的專項訓練無可取代。
然而，多選題測試僅能評估模型的辨識能力，無法反映模型在開放式對話中是否會主動以方言回覆。為此，研究團隊採用大語言模型評判機制（LLM-as-a-Judge），以 Gemini 3.7 Flash 作為裁判，針對同樣的 1,173 道題目進行開放式生成評估。裁判從兩個獨立維度打分：內容正確性，以及「方言保真度」（Dialect Fidelity），即回答是否真正採用阿聯酋方言而非退回現代標準阿拉伯語。
評測結果顯示，Falcon-Emirati-7B 在內容正確性上保持領先，而在方言保真度指標上更展現出巨大差距。在部分給分機制下，Falcon-Emirati-7B 獲得 0.52 的保真度分數，而其他領先的對照模型如 ALLaM（0.05）、gemma-3-27b-it（0.03）、Jais-2-8B-Chat（0.02）及 Fanar-2-27B-Instruct（接近 0.00）得分極低。這意味著多數通用或阿拉伯語模型雖然能在腦中找到正確答案，但輸出時幾乎全數默認採用標準阿拉伯語；唯有 Falcon-Emirati-7B 能在面對阿聯酋方言提問時，自然且穩定地以相同的方言語調回話。
文化對話評測與實際限制：邁向本土化語言模型的實務省思
除了 Alyah 評測，團隊亦在跨文化對話評測集 ArabCulture-Dialogue 的阿聯酋專屬情境（共 283 個場景）進行測試。這項任務要求模型在給定的社交情境中選出最合乎文化禮儀的應對方式。Falcon-Emirati-7B 以 85.57% 的平均準確率位居榜首，高於 ALLaM-7B 的 83.39%、Jais-2-8B 的 73.79% 以及 Fanar-2-27B 的 71.50%，證實其在掌握海灣地區社交潛規則與文化分寸上的優勢。
在成對對決（Pairwise Comparison）的細分維度中，Falcon-Emirati-7B 在「詩歌與創意表達」以及「語言與方言特徵」等最需要本土深層語境的類別中，勝率顯著壓倒對手。唯一與競爭模型拉鋸的項目是「日常問候與表達」，原因在於這類問候語在標準語與方言之間的重疊度最高，使通用模型容易依靠表層詞彙蒙混過關；一旦進入涉及隱喻與本土經驗的複雜對話，方言專項微調模型的優勢便無可動搖。
儘管展現了強大的方言適應力，研究團隊亦客觀指出了當前模型的侷限與技術邊界。大型語言模型不可避免地會承載訓練資料中可能存在的潛在偏差；而在極度罕見的俚語、高度地域化的宗族詞彙或缺乏足夠資料的邊緣案例中，模型依然可能產生幻覺或不精準的解釋。此外，文化與方言的詮釋往往具備主觀性，即便在阿聯酋當地的母語人士之間，對於特定詞句的最佳表達方式也未必具備絕對共識。
這項研究的核心啟示在於，大語言模型的全球化推進已逐漸走入細緻的本土化深水區。從標準語走向多元方言的過程，無法單純依賴算力擴張與模型規模膨脹來解決，而是必須從混合運算架構、極端低資源下的數據合成工程，以及結合母語文化的專業評測基準著手。Falcon-Emirati-7B 的實踐為全球眾多面臨「多方言與書面語分裂」的語言社群，提供了一套深具參考價值的技術調適範式。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。