大型語言模型每次產生下一個 token,都依賴當下的上下文。這段上下文往往混合了系統提示、過去的對話輪次、作用於檢索文件的指令、工具回應或使用者資料、限制輸出格式的要求,以及推理鏈。對模型而言,這些內容確實有結構,但結構多半是隱含的,或是以 JSON 這類原本為程式解析器設計的格式呈現。當結構沒有被明確表達,模型就更容易出現不穩定的行為,尤其是參數量較小的模型;攻擊者也可能利用這種模糊性,將惡意指令藏進資料中,形成提示注入。IBM Granite 團隊在 Hugging Face 部落格於 2026 年 11 月 12 日說明的 LLMON,正是針對這個問題提出的 LLM 原生標記語言。
LLMON 全名是 LLM Object Notation,讀作 lemon,定位是一種 LLM 原生標記語言。它的做法不是再把所有內容壓成一段文字,而是把語意上連貫的元件用有意義的標籤標記,並以保留的特殊 token 作為分隔符。資料結構與巢狀關係會被明確陳述,讓因果語言模型能直接辨識;每個區塊也帶有唯一 ID,因此模型可以指向上下文中任一個具體指令,並把它綁定到應該處理的資料,概念上類似程式語言裡呼叫函式時指定函式與參數。Granite 團隊同時釋出兩個實驗性預覽模型,分別是 granite-4.1-3b-LLMON-preview 與 granite-4.1-8b-LLMON-preview,兩者都衍生自 Granite 4.1 基礎模型,並經過訓練以讀取與產生帶有 LLMON 標記的文字;此外也公開 GitHub 儲存庫,內含工具包、工作流程與模板範例。
為什麼不直接使用 JSON,是理解 LLMON 設計的關鍵。JSON 是為解析器設計的格式,不是為因果語言模型設計的格式。模型的分詞器並不會被語法約束,JSON 的結構由大括號、引號、冒號等 token 組成,而這些字元也可能出現在一般文字中。對模型來說,文件內的一個引號和關閉欄位的一個引號可能是同一個 token;解析器眼中清楚的跳脫規則,對模型而言只是統計模式。巢狀深度則要靠數括號來表達,而 Transformer 在長距離上追蹤這類結構本來就不擅長。LLMON 改用類似 XML 的標記,但關鍵在於它的結構分隔符是保留的特殊 token,不是普通字元,因此結構與內容會落在詞彙表的不同部分。標籤出現在每個 span 的開頭,span 邊界明確;巢狀結構在局部宣告,模型不需要在長篇上下文中一路記住階層。
LLMON 與聊天模板並不是取代關係,而是補強關係。一般聊天模板告訴模型某段內容屬於哪個角色,例如系統、使用者或助理;LLMON 進一步告訴模型每個元件代表什麼意義,以及元件之間如何關聯,而且這種關聯可以跨角色成立。預覽模型附帶自己的聊天模板,使用方式仍然是建立一般的 messages 列表,再呼叫 apply_chat_template;差別在於每一輪可以替各部分命名,並標記 exec 為 True 或 False。標記為 True 的部分會被綁進輸出底部的 exec 區塊,該區塊說明要執行哪個指令、作用於哪些資料、輸出要放到哪裡;標記為 False 的部分仍會出現在上下文中,但不會被任何 exec 區塊引用。以部落格範例來說,使用者要求「寫一段關於 IBM Company 的短文」,並附上「少於十個字」與「不要使用逗號」兩項要求。這些內容會成為五個可定址區塊,再由第六個 exec 區塊把它們綁在一起,指名指令、輸入、兩項要求與助理輸出區塊。區塊 ID 是兩個字元,取自固定集合,且被分詞器編碼成單一 token,因此無論選到哪個 ID,定址一個區塊都只花兩個 token。傳統模板則會把這些元件攤平成一條字串,讓模型自行推測哪一段是任務、哪一段是主題、哪一段是限制。
LLMON 最主要的應用場景是間接提示注入。這類攻擊會把惡意指令藏在資料負載中,例如檢索文件、工具回應或使用者提供的資料。LLMON 的指令與資料分離,正是為了讓模型把「可執行指令」和「待讀取素材」區分開來。團隊在 OPI 基準上測試,該基準把注入內容放進經典 NLP 任務的資料中,並採用多種攻擊策略;衡量指標是穩健性,也就是一減去攻擊成功率,代表模型沒有執行注入指令的比例。非 LLMON 模型普遍高度 susceptible,會以高機率執行注入內容;LLMON 模型在此基準上幾乎消除問題,相較於測試中最佳前沿模型多擋下 47% 的攻擊,相較最佳開源模型多擋下 95%。在 ASB 與 StruQ 上也觀察到類似趨勢。不過這些基準測試的是靜態間接提示注入,指令與資料分離直接對應這類攻擊;至於會跨越許多對話輪次展開的自適應攻擊,團隊表示仍在持續改進。
安全提升並沒有以一般能力為代價。Granite 團隊指出,在標準基準類別上,LLMON 模型與 Granite 4.1 Instruct 模型表現相當。對正在試用 Granite 4.1 3B 或 8B 的團隊而言,可以直接換成 LLMON 預覽模型,取得相近的一般效能與更強的抗提示注入能力,而且不需要先建立轉換流程;只要替每一輪的各部分命名,例如 instruction、data、requirement,內附聊天模板就會轉成 LLMON 區塊。若某個部分本身是結構化資料,例如 JSON 文件,LLMON-converters 函式庫可以進一步把它轉成有型別、可個別定址的區塊,而不是一個不透明的字串,且支援無損轉換。Mellea 也已加入原生 LLMON 支援,會自動把 LLM 呼叫 LLMON 化。
訓練方面,這些模型是從 Granite 4.1 基礎檢查點出發,而不是從已發布的 instruct 模型再加上一層格式,因此 LLMON 行為是在後訓練階段學到的。LLMON 定義六個分隔符,用來標記標籤開始與結束,並允許巢狀與錨定;這些分隔符以保留的單一 token 安裝進分詞器。團隊把常規的指令微調語料重新序列化為 LLMON,讓每個提示元件成為可定址區塊,每一輪都帶有執行區塊,指名要執行哪個指令、作用於哪些輸入、輸出放在何處。任務混合仍是一般 instruct 模型會看到的聊天、多輪對話、檢索增強生成與工具呼叫,因此基準表現能貼近常規微調模型。資料中還加入誘餌指令與資料區塊,它們存在於上下文但刻意不被綁定,目標輸出則維持不變,讓模型學會遵循執行區塊指定的依賴關係,忽略其餘內容。之後進行強化學習,包含五個連續的 GRPO 階段,涵蓋多領域推理、RLHF、知識校準與數學,最後再用一千組 on-policy 偏好對做 DPO,這些偏好對來自模型自己對注入嘗試的回應。最後形成的特權規則不是額外加上去的護欄,而是從佈局中浮現:經由執行區塊觸及的指令具有權威性,經由輸入觸及的資料、文件、工具結構描述與工具結果則是可讀素材,不是要遵循的命令;沒有被執行區塊呼叫的指令與資料 span 會被忽略。這是學到的行為,不是強制保證。
LLMON 也不綁定固定結構描述。團隊可以自行選擇符合領域的標籤名稱與結構,再微調 adapter 來讀寫。他們在 ScienceWorld 這個文字型基準上示範,該基準要求代理一次下一個指令,完成煮沸水等基礎科學任務,並由模擬器給分。團隊定義一組詞彙來捕捉解題規劃軌跡的結構,標籤包括 instr.task.goal、req.planning_policy.rule、data.state.room、data.state.inventory 與 assistant.next_action。把 ScienceWorld 參考解的每一步都用這些標籤呈現後,他們在 LLMON 模型上微調 LoRA,訓練後的模型便在未見過的遊戲中遊玩,並用新詞彙寫出下一個動作。另有筆記本示範工具呼叫代理的完整流程。目前這些模型仍是實驗性預覽,適合探索與評估,不適合直接用於生產環境;團隊也邀請使用者在 GitHub Discussions 回報哪些做法有效、哪裡出問題,以及希望看到哪些應用場景。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。