當企業想用 AI 產生簡報時,最先想到的往往是功能最強的大型前沿模型。這類模型的確能做出品質不錯的投影片,但問題在於規模化之後:請它生成十份簡報,結果看起來都大同小異,帶著同樣的「AI 味」預設風格。更麻煩的是,無論提示詞怎麼寫,前沿模型總會慢慢漂回自己的既有風格,很難真正符合企業的官方模板與設計規範。此外,有些簡報內容屬於機密,根本不允許傳送到外部服務。這兩個限制共同指向一個結論:企業需要一個自己擁有的模型——開放權重、跑在自己的基礎設施上,並且用自家的設計語言訓練。
IBM Research 團隊推出的 Palette 就是基於這個賭注:一個小型開放權重模型,只要用特定設計語言的合成資料訓練,再搭配一個檢查與修復的 harness(自動檢修框架),就有機會與前沿系統抗爭,同時保有成果的所有權。團隊微調了一個 20B 參數的模型,訓練資料遵循 IBM Design Language(IBM 的官方設計規範,定義色彩、字體與版面等視覺準則),在 PresentBench 這個簡報生成評測的三個領域中有兩個拿下第一。
核心挑戰:為什麼小模型做不好簡報
一份簡報看起來簡單,實際上要求模型同時做到三件小模型特別不擅長的事。第一是「盲排版」:模型不是真的在畫圖,而是寫出把每個元素定位到特定座標、寬度與字級的程式碼。一個 75 字的標題在 56pt 字級下會不會換行超過兩行?這是模型必須在腦中完成的算術,而它只有在程式碼實際渲染後才會發現算錯了。小模型經常算錯,這就是形狀互相疊蓋、文字跑出投影片邊界的原因。第二是「一次做兩種決策」:決定每頁投影片該說什麼、該用圖表還是表格,屬於編輯判斷;而精準定位則是幾何計算。單次生成必須在十到二十頁之間同時兼顧兩者,還要保持配色、字體與版面一致。第三是缺乏訓練資料:市面上有成千上萬份完成品簡報,但設計選擇背後的理由與產生它們的程式碼幾乎不存在公開紀錄。
解法:像人類一樣分工,設計師與程式設計師
沒有人是一次到位地做簡報。人會先決定故事架構——幾頁、每頁說什麼、哪頁放圖表——然後才動手做每一頁。Palette 把這個流程拆成兩個角色,由同一個 LoRA adapter(一種只訓練少量附加參數、不動基底模型權重的微調方式)承擔。設計師角色讀取計畫,輸出結構化的 JSON brief,包含配色、字體系統,以及每頁的版面、確切內容與簡短的設計理由。程式設計師角色則針對單一頁面的規格,撰寫用 pptxgenjs(一個用 JavaScript 產生 PowerPoint 檔案的函式庫)繪製該頁的程式碼。這樣拆分後,每個角色只處理一種決策:設計師管編輯判斷,程式設計師管幾何。
這種架構還帶來兩個實務好處。中間的 brief 是可讀、可編輯的,人類或另一個 agent 可以只改某一頁的版面而不必重新生成整份簡報。而且因為每頁的上下文在寫任何程式碼之前就已固定,各頁的生成呼叫可以平行執行,讓程式生成階段快了約六到七倍。訓練上團隊也學到一課:程式設計師角色的訓練範例比設計師的長約五倍,若不刻意處理,設計師會被訓練不足,因此必須把設計師範例過採樣五倍。
合成資料:不只給答案,還要給理由
由於缺乏公開的「計畫、設計決策與投影片程式碼」語料,團隊用一個大型開源教師模型生成了約一千份簡報、將近一萬頁投影片的訓練資料。每份簡報從一個 recipe(配方)出發,指定類型、頁數、版面與使用者指示,藉此控制資料覆蓋面。計畫內容從工整大綱到未經整理的原始素材都有,讓模型學會裁剪與濃縮。關鍵在於每個範例都附帶反事實式的推理:不只記錄選了什麼,還記錄考慮過哪些替代方案、為何被否決。例如設計師的推理可能是「四個季度的營收有明顯上升趨勢,我考慮過表格,但這頁重點是趨勢而非精確數字,所以用長條圖一眼就能看出」。程式設計師的推理則是幾何性的:「標題有 62 個字元,44pt 會折成三行撞到下方的圖表,所以設成 36pt,兩行放得下且留出空間」。
不過教師模型本身不足以保證資料品質,真正關鍵的是環繞它的迴圈。每份合成的簡報都會被渲染,並用與推論時相同的檢查器偵測重疊與溢出;壞掉的投影片會被修復,其推理也改寫成反事實形式,涵蓋原本版面錯在哪、修法為何有效。檢查器抓到的每個錯誤都變成更好的訓練範例。過程中最難的是忠實性:最糟的失敗是投影片出現輸入中不存在的事實,而團隊發現單靠提示詞規則擋不住。例如 brief 要求一張六乘五的表格但只附了三條要點,程式設計師就只能憑空編造。真正有效的是參考範例而非規則——修正參考範例能可靠地改變教師輸出,加規則卻幾乎沒用,因為教師模型模仿參考範例的程度遠高於遵循指令。
用自然語言控制設計:directives 機制
使用者常想對具體設計選擇做更細的控制:用圖表而不用表格、指定顏色、封面深色一點。Palette 讓使用者用 directives 達成——直接寫在計畫裡、以雙方括號包住的短指令,例如在某頁的行事曆清單後面加上「[[make this a timeline]]」,設計師就會把這個指令寫進 brief,程式設計師畫圖時照做;沒有指令時模型合理會把里程碑做成表格,有指令就畫成時間軸。模型之所以能遵循指令,是因為訓練資料的配方涵蓋了十二個類別的 directives,每類都用多種說法表達,讓模型學會意圖而非死記固定句式。類別包括版面([[make this a timeline]])、語氣([[be candid, no spin]])、受眾([[this is for the board]])、順序([[lead with the ask]])、省略([[no pricing]])與強調([[highlight the headline number]])等。
檢查與修復 harness:只留有把握的修正
即使訓練良好,模型偶爾還是會產出壞掉的投影片,例如標題顏色與背景相同,或兩個方塊疊在一起。因此 Palette 不直接回傳模型輸出,每份簡報都先經過 harness 處理。流程分三步:先由簡單規則修掉已知錯誤,例如會讓整份簡報變黑的錯誤色彩碼;接著渲染每一頁並測量,幾何檢查器標記出文字重疊、被裁切或跑出邊界的情況;被標記的頁面交給一個獨立的編輯模型改寫該頁程式碼。核心規則是:改寫只有在檢查器確認有改善時才會被保留,否則維持原版。這讓 harness 可以安全地跑在每一份簡報上——它能修好一頁,但不可能弄得更糟。在 131 份 PresentBench 簡報上的對照測試顯示,harness 平均帶來 3.5 分的提升。
效能評估與已知限制
評測使用 PresentBench,它從基本面、視覺設計、完整度、正確性與忠實性五個標準給分,並提供來源文件而非現成計畫,因此評測時由另一個前沿模型先從文件草擬計畫,Palette 再據此做簡報。結果顯示,Palette 在結構化內容與數字準確度主導成績的領域表現最好,於 Economics(經濟)與 Education(教育)兩個領域排名第一,勝過 NotebookLM、Manus 1.6 等七個系統;在以敘事與演講為主的 Talk 領域則排第三,有兩個閉源系統分數更高。三領域平均分數排名第二,總分 59.7,僅落後 NotebookLM 的 60.8 約 1.1 分——而這是一個單一 20B 開放權重模型達成的。限制方面,PresentBench 衡量的是簡報好不好,而非是否遵循特定設計語言,目前並沒有能評測後者的公開基準,這是團隊希望補上的缺口。
下一步與可遷移的經驗
未來的方向包括:把 harness 目前用於事後修復的廉价可驗證訊號(能否渲染、有無重疊溢出、每個事實能否追溯回 brief)轉為強化學習的獎勵,讓模型從源頭不再犯這些錯。由於程式設計師一次只處理一頁,每頁都是一段短且可獨立檢查的 rollout,很適合 GRPO 式的訓練。團隊也想改善圖表密集簡報的表現,例如用 Docling 從來源文件抽取圖片再由 harness 擺放,並探索不需重新訓練、直接從一兩個既有 .pptx 檔「換皮」的輕量模板方案。
Palette 的經驗可以延伸到任何「輸出結構可用程式碼檢查」的任務,從圖表、示意圖到 UI 版面。幾條核心教訓:把推理放進訓練資料,連被否決的選項一起學,比只學結論更有用;當教師模型出錯時,先修參考範例再加規則,因為教師模仿範例遠多於遵循指令;讓修復預設安全,只有量測到改善才保留修正;以及先建好檢查器——它既讓訓練資料可信,也讓輸出可以放心交付。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。