背景
Apertus 是瑞士團隊 swiss-ai 開發的開源大型語言模型系列，第一代 Apertus 1.0 提供 8B 與 70B 兩種參數規模，並以「權重開源、資料開源、價值觀開源、訓練細節完整公開」為主要特色。2026 年 10 月 15 日，該團隊在 Hugging Face 部落格發表了 Apertus 1.5 的發布說明，技術報告則在 10 月 11 日以 arXiv:2610.15542 預印本形式公開；實際上，更新後的 8B 與 70B 權重早在同年 7 月 24 日就已上傳至 Hugging Face，採用 Apache 2.0 授權。這一版的目標很清楚：把原本只能處理文字的模型，擴展成能同時理解影像與聲音、擁有更長上下文窗口、並在指令遵循與工具使用上更穩定的多模態模型，同時維持全套開源承諾不變。
核心內容
Apertus 1.5 不是從零開始的新模型，而是以第一代為起點的延續預訓練（continued pretraining），也就是在既有權重上繼續投入新資料。8B 模型追加了 4 兆（trillion）個文字與多模態 token，累計達 19 兆；70B 追加 2 兆，累計 17 兆。多模態能力以早期融合（early-fusion）方式加入：影像與音訊被轉成離散 token，和文字 token 放進同一條序列，而不是另外掛一個獨立的視覺編碼器。影像使用 Emu3.5 tokenizer（影像語彙切分器，負責把像素切成模型可讀的符號單位），一張 512×512 的圖片會變成 1,024 個 token；音訊使用 WavTokenizer，每秒產生 40 個 token。由於只擴充語彙、網路架構維持不變，訓練仍能以純文字的速度進行；模型可以讀懂影像與音訊，但生成輸出仍然只有文字。
其餘升級涵蓋幾個面向。上下文窗口（context window，指模型一次能讀進並記住多少 token）提高到 262,144，是 1.0 的四倍。可選的思考模式（thinking mode）讓模型在作答前先自行推理，在 AIME 這類重推理的數學競賽基準上帶來額外提升。指令遵循（instruction-following，即照著使用者給的條件回答的能力）改善後，回應變得更可預期；工具使用（tool use，指呼叫外部 API 與函式的整合能力）也經過專門訓練，能更有效地運用外部資源。此外，模型對 Apertus Charter（專案公開的價值與原則憲章）的遵循度進一步提高。
訓練與對齊流程
預訓練分成四個階段推進：先用非配對資料，也就是純文字加上獨立的影像與音訊，讓模型接觸新模態；再用圖文說明對、音訊轉錄對這類配對資料，把新模態與語言對齊；接著進入 cooldown 階段，改用品質更高、數學與程式碼比重更大的資料；最後逐步把上下文窗口從 8k 擴展到 262k。整體而言，一半以上的訓練 token 仍是純文字，文字資料則以 FineWeb2-HQ+、FinePDFs 與 Nemotron-CC 等來源更新，目的在於守住 1.0 已具備的語言能力。所有新資料（含多模態）都沿用相同門檻：公開可取得、授權寬鬆、robots.txt 的排除請求被回溯遵守，每一個來源都列在 apertus-data-transparency 中。
後訓練（post-training，指預訓練完成後再讓模型學會照指令做事的階段）共五個步驟：SFT → 長上下文 SFT → RL → DPO → Charter 對齊（SDPO）。SFT（監督式微調）使用 370 萬筆文字樣本搭配影像與語音資料，且只對模型原本就解不出的題目補上推理軌跡，工具使用資料限於實際執行驗證過的軌跡；長上下文 SFT 在完整 262k 窗口上進行，用以修復短上下文微調所侵蝕的長文能力。RL（強化學習）採用可驗證獎勵（RLVR，以能自動檢查對錯的題目當作回饋），約 35 萬題涵蓋數學、程式碼、指令遵循、多語與視覺，思考模式開與關混合訓練。DPO（Direct Preference Optimization，直接偏好最佳化）用評審打分的偏好對改善聊天品質、工具使用與安全；SDPO（自蒸餾偏好最佳化）則透過評審回饋與自我蒸餾把模型對齊 Charter，而且只套用在 8B 版本，70B 並未做這一步。
評測與可重現性
評測範圍同步擴大，除原本的文字基準外，新增多模態（影像與音訊）與思考模式評測。多模態部分透過 MLLM-eval-suite 管線執行，它整合了 lmms-eval 與 VLMEvalKit 兩個主流多模態評測框架；文字部分則基於 lm-evaluation-harness 的分支。結果顯示 Apertus 1.5 仍落後於前沿開源權重模型，但 8B 在指令遵循與多語任務上勝過同級開源模型，多模態表現接近 Gemma 4 12B，在空間理解與文件、圖表理解上具競爭力；瑞士法律任務表現與領先開源權重模型相當，Last Translation Benchmark 上 8B 的機器翻譯能力可比 GPT-OSS-20B，並優於 Claude Haiku 4.5 與 Google Translate。
可重現性方面，專案與 EvalEval Coalition 合作，以 EEE（Every Eval Ever）schema 發布評測卡，除了分數，還記錄由誰執行、模型如何存取、生成設定與各指標應如何解讀；這套基礎設施正是英國 AI Security Institute 用來公開評測的同一套。根據 EvalEval 的對照，EEE schema 能涵蓋歐盟 AI 法案第 55 條與 GPAI 行為準則所要求的 60 項評測報告要素中的 56 項。技術報告公開了完整配方、消融實驗與資料混合比例，中間檢查點（base、SFT、RLVR、DPO）也全部上架，讓人得以檢視每一階段如何改變模型行為。報告的一個發現值得注意：SFT 時混入多模態資料可同時改善各模態表現，而多模態推理軌跡帶來的數學收益能在後續純文字強化學習中保留，且優勢一路持續到訓練結束。
影響與限制
限制依然清楚：音訊理解仍是實驗性質，模型只能輸出文字，整體表現距離前沿開源權重模型尚有差距，Charter 對齊也只覆蓋 8B。實務層面，Proton Lumo 與 Infomaniak Euria 已整合 1.5，Swisscom、Infomaniak、Phoeniqs 等業者也宣布提供 API，Hugging Face 下載量已達 500 萬次。在蘇黎世 AI+X Summit 上，團隊公布 Apertus 2.0 路線圖：改用稀疏／MoE（混合專家）架構、總參數約 600 億，延長訓練日程，並以代理人、數學與程式碼為優先方向。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。