Cohere 最近推出了 North Mini Code，這是他們首個專為開發者與 AI Agent（智能體）設計的模型。對於 Junior 工程師來說，最需要關注的不是它的參數大小，而是它如何解決「讓 AI 像工程師一樣操作電腦」這個實務問題。
傳統的程式碼模型大多專注於「生成一段函數」或「補全程式碼」，但 North Mini Code 的目標是 Agentic Coding，也就是讓模型能自主使用終端機（Terminal）、編輯檔案、執行測試並根據錯誤訊息自我修正，完成端到端的軟體工程任務。
模型架構與高效能設計
North Mini Code 採用了 Mixture-of-Experts (MoE，混合專家模型) 架構。簡單來說，MoE 就像是一個大型專家團隊，雖然總參數有 30B，但每次處理 Token 時只會激活其中 8 個專家（共 3B 參數）。這種設計能讓模型在保持強大能力的同時，大幅降低推理成本並提高速度。
在注意力機制上，它使用了 interleaved sliding-window attention（交錯滑動視窗注意力）與 global attention（全局注意力）的組合。這解決了長文本處理的效能瓶頸，讓模型在處理大型程式碼庫時，既能關注局部的語法細節，又能掌握整體的專案結構。
針對 Agent 能力的訓練策略
要讓 AI 成為合格的 Agent，不能只靠閱讀程式碼，必須讓它在真實環境中「練習」。Cohere 採取了三階段的訓練流程：
第一階段：基礎 SFT (Supervised Fine-Tuning，監督式微調) 使用包含程式設計、邏輯推理與指令遵循的大量數據進行初步訓練，確保模型具備基礎的通用能力。
第二階段：針對 Agent 的強化 SFT 這階段使用了約 45 億個 Token 的高品質數據，重點在於「可驗證的工具調用」。模型學習如何正確地呼叫 API、操作終端機，且這些操作必須是可執行且正確的。
第三階段：RLVR (Reinforcement Learning with Verifiable Rewards，具可驗證獎勵的強化學習) 這是最關鍵的一步。不同於一般的 RLHF（由人類打分），RLVR 使用「單元測試」作為獎勵信號。如果 AI 修改完程式碼後，單元測試通過了，它就獲得正向獎勵。這種基於結果的硬性指標，能有效減少 AI 的幻覺（Hallucination），讓它學會如何透過不斷試錯來解決複雜問題。
解決跨工具框架的適應性問題
在實務中，不同的 Agent 框架（例如 SWE-Agent, OpenCode）對工具的定義不同。有的框架使用專屬的 CLI 指令，有的則使用結構化的 JSON 格式。
如果模型只在單一框架下訓練，會產生過擬合，導致換個工具就失效。Cohere 透過在 SFT 階段引入多種不同框架的數據，強迫模型理解「指令」與「行為」之間的邏輯，而不是死背某個框架的模板。這使得 North Mini Code 具備極強的泛化能力，能快速適應不同的開發環境。
工程實務上的創新：非同步 RL 訓練
訓練 Coding Agent 最大的痛點是「執行時間不一致」。有些任務 10 秒就跑完，有些則需要幾分鐘。如果使用同步訓練，訓練器必須等待最慢的那個任務完成才能進入下一輪，效率極低。
Cohere 引入了非同步 RL 迴圈，將「採樣（Sampling）」與「學習（Learning）」解耦。利用 vLLM 作為側車（Sidecar）持續產生執行軌跡，並透過 FIFO 隊列緩衝，讓訓練器不需要等待慢速任務也能持續更新權重。這種工程優化大幅提升了訓練吞吐量。
總結與影響
North Mini Code 的出現，標誌著 AI 從單純的「程式碼生成器」轉向「自主開發助手」。它不僅在 SWE-Bench 等軟體工程基準測試中表現優異，更重要的是它證明了透過「可驗證獎勵」與「多框架訓練」，可以打造出一個穩定、低幻覺且能實際操作環境的開發模型。
來源：https://huggingface.co/blog/CohereLabs/introducing-north-mini-code
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。