AI代理

從不存在的模型到自製小模型:ML-intern 如何用百餘美元打造六個專用模型

作者

該實踐展現了自主代理在標準化 ML 工程上的高度實用價值,其關鍵優勢在於將成本守門、煙霧測試與基準線量測結構化為 Prompt 約束,從而以極低預算將龐大模型成功壓縮為邊緣可用版本。然而,此架構目前嚴格依賴人類預先釐清已知事實與提供乾淨資料,若面對未結構化的複雜問題或需深度演算法創新的情境,該流程仍容易受限於特定評估指標的局部最佳解,尚無法構成完全獨立的端到端研究替代方案。

從不存在的模型到自製小模型:ML-intern 如何用百餘美元打造六個專用模型

背景:當理想模型不存在,或大到無法隨身使用

Hugging Face 部落格在 2026 年 10 月 8 日刊出一篇由 yuvraj sharma 與 Abubakar Abid 撰寫的實作紀錄,描述一種新的模型開發流程:先確認需求,再讓代理系統 ML-intern 規劃、訓練與發布。起點是一個很具體的困擾。Qwen-Image 2.1 內建的 prompt rewriter 是 9B 模型,執行時需要約 20 GB 記憶體,而且在寫出一段文字前會先思考數千個 token。作者想要的是同樣功能的小型版本,但在 Hugging Face Hub 上只找到同一個 9B 模型的壓縮複製品,沒有真正縮小、可在 CPU 上運作的替代品。於是他改用自然語言描述需求,交給 ML-intern。隔天得到一個 0.8B 版本,能在 CPU 上執行,輸出有效率達 99.7%,使用的 token 約為老師模型的四分之一。整個專案包含用 9B 模型標註 8,797 個範例請求,運算費用約 16 美元。

這段經驗延伸成六個專案、七個模型。每個專案都從 HuggingChat 中一則開啟 ML-intern 模式的訊息開始,最後在 Hub 上以公開模型與模型卡中的評估結果結束。ML-intern 會自行規劃工作,在花錢前先詢問預算,正式訓練前先跑小規模測試,再使用 Hugging Face 的硬體訓練、評估與發布。

核心運作:預算、基準線與煙霧測試

使用者投入最多心力的地方是第一則指令。第一個專案的指令約 450 字,到第六個專案已接近 2,000 字,因為每個專案都會回饋出下一輪想補上的細節。七份指令都公開在 GitHub 的 yvrjsharma/ml-intern-prompts。指令開頭用一行說明想法與目的,接著指名資料集、基礎模型與訓練腳本。已經查證過的資訊會放在「Verified facts, do not re-derive」這個標題下,避免代理把預算花在重新推導已知事實。例如相機角度 LoRA 的指令就列出哪個訓練器剛加入透明圖片支援,以及哪些未解的 GitHub issue 會讓備用訓練器帶來風險。LoRA 是一種低秩適配微調方法,能在不大幅增加參數的情況下調整既有模型。

有兩類指令特別關鍵。第一是要求訓練前的基準線,例如柑橘專案要求「在訓練前先回報基礎模型在同一指標上的零樣本分數,才能看出增益」。沒有基準線,只會得到一個訓練完的模型,卻不知道它是否比原本更好。第二是附帶檢查條件的煙霧測試。圖像 LoRA 會先跑 50 步,確認儲存的權重真的改變,再付費跑完整訓練。指令最後會定義交付物與成本上限,包括模型卡應包含什麼,以及像「總支出上限 12 美元,超過前先問我」這樣的限制。ML-intern 每個任務都從零美元預算開始,必須取得許可才能執行付費工作,因此支出上限會被嚴格執行。若沒有指定預算,它會依專案規模提出幾條路徑並詢問偏好。

六個專案揭示的技術路線

第一個是柑橘病害視覺語言模型。一般視覺模型能描述葉片變黃,卻很難判斷是螨害或鎂缺乏,也難以給出生物與非生物防治建議。作者用 Claude 整合 Project-AgML 在 Hub 上託管的三個來源,建立 citrus-disease-vlm-instruct 資料集,內含 3,017 張標註圖片,涵蓋 21 種害蟲、疾病、營養缺乏與處理方式。ML-intern 用這些範例微調 Qwen3.5-2B,並事先量測基礎模型。在 335 張測試照片上,基礎模型答對問題的比率是 14.9%,微調後在單張 A10G 上訓練兩個 epoch,提升到 52.8%,運算成本約 1.90 美元。

第二個是角色繪圖 LoRA。Huggy 是 Hugging Face 品牌素材中的扁平風格角色,既有圖像模型並不認識它。作者要求以 FLUX.2 klein base 4B 為基礎,使用 Chunte/huggy_for_training 的 84 張附標題圖訓練 LoRA。ML-intern 每 100 步存一次 checkpoint,並用同一組提示詞分別出圖,方便比較。第 200 步是 Huggy 首次完全符合角色設定;從第 500 步之後,Huggy 的風格開始滲入與它無關的提示詞。這個 LoRA 也能用在蒸餾版 klein 模型的 4 步生成上,成本約 7.60 美元。

第三個是相機角度 LoRA。這類模型可接收一張物件照片,要求從左側 45 度觀看。Qwen-Image 2.1 發布幾天後仍沒人做出來,於是 ML-intern 以 Google Scanned Objects 的 1,030 個掃描家居物件為基礎,每個物件渲染 24 個角度,共 24,722 張透明圖片,CPU 作業只花幾美分。後續選定 461 個物件訓練、40 個測試,並建立 1,844 組前後對照,平均分布在 23 種相機指令上。訓練在單張 A100 上跑 2,000 步,約 90 分鐘、3.75 美元。整個專案約半天、48 個工作,包含因缺少套件或路徑錯誤而失敗、由 ML-intern 重新提交的工作,總運算成本約 16 美元。

Doodle-in LoRA 是另一個例子。使用者上傳一張帶有品紅色塗鴉的照片,再給一段命名物件的簡短提示,LoRA 會用該物件取代塗鴉,同時保持原本的光線與構圖。由於沒有現成資料集,指令直接描述如何製作:從 Open Images 的真實照片開始,用 LaMa inpainting 模型移除一個物件,在原本位置畫上塗鴉,未修改的照片則作為目標。ML-intern 先在 CPU 沙箱中撰寫並測試配對腳本,再以 GPU 工作執行,沿途記錄每張來源照片的作者與授權。它建立 6,042 組訓練配對與 160 組測試配對,其中 40 組來自完全未參與訓練的 23 個物件類別。訓練前先量測基礎模型本身以及搭配 Viggle turbo LoRA 的表現,並確認批次編輯會產生相同圖片,以降低評估成本。訓練在單張 A100 上跑 2,000 步,花 1 小時 38 分、約 4 美元,最後用 48 組測試配對比較 checkpoint,選出第 500 步。搭配 Viggle turbo LoRA 的 6 步生成,67.5% 的物件在繪製位置被偵測到,每次編輯約 4.7 秒。來自 23 個未見類別的物件成功率是 65.0%,其他類別是 64.2%。專案花了一天多、59 個工作,總運算成本約 24 美元。

Pocket Rewriter 則回到最初的起點。ML-intern 先用小型 instruct 模型透過 Inference Providers 產生 8,797 個短圖像請求,涵蓋照片、海報、標誌、資訊圖等,約三分之一要求引號中的精確文字,許多不是英文。9B 老師模型在單張 A100 上花 2 小時 37 分、約 6.50 美元改寫全部請求,過濾品質後選出 1,840 個範例作為訓練資料。0.8B 與 2B 學生模型分別在 A10G 上訓練 12 與 18 分鐘,兩者合計 0.75 美元。0.8B 版本另外以 812 MB 的 GGUF 檔案發布,GGUF 是一種可在 CPU 上執行的量化模型格式。專案約 11 小時、24 個工作,總運算成本約 16 美元。

Agate-Preview-002-4step 是蒸餾案例。Logolabs 的 Agate Preview 002 是 260M 參數的文字生圖模型,小到能在瀏覽器執行,但需要 50 步並搭配 guidance,也就是引導強度設定,等於每張圖 100 次網路傳遞。作者要求蒸餾成只需 4 次傳遞。第一次執行快取 155,000 張訓練圖片為 latents,也就是潛在表示,把 guidance 烘焙進模型,再分階段把步數從 16 降到 8、再到 4,全程使用 A100。4 步學生模型在相同 4 步設定下,於 GenEval 與 FID 上勝過老師模型,之後匯出為瀏覽器用的 ONNX,ONNX 是一種跨框架的模型交換格式。這次執行約 13 小時、22 美元。第二次執行要求進一步改善 4 步學生,於是老師以 16 步產生 24,000 組新圖片對,微調約 1 小時。GenEval 從 0.509 提升到 0.536,老師在 50 步下是 0.563,而學生只需 4 步,運算量為四分之一。ML-intern 重新匯出瀏覽器版本,第二次約 8 小時,兩次總運算成本約 37 美元。

影響與限制

六個專案的 GPU 與 CPU 工作費用合計約 103 美元。這個數字只涵蓋各次工作回報的運算費用,不含人力設計指令、檢查結果與來回決策的時間。流程能成立,依賴幾項條件:需求必須被描述得足夠具體,已知事實要先整理,訓練前要有基準線,正式付費前要有煙霧測試,成本上限必須事先設定。ML-intern 會規劃、詢問預算、先跑小測試,再訓練、評估與發布,但它不是全自動取代判斷。專案中仍有失敗工作需要重新提交,模型風格也可能在過度訓練後滲入無關提示詞。評估指標如 GenEval、FID 或物件偵測率,只反映特定測試範圍,無法保證在其他情境同樣可靠。

這種做法的意義在於,把「模型不存在」從一個阻礙,轉變成可執行的描述與驗證流程。使用者不需要先擁有大型運算資源,也不需要從頭撰寫訓練程式,而是從一個希望存在的模型與一份可取得或可描述的資料集出發,給出小額預算,要求基準線與煙霧測試,讀完回報再決定是否提高上限。對需要特定領域視覺判斷、特定角色風格、特定相機角度或特定裝置端模型的人來說,這提供了一條成本可控的實驗路徑,但前提是清楚知道自己要解決什麼問題,並願意檢查每個階段的產出。

本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。