在目前的 AI 開發生態中，NVIDIA 的 CUDA 幾乎是業界標準，導致許多開源專案在設計時就預設使用者擁有 NVIDIA GPU。然而，隨著 AMD 推出強大的硬體與 ROCm 平台，開發者不再被單一生態系綁定。本篇文章將分享如何利用 AMD Instinct MI300X 與 ROCm 平台，將 Qwen3-1.7B 模型微調為專精於臨床醫療問答的 MedQA 模型，並探討在非 CUDA 環境下開發 LLM 的實務細節。
硬體核心：AMD ROCm 與 MI300X 的優勢
ROCm 是 AMD 開發的開放軟體平台，旨在提供類似於 CUDA 的 GPU 加速運算能力，讓 PyTorch 等深度學習框架能直接在 AMD GPU 上執行。
本次實作使用的 AMD Instinct MI300X 擁有高達 192 GB 的 HBM3 高頻寬記憶體。對於 LLM 微調而言，視訊記憶體（VRAM）通常是最大的瓶頸，直接決定了 Batch Size（批次大小）與 Sequence Length（序列長度）。由於記憶體極其充裕，開發團隊可以直接使用 fp16 全精度訓練，完全不需要使用 4-bit 或 8-bit 的量化（Quantization）技術。這不僅簡化了開發流程，也避免了量化可能帶來的模型精度損失。
技術路徑：LoRA 輕量化微調
為了在短時間內讓通用模型具備醫療專業知識，本專案採用了 LoRA（Low-Rank Adaptation，低秩適配）。
LoRA 的核心概念是不更動原始模型的大量參數，而是在注意力機制層（Attention Layers）中插入兩個較小的可訓練矩陣。訓練時僅更新這兩個小矩陣，原始權重保持凍結。在本次實作中，Qwen3-1.7B 總共有 15 億個參數，但透過 LoRA，僅需訓練約 220 萬個參數（約佔 0.15%），就能達到顯著的微調效果。這種做法極大地降低了運算成本，並將訓練時間縮短至 5 分鐘內。
數據處理與提示詞工程
模型使用的是 MedMCQA 數據集，這是一個基於印度醫療入學考試的大規模多選題集。為了讓模型學會不僅僅是選擇正確選項，還要提供臨床推理過程，開發團隊設計了嚴格的提示詞模板（Prompt Template）。
模板結構包含問題、四個選項（A 到 D）、正確答案以及詳細的解釋。在訓練階段，模型會學習完整的序列；而在推論階段，則給予模型問題與選項，讓其自主生成答案與理由。這種引導方式能將模型從單純的分類器轉變為具備解釋能力的臨床助手。
從 CUDA 遷移到 ROCm 的實務坑洞與對策
對於習慣 NVIDIA 環境的工程師來說，遷移到 ROCm 最擔心的通常是相容性。事實證明，只要環境變數設定正確，大部分 HuggingFace 的工具鏈（如 Transformers, PEFT, TRL, Accelerate）都能無縫接軌。
在實作過程中，團隊遇到了幾個關鍵問題：
首先是 GPU 偵測失效。這需要透過設定 ROCR_VISIBLE_DEVICES 與 HIP_VISIBLE_DEVICES 等環境變數來明確指定硬體路徑。
其次是數值不穩定問題。在嘗試使用 bfloat16 精度時出現了 NaN Loss（損失函數變為非數值），這在混合精度訓練中很常見。解決方案是切換回標準的 fp16，隨即恢復穩定。
第三是量化工具的缺失。在 NVIDIA 環境中常用的 bitsandbytes 庫在 ROCm 上支援度較低。但由於 MI300X 記憶體巨大，直接捨棄量化方案反而成了最簡單且最高效的解決途徑。
最後是 Tokenizer 的配置。若發現模型輸出重複或混亂，通常是 padding_token 未正確設定。將 pad_token 設為 eos_token 並調整填充方向可有效解決此問題。
總結與啟發
MedQA 的實作證明了在 AMD 硬體上構建專業 AI 模型已變得非常簡單。透過 ROCm 與 HuggingFace 生態系的結合，開發者可以使用與 CUDA 幾乎相同的代碼完成任務。
對於工程師而言，這次經驗提供了兩個重要啟發：第一，硬體資源的充足（如 192GB VRAM）可以直接消除掉許多複雜的軟體優化需求（如量化），讓開發回歸到模型本身；第二，在醫療等高風險領域，模型提供正確答案的同時，必須能產出可解釋的推理過程，這才是 AI 具備臨床價值的關鍵。
來源：huggingface.co
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。