在大型語言模型（LLM）的部署過程中，降低運算成本與記憶體占用一直是核心挑戰。目前的業界標準做法通常採取兩階段壓縮：首先是結構化壓縮，透過移除模型中的層級、注意力頭（Heads）或神經元來減少參數數量；接著進行量化（Quantization），將權重從高精度的 bfloat16（一種 16 位元浮點數格式，用於平衡數值範圍與精度）降低至 4-bit。雖然這種做法能大幅縮減模型體積，但往往會導致模型在推理、數學解題與程式碼生成等關鍵能力上出現系統性退化。為了彌補這些損失，開發者通常會在正式上線前加入一個恢復步驟，稱為修復（Healing）。
然而，傳統的修復方法在面對同時經過結構壓縮與量化的模型時，往往效果不佳。Multiverse Computing 在其研究中指出，目前的修復主流是量化感知訓練（Quantization-Aware Training, QAT），這種方法在正向傳播中插入偽量化算子，讓模型在微調過程中學習忍受低精度表示。但 QAT 的成本極高，需要重新執行昂貴的多階段後訓練過程，且若訓練時間過長，模型性能容易變得不穩定而崩潰。另一種替代方案是量化感知蒸餾（Quantization-Aware Distillation, QAD），它利用一個凍結的全精度教師模型來指導量化後的學生模型。但問題在於，一旦模型經過結構化壓縮，就再也沒有一個完全對應的、全精度的同結構模型可以作為教師，導致學生模型被限制在一個已經退化的基準線之下。
為了突破這個天花板，Multiverse Computing 提出了量化感知修復（Quantization-Aware Healing, QAH）。QAH 的核心創新在於改變了蒸餾的對象：它不再從結構壓縮後的恢復版本中學習，而是直接從最初的、未經壓縮的全尺寸原形模型（Original Pre-compression Model）進行蒸餾。由於教師模型的輸出分佈（Logits）與其內部架構無關，因此即使教師模型是 120B 參數且全精度，學生模型是 60B 參數且為 MXFP4（一種 4 位元微縮浮點數格式），兩者依然能透過 KL 散度（KL-Divergence，一種衡量兩個機率分佈差異的指標）進行知識轉移。
在 QAH 的框架下，量化不再是一個在修復後才進行的損耗性後處理步驟，而是一次全新的蒸餾過程。4-bit 學生模型在過程中並非僅是在補償量化造成的損失，而是在吸收先前結構修復階段未能完全轉移的深層資訊。此外，由於 KL 蒸餾將學生模型錨定在一個固定的教師分佈上，一旦模型達到性能峰值，就不會像傳統的交叉熵損失函數（Cross-Entropy Loss）那樣持續推向硬標籤而導致模型漂移，這極大地提升了訓練的穩定性。針對長文本處理的需求，QAH 還採用了分塊 KL 散度損失計算，讓 32k token 的長文本修復能在有限的 GPU 記憶體預算內完成。
實測結果顯示，QAH 展現了驚人的效果。以將 GPT-OSS 120B 模型壓縮至 60B 並量化為 MXFP4 為例，該模型在 9 項基準測試中的 7 項表現優於其對應的 bfloat16 全精度版本。最顯著的提升出現在最容易受損的領域：長文本推理能力提升了 7.4 分，數學能力提升了 5.6 分。更令人驚訝的是，這個體積僅為原形一半、記憶體占用僅約四分之一的 4-bit 模型，在 LiveCodeBench 程式碼測試中甚至超越了 120B 的全尺寸原形教師模型。
從實務部署的角度來看，QAH 徹底翻轉了量化與性能的關係。傳統觀點認為量化是為了效率而必須支付的性能稅，但 QAH 證明了量化可以成為一種額外的教學機會。與 QAT 相比，QAH 達到性能峰值的速度快了約 7 倍（約 100 步對比 700 步），且在達到峰值後能保持穩定，無需精確的早停（Early Stopping）機制來防止性能崩潰。這意味著開發團隊可以用更低的硬體成本、更短的訓練時間，部署出一個比原版更小、更快且更精準的模型。
儘管 QAH 成效顯著，但其限制在於極端長文本的容量損失。在 AA-LCR 等極端長文本基準測試中，雖然 QAH 較 bfloat16 版本有顯著提升，但與原形 120B 教師模型相比仍有較大差距。這顯示出結構化壓縮導致的參數容量損失，在某些極端任務中依然是最難完全恢復的挑戰。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。