压缩后还能更强？4-bit模型反超原版的「愈合」新思路

起因：压缩模型的「能力折损」困境

在AI落地过程中，把大模型变小是刚需。标准做法是「先砍结构，再压精度」——先通过剪枝减少参数量，再量化到4-bit以节省内存和算力。这能大幅降低成本，但代价是模型在推理、数学和代码生成等核心能力上会明显退化。因此，一个关键的「愈合」步骤必不可少，业界主流的开源模型如GPT-OSS、Nemotron等都采用了这种「压缩-愈合」流程。然而，如何最有效地愈合一个同时经历了结构压缩和量化的模型，一直是个开放问题。

拆解：为什么传统方法会「愈合失败」？

目前主流的愈合方法有两种，但它们各有瓶颈：

1. 量化感知训练（QAT）：在训练中模拟量化噪声，让模型适应低精度。但问题是，它需要在一个已经很嘈杂的低精度前向传播中，重新跑一遍昂贵的SFT、RLHF等全流程，成本高且容易训练不稳定。

2. 量化感知蒸馏（QAD）：用一个全精度的「教师」模型来指导量化后的「学生」模型。这在只做量化时很有效，因为教师就是原模型本身。但一旦模型经历了结构压缩（比如从120B砍到60B），就不存在一个独立的、全精度的60B教师模型了。唯一可用的教师是压缩后恢复出来的bfloat16版本，而它本身已经是原模型的「降级版」。从降级的教师蒸馏，学生的能力天花板就被锁死了。

趋势洞察：从「修补」到「超越」的范式转变

QAH的突破在于一个简单但关键的改变：直接从原始的、未压缩的120B全精度模型进行蒸馏。这意味着学生模型（压缩后的60B 4-bit）的学习目标不再是那个打了折扣的恢复版，而是能力完整的「原版大师」。这打破了QAD的天花板。

实验结果极具颠覆性：经过QAH愈合的4-bit模型，在9项基准测试中有7项超越了其自身的bfloat16全精度版本。这彻底逆转了「压缩必损性能」的常识，实现了「更小、更快、更准」的三赢。

实用价值：对开发者意味着什么？

1. 部署成本可能进一步降低：如果4-bit模型能稳定地比16-bit原版更强，那么在生产环境中使用极致压缩模型的顾虑将大大减少，推理成本有望显著下降。
2. 模型压缩的评估标准需要更新：过去我们默认压缩是「保性能」，未来可能需要评估压缩后「能否超越」。这会影响模型选型和优化策略。
3. 知识蒸馏的思路被拓宽：QAH证明了，当学生架构与教师不同时（结构压缩导致），依然可以通过巧妙的训练策略实现高质量的知识迁移。这为异构模型间的知识传递提供了新思路。

反常识/意外

最反直觉的一点是：一个经过大幅压缩和量化的「小」模型，竟然能比它的「大」原版更聪明。这挑战了「模型越大越强」的朴素认知，表明在模型压缩和知识迁移领域，精巧的算法设计可能比单纯堆参数更重要。它暗示，我们可能还没有充分利用原始大模型中蕴含的知识，通过更好的「愈合」方法，这些知识可以被更高效地提炼到小模型中，甚至产生「青出于蓝」的效果。

原文地址: Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original