标签: 模型量化 (1 篇)

vLLM 团队对 TurboQuant 进行了大规模基准测试，发现其极低比特压缩虽能节省显存，但会显著牺牲推理速度和准确性，而 FP8 量化仍是当前最佳平衡点。