标签: GPU (1 篇)

Hugging Face揭示连续批处理中CPU与GPU交替等待的瓶颈，通过异步化实现两者并行，可免费获得高达24%的推理吞吐量提升。