标签: 缓存系统 (1 篇)

vLLM与Novita AI合作推出PegaFlow，将KV缓存从推理进程中剥离为独立服务，通过三级缓存架构，实现了启动速度翻倍和吞吐量大幅提升。