vLLM与Novita AI联手:PegaFlow如何让大模型推理的“记忆”独立存活?
vLLM与Novita AI合作推出PegaFlow,将KV缓存从推理进程中剥离为独立服务,通过三级缓存架构,实现了启动速度翻倍和吞吐量大幅提升。
vLLM Blog · 2026年5月18日
vLLM与Novita AI合作推出PegaFlow,将KV缓存从推理进程中剥离为独立服务,通过三级缓存架构,实现了启动速度翻倍和吞吐量大幅提升。
Meta分享其后量子密码迁移框架,提出PQC迁移成熟度分级,强调应立即行动以防范“先存储,后解密”攻击。