标签: 硬件适配 (1 篇)

vLLM在模型发布首日就实现了对万亿参数MoE模型Kimi K3的高效支持，通过混合缓存和推测解码等关键优化，为超大模型落地铺平了道路。