标签: 推理框架 (1 篇)

vLLM 推出弹性专家并行技术，允许 MoE 模型推理服务在运行时动态增减 GPU 工作者，实现按需扩缩容，无需重启服务。