标签: 推理基础设施 (1 篇)

vLLM 提出将多模型协同封装在推理服务层，通过 API 透明调度，让应用以最低成本获得稳定高质量输出。