标签: AI推理 (2 篇)

Hugging Face将低成本推理平台DeepInfra纳入其Inference Providers生态，为开发者提供了更多模型选择、更灵活的计费方式和更统一的调用接口。

开源推理引擎vLLM在多个前沿开源大模型的部署性能上击败了所有闭源竞品，其核心优化技术（如算子融合）已公开，揭示了开源在AI推理领域的巨大潜力。