标签: 推理框架 (2 篇)

vLLM 在发布日就原生支持了通义千问 2.4 万亿参数的开源大模型 Qwen3.8，展现了开源推理框架与前沿模型同步进化的速度。

vLLM 首日支持 TML Inkling 模型，在 4 张 GB200 上实现 380 tok/s 推理速度，完整支持 1M 上下文、多模态输入及多项架构优化。