标签: 在线服务 (1 篇)

vLLM 通过公开接口集成 TileRT，实现可插拔解码引擎，让延迟敏感型应用无需牺牲生态即可获得极致每用户解码速度。