vLLM 迎来腾讯混元高性能算子：混合长度解码与 MoE 推理大幅提速
腾讯混元将生产级高性能 Attention 和 MoE 算子贡献至 vLLM，在 H20 上针对混合长度解码和 MoE 模型实现最高 2.95 倍 attention 与 1.59 倍 MoE 加速，端到端推理延迟降低最高 24%。
vLLM Blog · 2026年7月6日
腾讯混元将生产级高性能 Attention 和 MoE 算子贡献至 vLLM，在 H20 上针对混合长度解码和 MoE 模型实现最高 2.95 倍 attention 与 1.59 倍 MoE 加速，端到端推理延迟降低最高 24%。