标签: vLLM (10 篇)

vLLM 引入自适应验证机制，根据置信度动态调整验证预算，使投机解码在高并发场景下依然有效，减少调参需求。

vLLM 团队利用 Blackwell 优化的 GDN 内核、混合状态传输和异步调度，将 Qwen3.5 的推理吞吐推至 25000 tokens/秒/GPU，背后的优化思路比数字更精彩。

vLLM 开源支持 P-EAGLE 等并行推测解码算法，打破自回归草稿生成瓶颈，实现更高接受率与更简化的工程调参。

EAGLE-3 在 AMD GPU 上通过 vLLM 实现端到端推测解码，在保持模型输出无损的前提下，显著提升 Kimi-K2.5 等大模型推理速度，为开发者提供了一种实用的推理加速新选择。

腾讯混元将生产级高性能 Attention 和 MoE 算子贡献至 vLLM，在 H20 上针对混合长度解码和 MoE 模型实现最高 2.95 倍 attention 与 1.59 倍 MoE 加速，端到端推理延迟降低最高 24%。

ServiceNow AI团队在将强化学习训练从vLLM V0迁移到V1时，发现推理引擎的微小差异会导致训练崩溃，通过修复四个关键后端问题恢复了训练稳定性。

vLLM 团队对 TurboQuant 进行了全面基准测试，发现其在多数场景下不如 FP8 量化，仅在极端内存受限的边缘部署中可能有价值。

vLLM 推出弹性专家并行（Elastic EP），允许 MoE 模型推理服务在运行时动态增减 GPU 工作节点，无需重启，以应对流量波动并降低成本，这是构建容错服务的关键一步。

vLLM 的推测解码训练框架 Speculators v0.5.0 引入了 DFlash 算法，它通过单次前向传播生成草稿令牌，显著降低了推理延迟，并统一了在线与离线训练流程。

vLLM通过FP8量化KV缓存，在保证精度的前提下将长上下文推理的内存占用减半、吞吐量翻倍，但需注意特定场景的性能陷阱。