标签: 推理优化 (11 篇)

vLLM 语义路由器推出 Fusion 原语，让多个模型组成评审团独立推理，再由裁判模型综合出最优答案，将模型组合作为一等公民的服务范式。

Poolside 的 330 亿参数编程智能体模型 Laguna XS.2，通过 vLLM 原生集成、DFlash 投机解码和 LLM Compressor 量化，在不损失质量的情况下实现了 2-3 倍的推理加速。

英伟达发布新型扩散语言模型，通过并行生成与迭代精炼，有望突破传统自回归模型的延迟瓶颈，并赋予模型自我修正能力。

Hugging Face揭示连续批处理中CPU与GPU交替等待的瓶颈，通过异步化实现两者并行，可免费获得高达24%的推理吞吐量提升。

DeepSeek-V4通过创新的混合注意力机制，将百万token上下文窗口的推理成本和内存占用大幅降低，使其首次真正适用于长程、多步骤的AI智能体任务。

DeepSeek V4通过创新的KV缓存压缩和稀疏注意力机制，在vLLM上实现了百万Token超长上下文的高效推理，标志着长文本处理进入新阶段。

vLLM 推出弹性专家并行（Elastic EP），允许 MoE 模型推理服务在运行时动态增减 GPU 工作节点，无需重启，以应对流量波动并降低成本，这是构建容错服务的关键一步。

vLLM集成Mooncake分布式KV缓存，解决智能体工作负载中重复计算长上下文前缀的瓶颈，实现吞吐量提升3.8倍、首字延迟降低46倍的显著性能飞跃。

vLLM 的推测解码训练框架 Speculators v0.5.0 引入了 DFlash 算法，它通过单次前向传播生成草稿令牌，显著降低了推理延迟，并统一了在线与离线训练流程。

vLLM通过FP8量化KV缓存，在保证精度的前提下将长上下文推理的内存占用减半、吞吐量翻倍，但需注意特定场景的性能陷阱。

混合架构在语义理解和动态上下文追踪上显著优于纯 Transformer，但在逐字复现任务上反而落后，揭示了架构互补的明确分工。