标签: 推理优化 (20 篇)

SkyRL 团队提出 IsoExec，通过统一执行抽象和比特级一致的内核，消除了强化学习训练与推理引擎之间的数值漂移问题，让算法调试和硬件优化变得简单可靠。

Liquid AI为LFM2.5系列模型发布DSpark草稿模型，通过推测解码技术，在不损失输出质量的前提下，将推理速度提升高达3.2倍。

不压缩经验、按需投放，ALTK-Evolve 用检索式指南大幅降低智能体推理时的 Token 开销，揭示记忆工程从“堆上下文”向“精准投递”演进。

vLLM 团队利用 Blackwell 优化的 GDN 内核、混合状态传输和异步调度，将 Qwen3.5 的推理吞吐推至 25000 tokens/秒/GPU，背后的优化思路比数字更精彩。

OpenAI 用 GPT-5.6 Sol 优化自身推理，让 Luna 模型成本骤降 80%，首次在廉价市场击败谷歌，揭示了 AI 自我优化的产业趋势。

vLLM 语义路由从单一模型选择演进为混合模型系统架构，通过统一接口协调多个专用模型，实现训练、评估、推理一体化。

vLLM 通过公开接口集成 TileRT，实现可插拔解码引擎，让延迟敏感型应用无需牺牲生态即可获得极致每用户解码速度。

腾讯混元将生产级高性能 Attention 和 MoE 算子贡献至 vLLM，在 H20 上针对混合长度解码和 MoE 模型实现最高 2.95 倍 attention 与 1.59 倍 MoE 加速，端到端推理延迟降低最高 24%。

vLLM 语义路由器推出 Fusion 原语，让多个模型组成评审团独立推理，再由裁判模型综合出最优答案，将模型组合作为一等公民的服务范式。

Poolside 的 330 亿参数编程智能体模型 Laguna XS.2，通过 vLLM 原生集成、DFlash 投机解码和 LLM Compressor 量化，在不损失质量的情况下实现了 2-3 倍的推理加速。

英伟达发布新型扩散语言模型，通过并行生成与迭代精炼，有望突破传统自回归模型的延迟瓶颈，并赋予模型自我修正能力。

Hugging Face揭示连续批处理中CPU与GPU交替等待的瓶颈，通过异步化实现两者并行，可免费获得高达24%的推理吞吐量提升。

DeepSeek-V4通过创新的混合注意力机制，将百万token上下文窗口的推理成本和内存占用大幅降低，使其首次真正适用于长程、多步骤的AI智能体任务。

OpenAI大幅降价不只是价格战，而是用更聪明的模型（Sol）重写了底层推理内核，成本直降20%，这揭示了一个新趋势：AI正在成为自己基础设施的优化师。

DeepSeek V4通过创新的KV缓存压缩和稀疏注意力机制，在vLLM上实现了百万Token超长上下文的高效推理，标志着长文本处理进入新阶段。

vLLM 推出弹性专家并行（Elastic EP），允许 MoE 模型推理服务在运行时动态增减 GPU 工作节点，无需重启，以应对流量波动并降低成本，这是构建容错服务的关键一步。

vLLM集成Mooncake分布式KV缓存，解决智能体工作负载中重复计算长上下文前缀的瓶颈，实现吞吐量提升3.8倍、首字延迟降低46倍的显著性能飞跃。

vLLM 的推测解码训练框架 Speculators v0.5.0 引入了 DFlash 算法，它通过单次前向传播生成草稿令牌，显著降低了推理延迟，并统一了在线与离线训练流程。

vLLM通过FP8量化KV缓存，在保证精度的前提下将长上下文推理的内存占用减半、吞吐量翻倍，但需注意特定场景的性能陷阱。

混合架构在语义理解和动态上下文追踪上显著优于纯 Transformer，但在逐字复现任务上反而落后，揭示了架构互补的明确分工。