标签: 推理加速 (4 篇)

TTS推理并非单步自回归，而是延迟敏感与吞吐敏感模块的异构流水线，传统大模型优化套路在此失效，需架构感知的定制调度。

Google 开源 DiffusionGemma，首次将扩散架构应用于文本生成，推理速度突破 500 token/秒，为高吞吐场景提供新范式。

vLLM 首次原生支持离散扩散语言模型，通过画布去噪与并行块生成，用算力换带宽，有望打破自回归延迟瓶颈。

EAGLE 3.1 通过引入 FC 归一化和 post-norm 设计，解决了投机解码在长上下文、不同聊天模板下的性能衰减问题，将长上下文场景的接受长度提升了一倍，显著增强了推理加速的鲁棒性和实用性。