标签: 推理加速 (6 篇)

Inkling以万亿参数、原生多模态和1M上下文窗口，成为开源领域首个能同时原生处理图像、音频、文本的大模型，架构创新让高效推理与智能体应用成为现实。

EAGLE-3 在 AMD GPU 上通过 vLLM 实现端到端推测解码，在保持模型输出无损的前提下，显著提升 Kimi-K2.5 等大模型推理速度，为开发者提供了一种实用的推理加速新选择。

TTS推理并非单步自回归，而是延迟敏感与吞吐敏感模块的异构流水线，传统大模型优化套路在此失效，需架构感知的定制调度。

Google 开源 DiffusionGemma，首次将扩散架构应用于文本生成，推理速度突破 500 token/秒，为高吞吐场景提供新范式。

vLLM 首次原生支持离散扩散语言模型，通过画布去噪与并行块生成，用算力换带宽，有望打破自回归延迟瓶颈。

EAGLE 3.1 通过引入 FC 归一化和 post-norm 设计，解决了投机解码在长上下文、不同聊天模板下的性能衰减问题，将长上下文场景的接受长度提升了一倍，显著增强了推理加速的鲁棒性和实用性。