标签: 大语言模型推理 (1 篇)

EAGLE-3 在 AMD GPU 上通过 vLLM 实现端到端推测解码，在保持模型输出无损的前提下，显著提升 Kimi-K2.5 等大模型推理速度，为开发者提供了一种实用的推理加速新选择。