当大模型学会“猜答案”：EAGLE-3 推测解码如何让推理加速 2 倍？

起因：从“一字一顿”到“连蒙带猜”

最近大模型圈有个趋势越来越明显：模型参数竞赛正在向推理效率竞赛转移。毕竟，一个 600B 的 MoE 模型再聪明，如果每秒只能吐 10 个 token，用在聊天机器人里用户早就跑了。这种背景下，推测解码（Speculative Decoding）突然从学术论文走进了工程实践。而 vLLM 与 AMD 合作在 AMD Instinct GPU 上跑通 EAGLE-3 的完整流程，标志着这项技术真正具备了生产级可用性。

简单说，推测解码就像考试时先让一个“快手”把可能的答案先写出来，然后让“学霸”过一遍，正确的直接保留，错了再改。整个过程模型的最终输出分布完全不变（无损），但原本需要 1000 次大模型推理的生成任务，可能只要 500 次就能完成。

拆解：EAGLE-3 为什么比普通“猜答案”更强？

最初的推测解码用小模型自回归地生成候选序列，但小模型和大模型的“思考方式”差异太大，经常猜错。EAGLE 系列的精妙之处在于：它不直接用 token 级的预测，而是从大模型的隐藏状态（隐藏层特征）出发进行预测。打个比方，普通草稿模型是看题目直接蒙答案，EAGLE 则像偷看了学霸的草稿纸——它拿到的是大模型内部更丰富的语义表示，所以猜得准。EAGLE-3 进一步改进了训练数据构造和模型结构，在多个模型上实现了 2~3 倍的接受率提升和推理加速。

这套流程在 vLLM 上跑通后，开发者可以看到清晰的路径：先用 vLLM 部署目标模型生成训练数据并提取隐藏状态 → 在线评估接受率 → 量化优化 → 部署加速推理。AMD Quark 提供的量化支持（MXFP4/FP8）让草稿模型可以极度轻量，进一步放大加速效果。

趋势洞察：推理加速正在走向“系统+算法”深耦合

这件事揭示了一个深层趋势：单纯的硬件算力堆叠已经不足以应对大模型服务的成本压力，推理系统设计正在成为新的技术高地。推测解码、动态批处理、KV 缓存压缩、量化……这些技术正在被整合成全栈式解决方案。vLLM 作为当前最活跃的推理框架之一，其对推测解码的支持完善程度，很大程度上决定了这项技术能否快速普及。

此外，AMD 的深度参与也值得玩味。以往这类前沿优化往往先在 NVIDIA 生态里打磨，但这次 AMD Quark 团队联合 vLLM 在 MI355X 上直接跑通 Kimi-K2.5 这种重量级模型，说明 AI 算力生态正在打破单一垄断，开发者未来在硬件选型上会有更多灵活空间。

实用价值：开发者现在可以做什么？

1. 如果正在用 vLLM 部署模型，密切关注其推测解码功能的成熟度。目前 EAGLE-3 的集成让使用门槛大大降低，可以尝试在内部服务中开启 speculative decoding 测试延迟和吞吐提升。
2. 如果你在训练垂域模型，可以考虑同步训练一个轻量级 EAGLE 草稿模型。虽然需要一次额外的训练流程，但换来的推理加速可能在长期服务中带来巨大的成本节省。
3. 别被“无损”二字迷惑。推测解码的确保持输出分布，但它对批处理大小、序列长度等有敏感依赖，实际部署时需要针对业务场景做参数调优，不是一键加速的银弹。

反常识：猜错了反而可能帮助加速？

大多数人直觉上会认为，猜错会增加额外开销。但实际上，推测解码即便草稿模型猜错了，被拒绝的 token 依然为下一步提供了上下文，相当于做了“预计算”。而且 EAGLE-3 的接受率通常超过 80%，意味着大部分时候都能一次验证多个 token。所以这套机制的容错性比想象中强，这也是它能实际落地的关键。

最终，EAGLE-3 on AMD 的发布不仅是一次技术演示，更像是一个路线图：未来每一款大模型，出厂时可能都标配一个高度优化的推测解码方案，让“一字千金”的推理成本真正降下来。

原文地址: EAGLE-3 Speculative Decoding on AMD Instinct GPUs: Training and Serving with vLLM and AMD Quark