标签: 投机解码 (2 篇)

vLLM 引入自适应验证机制，根据置信度动态调整验证预算，使投机解码在高并发场景下依然有效，减少调参需求。

EAGLE 3.1 通过引入 FC 归一化和 post-norm 设计，解决了投机解码在长上下文、不同聊天模板下的性能衰减问题，将长上下文场景的接受长度提升了一倍，显著增强了推理加速的鲁棒性和实用性。