标签: 推测解码 (1 篇)

EAGLE团队联合vLLM和TorchSpec发布EAGLE 3.1，通过解决‘注意力漂移’问题，显著提升了推测解码在长上下文、不同对话模板下的稳健性和接受长度。