标签: 长上下文 (2 篇)

vLLM 宣布支持 DeepSeek V4 模型，其核心是通过全新的注意力机制，解决了百万 Token 级长上下文推理面临的内存和计算成本两大核心挑战。

vLLM 团队实测发现，FP8 KV-cache 量化在特定条件下能大幅降低显存占用和解码成本，但在某些模型和场景下存在严重精度和性能问题，需谨慎使用。