标签: 量化 (2 篇)

Poolside 的 330 亿参数编程智能体模型 Laguna XS.2，通过 vLLM 原生集成、DFlash 投机解码和 LLM Compressor 量化，在不损失质量的情况下实现了 2-3 倍的推理加速。

vLLM 团队实测发现，FP8 KV-cache 量化在特定条件下能大幅降低显存占用和解码成本，但在某些模型和场景下存在严重精度和性能问题，需谨慎使用。