标签: 性能优化 (10 篇)

Liquid AI 通过‘量化感知蒸馏’技术，在4位量化下恢复了97%的精度损失，让边缘设备运行大模型时速度更快且质量不打折。

vLLM在模型发布首日就实现了对万亿参数MoE模型Kimi K3的高效支持，通过混合缓存和推测解码等关键优化，为超大模型落地铺平了道路。

Simon Willison演示了TRE正则库如何免疫于让Python内置re模块崩溃的ReDoS攻击，揭示了传统回溯引擎的致命缺陷。

Holotron-12B通过优化推理效率和处理长上下文，成为高性能计算代理的有力工具，这对AI应用的拓展至关重要。

Ulysses序列并行性通过分布式计算解决了大语言模型训练中的长序列问题，显著提升了模型处理百万级token的能力。

专家混合模型（MoEs）通过提高计算效率和优化并行处理，正在成为Transformer模型的新趋势，推动了大规模语言模型的发展。

vLLM 团队对 TurboQuant 进行了全面基准测试，发现其在多数场景下不如 FP8 量化，仅在极端内存受限的边缘部署中可能有价值。

LlamaIndex 尝试将 ColBERT 的 MaxSim 评分机制应用于静态嵌入模型，发现纯查表法因缺乏上下文而失败，但通过微调词表本身可显著提升效果。

开源推理引擎vLLM在多个前沿开源大模型的部署性能上击败了所有闭源竞品，其核心优化技术（如算子融合）已公开，揭示了开源在AI推理领域的巨大潜力。

vLLM与Novita AI合作推出PegaFlow，将KV缓存从推理进程中剥离为独立服务，显著提升启动速度、吞吐量和资源利用率，为生产级大模型部署提供新思路。