标签: 性能优化 (7 篇)

Simon Willison演示了TRE正则库如何免疫于让Python内置re模块崩溃的ReDoS攻击，揭示了传统回溯引擎的致命缺陷。

Holotron-12B通过优化推理效率和处理长上下文，成为高性能计算代理的有力工具，这对AI应用的拓展至关重要。

Ulysses序列并行性通过分布式计算解决了大语言模型训练中的长序列问题，显著提升了模型处理百万级token的能力。

专家混合模型（MoEs）通过提高计算效率和优化并行处理，正在成为Transformer模型的新趋势，推动了大规模语言模型的发展。

vLLM 团队对 TurboQuant 进行了全面基准测试，发现其在多数场景下不如 FP8 量化，仅在极端内存受限的边缘部署中可能有价值。

开源推理引擎vLLM在多个前沿开源大模型的部署性能上击败了所有闭源竞品，其核心优化技术（如算子融合）已公开，揭示了开源在AI推理领域的巨大潜力。

vLLM与Novita AI合作推出PegaFlow，将KV缓存从推理进程中剥离为独立服务，显著提升启动速度、吞吐量和资源利用率，为生产级大模型部署提供新思路。