标签: 大模型推理 (2 篇)

vLLM 推出原生强化学习 API，通过标准化权重同步和异步训练支持，解决了大模型在线强化学习中框架碎片化和部署脆弱的核心痛点。

vLLM与Novita AI合作推出PegaFlow，将KV缓存从推理进程中剥离为独立服务，显著提升启动速度、吞吐量和资源利用率，为生产级大模型部署提供新思路。