标签: 模型路由 (2 篇)

vLLM 提出将多模型协同封装在推理服务层，通过 API 透明调度，让应用以最低成本获得稳定高质量输出。

vLLM 语义路由器推出 Fusion 原语，让多个模型组成评审团独立推理，再由裁判模型综合出最优答案，将模型组合作为一等公民的服务范式。