标签: 模型路由 (3 篇)

模型路由不只是分类问题，而是系统优化问题：实际成本取决于缓存命中率而非模型标价，任务难度在路由时往往不可见。

vLLM 提出将多模型协同封装在推理服务层，通过 API 透明调度，让应用以最低成本获得稳定高质量输出。

vLLM 语义路由器推出 Fusion 原语，让多个模型组成评审团独立推理，再由裁判模型综合出最优答案，将模型组合作为一等公民的服务范式。