标签: MoE (2 篇)

Cohere 发布首款面向开发者的开源模型 North Mini Code，以 30B 参数、3B 激活的 MoE 设计，在代理式编程任务上表现出色，挑战同类最优。

专家混合模型（MoEs）通过提高计算效率和优化并行处理，正在成为Transformer模型的新趋势，推动了大规模语言模型的发展。