EMO：让大模型像乐高一样可拆卸，专家模块按需调用
原文: EMO: Pretraining mixture of experts for emergent modularity
艾伦人工智能研究所（AI2）发布EMO模型，通过创新的预训练方法，让混合专家（MoE）模型中的专家模块能按任务独立调用，仅用12.5%的专家即可保持接近完整模型的性能。
核心要点
- EMO是一种新的混合专家（MoE）模型，其模块化结构在预训练中从数据中自然涌现，无需人工预定义领域
- 对于特定任务（如数学、代码），仅需激活12.5%的专家子集，即可保持接近完整模型（使用所有专家）的性能
- 这解决了传统MoE模型中，专家常专精于低级词汇模式（如介词），导致无法可靠地按任务独立调用专家的问题
- EMO将单一大模型转变为可组合的架构，为大型稀疏MoE模型的灵活部署提供了新的内存-精度权衡方案
深度解读
起因：大模型的“笨重”困境与MoE的理想
如今，动辄万亿参数的前沿大模型就像一个无所不能的“全能巨人”。但现实中，我们大多数时候只需要它写代码、做数学推理或回答医学问题。每次都调用整个巨人，就像为了喝杯牛奶而搬动整头牛，计算成本和内存开销巨大，极不经济。
混合专家（Mixture-of-Experts, MoE）模型本应是解决这个问题的理想方案。它的设计很像一个专家委员会：模型里有许多小型“专家”网络，处理每个输入时，只激活其中几个最相关的专家。理论上，处理代码任务时，只加载“代码专家”就行了。然而，理想很丰满，现实很骨感。
拆解：为什么传统MoE专家“不可拆”？
问题在于，现有MoE模型的专家们并没有按照我们希望的领域（如数学、生物、代码）来专业化。研究发现，它们更倾向于专精于非常底层的语言模式，比如某个介词（“在”、“的”）或标点符号的用法。这意味着，即使是一个简单的句子，也可能需要激活遍布各处的多个专家来处理不同的词汇。结果就是，你无法可靠地只拿出“数学专家”子集来解决数学问题，因为它们可能并不“纯”，生成过程会不知不觉调用到所有专家，导致性能严重下降。这就像你组建了一个“医学团队”，但里面的成员一个擅长逗号用法，一个擅长“的”字结构，根本无法独立完成一台手术。
趋势洞察：从“预设”到“涌现”的模块化
之前的解决方案，比如BTX或FlexOlmo，尝试在预训练时就根据预定义的领域标签（数学、生物等）来路由token。但这有几个根本缺陷：首先，为海量预训练数据打上清晰、无歧义的领域标签成本高昂且困难；其次，这相当于用人类的偏见强行规定了模型的组织方式，限制了其自主发现更优结构的可能；最关键的是，一旦领域在推理时发生变化或出现新能力，预设的框架就失效了。
EMO的核心突破在于，它让模块化结构在预训练过程中自然涌现。它通过一种创新的训练目标，鼓励模型自己学习将专家组织成连贯、可独立使用的功能组，而无需任何人工的领域标签。这揭示了一个深层趋势：AI架构设计正从“人类强加结构”转向“引导模型自主发现最优结构”。我们不再做模型的“规划师”，而是做它的“教练”，设定好目标（如模块化），让模型自己去探索如何实现。
实用价值与反常识发现
这项工作的实用价值是革命性的。它意味着，未来我们部署一个像EMO这样的万亿参数MoE模型时，可以根据下游任务，像搭乐高一样，只加载所需的一小部分专家模块（例如12.5%），就能获得接近完整的性能。这将极大降低推理成本和内存占用，让大模型在资源受限的设备（如手机、边缘设备）上运行复杂任务成为可能。对于开发者而言，模型从一个“黑箱”变成了一个“可组合的工具箱”。
一个可能反常识的点是：更多的参数不一定意味着更笨重。通过EMO这种“涌现式模块化”，一个总参数量巨大（140亿）但激活参数很少（10亿）的模型，其有效计算成本和内存占用可以做得比一个参数量更小但结构“僵化”的密集模型更低，同时性能更强。这颠覆了“参数多就必然昂贵”的简单认知，指出了稀疏化、模块化是实现高性能与高效率兼得的关键路径。
总之，EMO不仅仅是一个新模型，更是一种新的模型构建哲学。它让大模型从“一个不可分割的巨人”向“一个可灵活组装的专家团队”演进，这或许是解决大模型落地“最后一公里”成本与效率难题的重要一步。
原文地址: EMO: Pretraining mixture of experts for emergent modularity