IBM Granite 4.1 揭秘：小模型如何通过数据工程挑战巨无霸？

起因：小模型的“逆袭”时刻 在模型参数军备竞赛看似永无止境的当下，IBM 发布的 Granite 4.1 系列模型提供了一个截然不同的视角。其最引人注目的成果是：一个 8B 参数的密集（Dense）模型，性能竟能匹敌甚至超越自家上一代 32B 参数的混合专家（MoE）模型 Granite 4.0-H-Small。这并非魔法，而是一次对“高质量小模型如何炼成”的深度技术拆解，其核心答案不在更大的算力，而在更精细的数据工程。

拆解：五阶段数据精炼流水线 Granite 4.1 的构建哲学可以概括为：将数据视为一个需要持续精炼的动态过程，而非一次性投入的静态资源。 其预训练被精心设计为五个阶段，每个阶段的数据“配方”和训练目标都不同。

1. 奠基阶段（10T tokens）：使用广泛的网络数据（如 CommonCrawl 占 59%）建立基础语言理解能力，类似于让一个学生广泛阅读各类书籍。
2. 能力聚焦阶段（2T tokens）：大幅增加数学（占比从7%提升至35%）和代码（占比从20%提升至30%）数据的比例，专门强化推理和编程能力，如同针对数学和物理进行专项训练。
3. 高质量数据淬火阶段（2T tokens）：进入“中期训练”，数据混合物更加均衡且质量更高，学习率开始指数衰减。这好比在专项训练后，用更经典、更优质的教材进行巩固和提升。
4. 长上下文扩展阶段（1T tokens）：专门进行长上下文训练，将上下文窗口扩展至 512K tokens，使模型能处理长文档、代码库等复杂任务。
5. 最终退火阶段：使用最高质量的数据进行最终的学习率退火，让模型性能收敛到最优状态。 整个过程中，数据从“大而全”逐步转向“少而精”，并引入了大量合成数据来弥补高质量自然数据的不足。这种分阶段、目标明确的数据策略，是模型效率提升的关键。

趋势洞察：从“炼大模型”到“炼好数据” Granite 4.1 的成功揭示了一个愈发清晰的行业趋势：大语言模型的竞争前沿，正从单纯的参数规模竞赛，转向数据质量和数据工程体系的深度竞争。

• 数据质量压倒参数数量：一个经过精心策划、分阶段训练的 8B 模型，可以打败一个粗放式训练的更大模型。这意味着，对于大多数企业应用而言，盲目追求千亿参数模型可能并非最优解，投资于数据清洗、合成和 curriculum learning（课程学习）可能带来更高的性价比。
• 工程化流程成为核心壁垒：Granite 4.1 的五阶段 pipeline、LLM-as-Judge 的 SFT 数据筛选、以及带 DAPO 损失的 GRPO 强化学习，构成了一套复杂且高度工程化的训练体系。这不再是炼金术，而是精密的工业制造流程。这种 know-how 正成为模型提供商真正的护城河。
• 密集模型的回归与价值：在 MoE 架构因效率优势备受青睐时，Granite 4.1 证明了通过极致的数据工程，设计更简单、部署更方便的密集模型依然有强大的生命力。这为资源有限的团队提供了更友好的选择。

实用价值：开发者与团队可以借鉴什么？

1. 重新评估模型选型：不要只看参数大小和榜单分数。应深入了解模型背后的训练哲学和数据策略。一个像 Granite 4.1 这样“会学习”的小模型，可能在特定任务、部署成本和可控性上远超一个“大而无当”的模型。
2. 重视数据工程的投入：如果你在微调或训练自己的模型，Granite 4.1 的 pipeline 是极佳的参考。思考如何为你的领域数据设计“课程”：从通用数据预热，到领域数据强化，再到高质量数据精调。利用 LLM 来评估和筛选 SFT 数据质量，也是一个值得尝试的实践。
3. 关注开源许可的机遇：Granite 4.1 全系列采用 Apache 2.0 许可发布，这意味着企业可以无限制地用于商业用途。这为构建可靠、可控的行业专属模型提供了强大的基础。

反常识/意外 一个可能被忽略的细节是，Granite 4.1 在强化学习阶段采用了 on-policy GRPO with DAPO loss。这不同于常见的 PPO。GRPO（Group Relative Policy Optimization）是一种更简洁、内存效率更高的策略优化算法，而 DAPO 损失可能旨在进一步稳定训练。这表明 IBM 在追求训练效率和稳定性上做了深度优化，即使在最后的“对齐”阶段也不放松对工程细节的打磨。整个故事告诉我们，打造顶尖小模型，是一场对数据、算法和工程细节的全方位极致追求。

---

原文地址: Granite 4.1 LLMs: How They’re Built