标签: 预训练 (3 篇)

Photoroom 分享 PRX 模型数据策略：预训练阶段广泛多样的“脏”数据比精挑细选的干净数据更能教会模型视觉世界，美感交给后期微调。

NVIDIA 提出了任务种子合成数据生成流水线，在预训练中仅用 100B token 便让 Nemotron-3 Nano 在 GPQA 等基准上跃升两位数，揭示了合成数据的新范式。

艾伦人工智能研究所（AI2）发布EMO模型，通过创新的预训练方法，让混合专家（MoE）模型中的专家模块能按任务独立调用，仅用12.5%的专家即可保持接近完整模型的性能。