谁说数据越干净越好？Photoroom 用 PRX 揭示预训练数据的反直觉真相

在 AI 圈，我们常听到一个金科玉律：“垃圾进，垃圾出”。所以很多团队在构建训练数据时，会把大量精力花在清洗、过滤、挑选高质量样本上。但 Photoroom 团队在为 PRX 模型准备数据时，却走了一条反直觉的路：他们故意保留了那些不那么“完美”的图像，甚至认为过早的审美洁癖会毁掉模型。

起因：一次坦诚的数据管线复盘

这篇来自 Hugging Face 博客的《PRX Part 4: Our Data Strategy》，是 Photoroom 系列连载的第四部分。前三部分讲了模型架构、训练设计和 24 小时速跑，这次他们终于把幕后最不起眼、却最关键的环节摆上了台面——数据。他们没有宣称自己构建了“宇宙最强数据集”，反而坦率地分享了指导原则、踩过的坑，以及“如果重来一次会怎么做”的反思。这种一手经验对于正在训练视觉模型的人来说，比很多学术论文更有实操价值。

拆解：数据管道背后的三个核心原则

1. 多样性胜过审美：预训练是在教模型“世界长什么样” 团队明确指出，预训练阶段的目标是覆盖度——让模型见过足够多的视觉概念、物体、场景、光照和构图。哪怕很多图像只是普通快照或轻度压缩的图片，它们共同构成了一个丰富的分布。如果在这个阶段就按“好看”去筛选，等于缩小了模型对世界的认知边界，有些概念和组合一旦错过，后期微调根本补不回来。他们甚至说：“预训练管广度，微调管品味。” 这种分工意识，把数据集的构建从“一刀切”的完美主义中解放了出来。

2. 混合数据源，站在前人的肩膀上 PRX 的数据来自公开和内部数据集的混合体。他们没有从零造轮子，而是尽量复用已有数据集的质量过滤、去重、NSFW 检测等工作。不同来源的数据格式各异，有的带图像，有的只有元数据和基础标题，他们用统一工具链整合。这种做法看似“取巧”，实则务实：快速拼出一个可用的 7B 模型预训练语料，远比花几个月精细打磨一个完美数据集更有效率。

3. 用 VLM 重新生成长标题：让描述准确覆盖一切 团队的经验是，预训练最需要的是“准确描述图像中所有内容的长标题”。他们用视觉语言模型（VLM）对图像重配文，确保模型在学习视觉-语言对齐时不会因为粗糙的 alt-text 而产生偏见。这也隐含了一个趋势：在 AI 时代，合成数据（synthetic captions）正在成为提高数据质量的标准手段。

趋势洞察：预训练与微调的职责分离正在成为共识

Photoroom 的实践并非孤例。从 GPT-4 到 Stable Diffusion 的迭代，我们看到越来越多的团队将训练划分为两个明确阶段：第一阶段用海量、多样、甚至带噪声的数据建立基础能力；第二阶段用少量、精心策划的数据注入风格、安全性、对齐等特质。这种分离让数据工作流更具可扩展性，也降低了早期数据清理的成本。更深层看，它挑战了我们“数据必须干净”的直觉——有时候，保留一点“脏东西”反而让模型更强壮。

实用价值：如果你也在训练模型，可以怎么想？

• 不要过早优化数据质量：在预训练阶段，先保证覆盖度。哪怕数据量膨胀到 PB 级，也先用高速、自动化的工具粗筛掉有害内容，而不要耗费人力去追求样本级的完美。
• 投资在标题质量上：一张好图配上烂标签，危害远大于一张普通图配上精准的长描述。考虑用 VLM 批量重写标题，这可能是 ROI 最高的数据提升手段。
• 数据集构建要可复现、可流式处理：PRX 强调“streamable corpus”，意味着数据管线能直接输出训练框架可消费的格式，无需中间存储。这为大规模训练节省了宝贵的时间与存储成本。

反常识：脏数据不一定是坏事

最让人意外的观点在于：过度的审美过滤会损害模型能力。这背后的逻辑是，真实世界本身就是嘈杂、凌乱、充满平庸图像的。如果模型从未见过这些“不完美”，它就无法理解世界的完整分布。当然，这并不意味着完全不质量控制，而是要把“去噪”留到恰当的阶段。这或许也解释了为什么一些用 CommonCrawl 等粗犷数据训练出来的模型，反而在下游任务上泛化能力更强——因为它们见过更真实的世界。

原文地址: PRX Part 4: Our Data Strategy