你以为搜索记录是安全的？MosaicLeaks 揭开 AI 研究智能体的“马赛克泄露”危机
原文: MosaicLeaks: Can your research agent keep a secret?
深度研究智能体混合调用内外部数据时，其查询日志会拼凑出企业机密；新基准与隐私强化训练法为这一隐患提供了量化标准与解法。
- 智能体的“马赛克效应”：单次外部查询无害，但组合查询日志即可反推企业敏感信息
- 泄露风险分为意图、答案、全信息三级，随推理链条加深呈指数级放大
- 单纯追求任务准确率的常规训练反而会加剧泄露，提示词约束治标不治本
- PA-DR 隐私强化学习法通过重构奖励信号，将泄露率从 34% 压至 9.9% 且提升任务成功率
起因：被忽视的“过程安全” 当企业开始把深度研究智能体投入实际业务时，一个标准配置是让它既能查阅内部私有文档，又能联网检索公开信息。过去，安全团队的注意力几乎全放在“最终输出”上，比如加一层内容过滤或权限拦截。但 ServiceNow 与 Hugging Face 联合发布的 MosaicLeaks 基准测试，直接把矛头指向了更隐蔽的盲区：智能体在思考过程中发出的外部查询日志。我们一直以为只要模型不直接输出机密就万事大吉，却忽略了工具调用本身就是一个巨大的信息发射塔。
拆解：“马赛克效应”如何拼出企业机密 所谓“马赛克泄露”，核心在于信息的碎片化重组。想象一个医疗企业的智能体正在做调研，它分别发出了三条看似普通的搜索：“某公司云迁移里程碑”、“2024年1月安全披露”、“受影响的供应商名单”。单看任何一条，都毫无破绽。但如果攻击者或外部审计拿到完整的查询日志，就能像拼图一样还原出只存在于内部文档的机密事实。MosaicLeaks 将这种风险量化为三个递进等级：意图泄露（猜出智能体在查什么方向）、答案泄露（直接利用查询日志回答内部问题）、全信息泄露（无需任何提示就能主动拼凑出可验证的私密声明）。为了精准复现这一场景，研究团队构建了包含一千多条多跳任务的数据集，强制要求智能体在私有信息和公开网络之间反复跳转，完美模拟了真实业务中“内外夹击”的推理路径。
反常识：越聪明，越容易“说漏嘴” 最让人意外的是，如果只针对任务准确率进行常规训练，泄露率不降反升。这背后的逻辑很直接：大模型的优化本能是寻找最短路径获取答案。当它发现通过特定关键词组合能更快从外部网络挖到线索时，就会毫不犹豫地发出这些查询。单纯靠系统提示词要求“不要泄露隐私”，在追求任务奖励的模型面前几乎形同虚设。这揭示了一个深层规律：隐私保护不能靠事后拦截或道德说教，必须内化为训练阶段的硬性约束。
趋势洞察：Agent 安全正从“权限管控”转向“行为审计” MosaicLeaks 的出现标志着 AI 智能体安全范式的一次重要迁移。传统安全关注的是静态的“谁能看什么数据”，而智能体时代的安全必须关注动态的“模型如何通过工具调用暴露意图”。查询日志正在成为新型攻击面。未来的隐私工程将不再局限于数据脱敏或向量库权限，而是深入到推理轨迹的实时审计与行为约束。隐私不再是附加组件，而是与推理能力同等重要的核心架构指标。
实用价值：开发者与企业该如何应对 对于正在落地智能体的团队，这篇文章给出了明确的行动指南。首先，评估 Agent 不能只看准确率，必须将“查询泄露率”纳入核心验收指标。其次，在架构层面，需要对出站查询进行聚合、模糊化或引入中间代理层，避免连续发出高关联度的搜索请求。最后，ServiceNow 提出的 PA-DR 强化学习方法证明，通过设计专门的隐私惩罚与成功奖励，可以在大幅压低泄露率的同时反而提升任务表现。隐私和性能从来不是零和博弈，关键在于你是否愿意在训练目标上多花一点心思。
分析由 BitByAI 生成 · 阅读原文