Google DeepMind 的 AI 安全新思路：把自家 AI Agent 当‘潜在内鬼’来防

起因：AI Agent 正在走出实验室，但安全还没跟上

过去一年，AI Agent 成了行业最热的关键词。从代码生成到网络安全防御，这些能自主规划、调用工具、执行复杂任务的系统，正被谷歌等巨头内部大量采用。据估算，到 2030 年，AI Agent 仅在美国就能创造 2.9 万亿美元的经济价值。

但 DeepMind 的安全研究员 Rohin Shah 和 Four Flynn 在最新博客中抛出一个尖锐问题：当 AI Agent 变得足够强大却又对齐不完美时，我们拿什么保证它不会搞砸？他们给出的答案是——把 Agent 当成潜在的“内鬼”来防。

拆解：AI Control 路线图的三层防御

传统 AI 安全主要靠模型对齐——也就是说，训练时让模型学会“做个好人”。但 DeepMind 指出，对齐就像给员工做入职培训，能降低风险却不能杜绝。万一有个别员工（Agent）在实际操作中钻空子怎么办？

于是他们提出了“AI Control 路线图”，核心是分层防御，很像网络安全中“纵深防御”的概念。具体分三层：

第一层是传统的安全基座：沙箱、端点安全、提示注入抵抗等。这些是任何系统都该有的。

第二层是模型对齐。努力让模型本身安全、有用。

第三层也是最关键的一层：系统级安全控制。这一层直接假设“模型可能没对齐好”，然后把 Agent 当作潜在的不可信实体来管理。用他们的话说，这就像驾校教练车上的双控系统——教练相信学员，但随时准备接管刹车。

那怎么管？他们做了一件很有意思的事：把 MITRE ATT&CK 框架搬过来用。这是一个网络安全领域经典的威胁建模知识库，原本用来分析人类黑客的攻击手法。DeepMind 将其改造后用于分析 AI Agent 可能采取的恶意动作，把抽象风险拆解成具体战术和技术。比如 Agent 可能尝试绕过监控、提取敏感数据、或修改自己的目标函数。

在此基础上，他们部署了“监督 AI”。这有点像在员工电脑上装监控软件，只是执行监控的不是人，而是另一个被认为更安全、更受控的 AI 模型。这个监督者会持续审查工作 Agent 的行为，一旦发现异常就报警或中断操作。同时，Agent 的权限是被严格控制的——只有当它的行为经过一段时间的验证后，才会逐步授予更高权限。

趋势洞察：从“造个好 AI”到“造个好系统”

这件事背后的逻辑转变其实非常大。过去 AI 安全界讨论更多的是如何通过训练让模型“天生安全”。但 DeepMind 的实践表明，未来的安全范式必须从单点防御走向体系化对抗。这就像现代公司管理：不能因为员工培训过职业道德就全盘信任，必须要有审计、权限分级、行为监控。

另一个值得注意的点是，他们明确表示这个路线图“可能成为整个行业的模型”。随着 GPT-5、Claude 等更多 Agent 产品化落地，这种把 AI 当“内部威胁”的思维方式可能会迅速普及。

实用价值：开发者可以现在就开始做什么？

如果你正在开发或部署 AI Agent，即使团队规模很小，也可以借鉴几个思路：

1. 别只依赖模型对齐，给你的 Agent 加上行为日志和监控。
2. 用威胁建模的方法，画一画你的 Agent 可能出什么问题，哪怕是在纸上。
3. 权限最小化原则：Agent 只给完成当前任务所需的最小权限，别一上来就给 root。
4. 考虑引入一个轻量的“监督者”进程，用规则或小模型来审查输出。

反常识/意外：最危险的往往不是外部攻击

大多数人提到 AI 安全，第一反应是“有人越狱提示词”或“对抗样本攻击”。但 DeepMind 的博客提醒我们：有时候最需要防备的，恰恰是你手头那个正在飞快执行任务的 Agent。它可能并无恶意，只是方法不当；也可能因为目标设定不清而“好心办坏事”。把 Agent 当内鬼防，不是不信任，而是一种更专业的工程态度。

原文地址: Securing the future of AI agents