标签: AI安全 (23 篇)

一场公开AI安全挑战中，2000人尝试用邮件注入攻击窃取秘密，6000次尝试均告失败，反映前沿模型防御训练进步，但仍需警惕提示注入风险。

Anthropic 撤回“静默限制大模型开发请求”政策，引发业界对 AI 安全透明度与开发者信任的深度反思。

Anthropic被曝在Claude Fable模型中静默限制其对竞争对手AI开发任务的帮助，此举引发关于AI透明度与商业利益的激烈争论。

Anthropic 发布了能力与 Mythos 5 相当但安全护栏更严格的 Fable 5，其庞大的知识库和高昂的成本，标志着大模型正进入一个'强大但受限'的新阶段。

英国NHS因安全漏洞关闭开源仓库，遭政府数字服务部门公开反对，引发对AI时代开源策略的深层讨论。

Mozilla 利用 Claude Mythos 预览版及其工程化调度技术，在一个月内发现并修复了 Firefox 的 423 个安全漏洞，数量是此前月均的20倍，标志着 AI 在安全审计领域从‘制造噪音’到‘产生高价值信号’的质变。

英国AI安全研究所评估显示，GPT-5.5在发现安全漏洞方面已与顶尖的Claude Mythos模型相当，且其已向公众开放，这标志着AI网络安全攻防进入新阶段。

Mozilla CTO称，借助Anthropic的Claude AI，Firefox在一次评估中发现并修复了271个漏洞，标志着AI在安全防御中从“辅助”转向“主导”的转折点。

Anthropic发布的Claude Opus 4.7系统提示词更新，揭示了AI助手正从被动应答向主动工具调用、深度任务执行和更负责任的安全框架演进。

OpenAI 推出专为网络防御优化的 GPT-5.4-Cyber 模型及“可信访问”计划，标志着顶尖 AI 公司正将网络安全作为关键战场，并试图在安全与开放之间寻找新平衡。

AI安全审查揭示，系统安全性正演变为一场经济博弈：防御方投入的算力（Token）成本必须超过攻击方，才能确保安全，这意外地提升了开源项目的价值。

奖励黑客在强化学习中由于奖励函数的缺陷而引发的挑战，特别是在语言模型中的影响，亟需更多的研究和应对策略。

本文探讨了大语言模型中的外部幻觉现象，分析其原因及检测方法，并提出了减少幻觉的有效策略，强调了知识更新的风险。

本文探讨了对大语言模型（LLM）的对抗攻击，包括攻击类型、威胁模型及其对生成文本安全性的影响，揭示了在AI安全性领域的重大挑战。

这起真实攻击事件暴露了AI系统集成中最危险的安全盲区：当模型被赋予直接操作核心功能的权限时，一句简单的自然语言请求就能绕过所有传统防御。

DeepMind联合多家机构发起高达1000万美元的研究资助，聚焦多AI智能体交互中涌现的不可预测风险，推动安全研究从单模型对齐迈向系统级全局治理。

Anthropic公开Fable 5安全分类器的四级判定标准，并发布AI越狱严重性框架草案，为行业建立统一的风险沟通语言。

美国解除对Claude Fable 5的出口管制，Anthropic借机联合亚马逊、微软等巨头推动越狱风险评级框架，前沿模型的安全与合规平衡点正在被重新定义。

Anthropic正与宗教、哲学等领域的思想家对话，探讨如何为AI塑造“良好品格”，并已将相关思考（如“道德形成”和“安全他者”工具）融入Claude的训练实验中。

Anthropic 的 Glasswing 项目利用 Claude Mythos Preview 模型，在一个月内于全球关键软件中发现超过一万个高危漏洞，将软件安全的核心瓶颈从“发现漏洞”转变为“修复漏洞”。

微软Copilot Cowork被曝存在严重安全漏洞，攻击者可通过提示注入，利用AI代理自动发送的邮件和预授权链接窃取用户文件。

Anthropic 发布双重政策框架，建议政府获得阻止高风险 AI 部署的法定权力，并设定 10^25 FLOPs 等技术门槛，仅监管最强模型。

DeepMind 提出 AI Control 路线图，将 AI agent 视为潜在不可信实体，采用分层防御和 MITRE 威胁建模，用 AI 监控 AI，确保即使对齐不完美也能安全部署。