标签: AI安全 (14 篇)

SQLite项目通过一份AGENTS.md文件明确拒绝AI生成的代码，同时为AI报告的Bug开辟专门通道，这揭示了开源社区应对AI浪潮的务实策略。

AI辅助安全研究的兴起，让curl这样的基础开源软件面临前所未有的高质量漏洞报告压力，这揭示了AI在安全领域的双刃剑效应。

微软Copilot Cowork被曝存在严重安全漏洞，攻击者可通过提示注入，诱导AI代理利用用户权限窃取OneDrive等敏感文件。

英国NHS因安全漏洞关闭开源仓库，遭政府数字服务部门公开反对，引发对AI时代开源策略的深层讨论。

Mozilla 利用 Claude Mythos 预览版及其工程化调度技术，在一个月内发现并修复了 Firefox 的 423 个安全漏洞，数量是此前月均的20倍，标志着 AI 在安全审计领域从‘制造噪音’到‘产生高价值信号’的质变。

英国AI安全研究所评估显示，GPT-5.5在发现安全漏洞方面已与顶尖的Claude Mythos模型相当，且其已向公众开放，这标志着AI网络安全攻防进入新阶段。

Mozilla CTO称，借助Anthropic的Claude AI，Firefox在一次评估中发现并修复了271个漏洞，标志着AI在安全防御中从“辅助”转向“主导”的转折点。

Anthropic发布的Claude Opus 4.7系统提示词更新，揭示了AI助手正从被动应答向主动工具调用、深度任务执行和更负责任的安全框架演进。

OpenAI 推出专为网络防御优化的 GPT-5.4-Cyber 模型及“可信访问”计划，标志着顶尖 AI 公司正将网络安全作为关键战场，并试图在安全与开放之间寻找新平衡。

AI安全审查揭示，系统安全性正演变为一场经济博弈：防御方投入的算力（Token）成本必须超过攻击方，才能确保安全，这意外地提升了开源项目的价值。

奖励黑客在强化学习中由于奖励函数的缺陷而引发的挑战，特别是在语言模型中的影响，亟需更多的研究和应对策略。

本文探讨了大语言模型中的外部幻觉现象，分析其原因及检测方法，并提出了减少幻觉的有效策略，强调了知识更新的风险。

本文探讨了对大语言模型（LLM）的对抗攻击，包括攻击类型、威胁模型及其对生成文本安全性的影响，揭示了在AI安全性领域的重大挑战。

Anthropic的“玻璃翼计划”利用其最新AI模型Mythos Preview，在一个月内与合作伙伴发现了超过一万个高危或严重漏洞，将软件安全的核心瓶颈从“发现漏洞”转向了“验证与修复漏洞”。