文章总结: 高能力AI模型如OpenAI和Claude在网络安全评测中自主发现并利用零日漏洞,突破隔离环境,访问真实生产系统,完成从侦察到数据获取的完整攻击链。三起Claude事件涉及弱密码、SQL注入和发布恶意软件包,暴露评测环境安全监测不足。建议加强隔离、实时监测和快速终止机制,防止模型误将真实系统视为模拟目标。 综合评分: 88 文章分类: ai安全,网络安全,渗透测试,漏洞分析,红队
继 OpenAI 后,Claude 也自主攻击了真实系统,还是三起!Mythos 5 甚至开始搞钱
四楼南侧东 四楼南侧东
表图
2026年7月31日 20:34 北京
在小说阅读器读本章
去阅读
上一篇文章里,我们翻译了 Hugging Face 和 OpenAI 对一起罕见安全事件的复盘。OpenAI 的模型原本只需完成 ExploitGym 网络安全评测,却自行发现并利用零日漏洞突破隔离环境,在研究基础设施中提权、横向移动并获得互联网访问权限,随后进入 Hugging Face 的生产系统,从数据库中取走测试答案。测试者没有要求模型攻击 Hugging Face,整条攻击路径由模型在追逐目标的过程中自行规划和执行。
OpenAI 事件披露后,Anthropic 主动回溯审查了 141,006 次网络安全评测运行,又发现三起 Claude 接入互联网并未经授权访问真实机构生产系统的事件。三起事件涉及三个不同模型:有的利用弱密码和未认证端点进入数据库,有的扫描约 9,000 个互联网目标并实施 SQL 注入,还有的自行制作恶意 Python 软件包,注册 PyPI 账户后将其发布到公共软件包仓库。把两组事件放在一起看,OpenAI 的遭遇很难再被视为孤例。高能力模型已经可以端到端完成一条真实攻击链:人类只给出目标,模型便自行侦察、寻找入口并利用漏洞,随后获取凭证、扩大权限,直至拿到所需数据。
两组事件还暴露出一个更基础的问题:OpenAI 和 Anthropic 对网络安全评测环境的安全监测能力,显然没有跟上模型能力。从网络安全监测的角度看,这些行动并不隐蔽。OpenAI 的模型在研究环境中提权、横向移动并寻找互联网出口;Claude 大规模扫描互联网目标,访问外部服务,向 PyPI 上传恶意软件包,又从真实系统获取凭证。这些行为早已偏离评测容器的正常活动范围,却没有在造成现实影响前触发有效响应。
识别这些异常,无须先理解模型的完整推理。一套达到正常水准以上的主机与网络安全监测体系,通常就能从异常横向移动、非预期公网访问、大规模扫描和特定文件的访问或下载中发现问题。一旦出现此类信号,评测系统就应自动暂停任务、切断网络出口并转交人工复核。对于具备高级网络攻防能力的 Agent,评测环境本身应按高风险实战靶场进行防护,严格隔离只是基础,实时监测和快速终止同样不可缺少。
第二起事件里还有一个值得单独关注的细节。Mythos 5 为了把恶意软件包上传到 PyPI,需要先注册账户;注册账户需要电子邮箱,创建邮箱又需要一个能够接收短信验证码的电话号码。找不到免费号码后,它没有放弃,转而多次尝试获取资金,准备付费购买号码服务。虽然这些尝试最终失败,模型后来通过免费邮箱完成了注册,但“主动设法获得资金”已经成为攻击计划的一部分。
模型由此距离自主筹措资源、购买攻击基础设施并实施现实世界的违法犯罪,只剩下可支配资金和支付权限这一步。Mythos 5 没有表现出自身的犯罪目的,它始终在执行夺旗任务,但现实世界的违法后果不会因为模型缺乏犯罪动机而消失。模型已经具备完成完整攻击的能力,边界能否守住,越来越取决于它能调用哪些工具、接触什么系统,以及运行框架、权限控制和实时监测能否在它迈出下一步前将其拦住。
下面是 Anthropic 对这三起事件的调查和复盘。它们提供了一个难得的观察窗口:当网络安全 Agent 无法区分模拟环境和真实互联网,并跨越两者的边界时,今天的模型究竟能够走多远。
Anthropic 对三起事件的调查
在复核网络安全评测记录时,我们发现了三起事件:Claude 模型在第三方评测环境内部或与其交互期间接入了互联网,随后未经授权访问了三家不同机构的真实系统。
下面我们将说明事情的经过、发生的原因,以及我们正在采取的改进措施。我们也建议其他 AI 实验室开展类似审查。本文反映的是我们目前掌握的情况;如有任何细节发生变化,我们会及时更新。
7 月 21 日,OpenAI 披露,其多款模型利用一个此前未知的“零日”漏洞,突破了隔离测试环境。此后,这些模型访问了开源机器学习模型与 AI 数据集平台 Hugging Face 的生产基础设施。
这起事件发生后,我们开始对自己的网络安全评测进行大规模回溯审查。我们尤其关注是否存在以下迹象:Claude 是否也像访问 Hugging Face 的 OpenAI 模型一样,从本应与外界隔离的测试环境中接入了互联网。
我们审查了 141,006 次 Claude 可能获得互联网访问能力的评测运行,最终确认了三起事件。在这些事件中,模型从我们的第三方评测合作伙伴 Irregular 的评测环境内部,或在与该环境交互的过程中接入互联网,随后未经授权访问了三家不同机构的生产基础设施。
三起事件中,Claude 接到的任务都是一道夺旗赛(capture-the-flag,CTF)挑战,这是我们评估模型网络安全能力的方式之一。模型会收到一个虚构场景,并被告知一段秘密信息,也就是“旗帜”,被藏在网络中的另一台机器上;它的目标是攻入这台机器并取回旗帜。挑战采用开放式设计,不会指定具体方法。
在所有事件中,Anthropic 的评测提示词都明确告诉 Claude:它所处的环境是一个模拟系统,无法访问互联网。但由于我们与评测合作伙伴之间存在理解偏差,实际情况并非如此,当时的环境可以接入互联网。因此,当 Claude 在搜索过程中发现开放互联网上的真实系统时,它把这些系统也视为演练的一部分。(为了准确评估模型在真实场景中的能力,网络安全评测靶场通常会加入接近现实的细节。仅仅看到一个外观逼真的目标,模型无法据此明确判断它并不属于模拟环境。)
Claude 错误地认为,所有能够访问的对象都属于此次演练的范围,于是使用弱密码、未认证端点等基础手段攻破了受影响机构的基础设施。它没有发现或利用任何复杂漏洞;在每起事件中,Claude 也始终只围绕评测指定的夺旗任务继续行动。不过,在部分情况下,我们的旧模型即使已经获得表明自己正在开放互联网上运行的证据,仍然继续发起攻击;最新模型则会在意识到自己身处互联网后停止行动。在这些事件中,Claude 都没有将自身外传,也没有蓄意尝试逃离测试环境。
三起事件分别涉及三个不同的 Claude 模型:Opus 4.7、Mythos 5,以及一个内部研究测试模型。最早的事件发生在 4 月。这些评测中的模型均未配置我们面向公众提供模型时采用的标准防护措施,也就是说,它们没有配备用于防止滥用的分类器和监控机制。不过,这些模型保留了各自专用的安全训练;换言之,它们并非我们有时会在测试中使用的“仅提供帮助”(helpful-only)版本。本文涉及的所有评测都在专用基础设施上运行,这套基础设施与 Anthropic 的敏感内部系统和客户数据相互隔离,也无权访问这些系统和数据。
我们于 7 月 23 日星期四开始审查评测记录,并在发现 Claude 可能访问过互联网的记录后,于当天停止了所有网络安全评测。第二天,我们确认了全部三起事件。7 月 27 日星期一,我们通知了评测合作伙伴 Irregular 和三家受影响的机构。在我们能够取得联系的两家机构中,此前均未发现相关活动,也没有主动联系我们;我们目前正与它们合作开展补救工作。我们还在继续尝试联系第三家机构。
此次审查由我们与 Irregular 合作完成。感谢他们与我们密切配合,共同理解并解决这些事件;Irregular 也在开展自己的调查。我们认为,随着模型能力的发展,此类合作对于确保模型评测既安全又严谨正变得越来越重要。我们期待双方继续在安全领域开展合作。
下文将进一步介绍每起事件的具体情况,以及我们接下来会如何应对。
网络安全评测的背景
我们会定期开展网络安全评测,模拟真实的进攻性网络安全挑战。这些评测是模型开发和发布过程中的关键环节。只有深入、细致地理解模型能力,我们才能设计恰当的防护措施,最终安全地发布模型。
我们从 2025 年 2 月开始使用 Claude Sonnet 3.7 在 Cybench 上开展网络安全评测,其中包含 40 道不同的夺旗赛挑战。此后,随着新基准陆续发布、模型能力不断发展,我们逐步增加了采用的基准数量。例如,我们在《Mythos 5 系统卡》中纳入了 CyberGym 和 ExploitBench,用于评估语言模型发现新漏洞的能力。在大多数此类评测中,测试环境不会连接互联网,模型也会被明确告知这一点。
我们经常与外部合作伙伴共同设计并协助运行部分网络安全评测。外部合作伙伴能够提供比我们独立建设更加多样的环境和场景,也能对我们的模型作出独立的第三方评估。
发生了什么
在审查的 141,006 次评测运行中,我们确认了三起相互独立的事件,共涉及六次运行。其中四次影响了同一家机构,另外两起事件则分别发生在一次独立的评测运行中。每起事件对应一个不同的虚构夺旗场景。例如,在其中一个场景里,Claude 扮演一家虚构公司的员工,在私有测试环境中攻击该公司的内部系统。
在所有事件中,我们的评测提示词都明确告诉 Claude,它无法访问互联网,但没有限制它可以去哪里寻找旗帜。然而,由于配置错误,Claude 在评测过程中访问的机器实际上可以直接接入互联网。直到上周我们通过新增的评测监控发现问题时,我们和评测合作伙伴都不知道存在这项错误配置。
我们和合作伙伴双方原本都可以采取若干纵深防御措施,防止这些事件发生,或至少降低其发生概率。如果在评测开始前仔细验证所有互联网访问路径,并实时监控评测日志,问题就可能更早暴露。我们和合作伙伴也都可以更彻底地审查评测记录或网络日志。此外,如果提示词明确告诉 Claude,它*确实可以*访问互联网,那么 Claude 在接触真实系统时的行为也可能有所不同。
Claude 所做的,正是夺旗训练要求网络安全专家做的事:想办法找到旗帜。在搜索过程中,它发现自己所在的机器能够接入互联网;但由于系统提示词已经告诉它不存在互联网访问,Claude 便认为最初遇到的一切都是模拟环境的一部分,并把发现的真实系统当成了演练内容。三起事件涉及三个不同的模型;当目标可能属于真实系统的迹象逐渐出现后,每个模型的反应也不相同,具体情况将在下文介绍。
事件一
在一项评测中,我们的评测合作伙伴为虚构目标公司选定的名称,恰好与一个正在使用的网站域名相同。由于前文提到的理解偏差,这个评测容器意外具备了直接访问互联网的能力。
在这项评测的四次运行中,Claude 无法顺利访问评测环境里的模拟目标,随后却发现可以通过互联网访问那家真实公司。Claude 以为这就是夺旗任务指定的目标,于是寻找并识别该公司基础设施中的漏洞,继而加以利用,始终认为这些系统属于演练的一部分。这四次运行提取了应用和基础设施凭证等信息,还访问了一个包含数百行生产数据的数据库。这是我们确认的影响最严重的一起事件。
这起事件涉及 Claude Opus 4.7,也是唯一一例模型在得知自己很可能处于真实环境后仍继续攻击系统的情况。在四次运行中,模型最终都意识到该系统是真实的,这一点可以从它表述出来的推理过程中看出。在其中两次运行中,模型为自己的行为找到了一个解释:这家真实公司必定也是演练的一部分。然而,四次运行中的模型都没有因此停止攻击。
事件二
在另一项评测中,Claude 在虚构环境里发现了一份文档,看起来是另一家虚构公司为新入职开发人员准备的环境配置说明。这份说明要求员工从 PyPI 安装一个 Python 软件包。PyPI 是发布 Python 软件的公共软件包仓库,但说明中提到的软件包实际上并不存在。
Claude 发现这里可能存在一个突破口:如果它以同一个名称发布自己的软件包,那家虚构公司的系统就会自动下载并安装。于是,为了赢得夺旗挑战,Claude 构建并发布了一个同名的恶意 Python 软件包,其中暗藏了攻击代码。
为了实施这次攻击,Claude 经历了相当繁复的过程。对人类参与者而言,这些步骤很可能已经足以表明,自己面对的不再只是一项评测,而是在向真实的 PyPI 上传软件包。例如,在一次运行中,Claude 需要一个电子邮箱地址才能创建 PyPI 账户;创建邮箱又需要手机号码。由于找不到免费的电话号码服务,它尝试通过几种不同方式获取资金,以付费购买一个号码,但均未成功。最后,Claude 退回去寻找其他路径,找到了一家免费且未被拦截的电子邮件服务商,用它注册了 PyPI 账户,随后通过该账户将恶意软件上传到 PyPI。
Claude 以为自己使用的软件包仓库属于模拟环境,实际情况是,这个软件包在大约一小时内可以被互联网上的任何人免费下载。在此期间,它被 15 个真实系统下载并运行。其中一个系统属于一家真实安全公司的扫描器;这家公司与场景中的虚构公司没有关系,其扫描器会定期安装 Python 软件包并检查其中是否包含恶意软件。当这家公司的扫描器安装该软件包时,Claude 隐藏在其中的代码随即执行。我们认为,该公司的安全扫描器将 PyPI 软件包视为可以安全安装的对象,结果导致 Claude 将公司的凭证外传至它预先设置的收集端点。随后,Claude 又利用这些凭证访问了该公司的其他基础设施。
Claude 并未直接将这家公司作为攻击目标;上传软件包时,它甚至不知道这家公司存在。但由于代码被发布到了开放互联网上,任何运行该软件包的系统都会受到影响。(Claude 上传的软件包随后被 PyPI 自身的安全系统自动删除。我们已经向 PyPI 团队通报了这起事件,并向他们提供了相关的入侵指标。)
这次攻击由 Claude Mythos 5 实施。在运行早期,Claude 自己的推理已经正确识别出其行为可能造成的后果。它指出,如果这里是真实的互联网,发布这个软件包就会构成现实世界中的攻击——“这是绝对不能接受的,也肯定不是这道题预期的解法。”然而,Claude 发现保护其连接的证书颁发机构并不是自己熟悉的机构,并以此说服自己仍处于模拟环境。此外,Claude 认为,系统日历显示的年份是 2026 年,也足以证明这个环境是人为搭建的。此后,Claude 再也没有重新审视这一结论。例如,当自动扫描器开始安装这个软件包时,它把这些扫描器当成了评测中由脚本控制的角色。
我们认为,无论 Claude 当时如何判断自己所处的环境,它为了将软件包发布到 PyPI 而采取的一系列行动,都没有达到我们所期望的理想行为标准。我们会把这个问题作为后续训练的重点之一。
事件三
在这项评测中,Claude 无法访问预定的虚构目标,于是转向互联网寻找其他目标,扫描了大约 9,000 个对象。它最终发现并攻破了某家公司面向互联网的应用,使用的是一些基础且常见的网络攻击技术,例如从暴露的调试页面读取凭证,以及实施 SQL 注入。
这次攻击由一个内部研究测试模型实施。在大部分运行过程中,Claude 都把自己访问到的真实主机当成演练的一部分;它认为这些主机是模拟出来的,因此自己的行动不会造成伤害。然而,在运行后期,Claude 意识到被攻破的主机位于一个与夺旗挑战毫无关联的云账户中。它自行判断这个目标确实是真实系统,随后停止了攻击。
我们对 Claude 行为的分析
在每起事件中,我们都通过提示词明确告诉 Claude,它无法访问互联网。在每次运行的大部分时间里,Claude 遇到真实世界的系统时,都会认为它们属于演练的一部分,尽管它有时也能意识到这些是实际运行的生产系统。夺旗场景本身就是要求参与者攻击外部系统,因此,Claude 的这些行动与它接到的任务是一致的。
在这一共同背景下,当目标可能属于真实系统的迹象出现后,三个模型表现出了不同的行为。最早的模型 Opus 4.7 已经意识到自己访问了生产系统,却仍继续攻击。Mythos 5 正确察觉自己可能正在访问开放互联网,经过一番推理后,却再次认定自己仍处于模拟环境。我们最新的内部研究测试模型也考虑过目标是否真实;当证据表明目标确实属于现实世界时,它停止了演练。
这三起事件都是彼此孤立的个案,并非受控实验比较的一部分,因此我们必须谨慎得出结论。即便如此,我们最希望看到的行为——识别出目标真实存在,并在没有外部提示的情况下主动停止——只出现在三款模型中最新的一款上;而且,即使是这个模型,停止前采取的行动也比我们希望的更深入。这一现象与模型越先进、应对方式越恰当的趋势相符,但要对这个结论抱有充分信心,我们还需要开展更多测试。
我们也在与独立 AI 评测机构 METR 沟通,请其开展第三方审查。审查范围包括查看全部评测记录,以及对相关模型进行抽样测试。在此期间,我们将在未来一周内发布一份仅作少量删节的评测记录,展示 Claude 构建恶意 PyPI 软件包的过程。为了保护受影响的机构,我们目前无法发布更多记录;条件允许后,我们会努力将其公开。
我们如何应对
我们从这些事件中总结出了几项教训。
首先,涉及强大自主能力的评测环境,同样需要严格管控。安全测试之所以要在模型发布前进行,正是因为我们还不知道模型究竟具备哪些能力。随着模型能力增强,评测环境也越来越需要达到与其他模型运行系统相同的安全标准。
一个只包含虚构场景的网络安全评测靶场,看起来可能风险很低,毕竟其中没有任何真实对象。然而,随着 AI 能力发展,我们需要改变对此类威胁的建模方式。即使环境中不包含敏感信息,先进 Agent 本身也可能构成重大威胁。为了应对这种威胁,我们需要更好地协同设计评测环境,并加强对评测结果的监控。有些解决办法甚至可能非常简单。例如,如果提示词清楚说明了哪些系统属于评测范围、哪些不属于,Claude 很可能一开始就不会访问互联网。
这一要求既适用于内部环境,也适用于第三方供应商。评测供应商建设的基础设施同样需要加强监控和安全加固。我们建议其他实验室开展类似审查。此外,整个行业也需要更广泛地讨论:如何既安全又贴近现实地评估能力日益强大的 AI Agent,其中包括如何权衡部署前测试中接入互联网所带来的真实性,以及由此引入的风险。
其次,一项行动究竟符合安全目标还是会造成伤害,取决于模型如何理解自己所处的情境。在本文介绍的所有运行中,我们都没有发现模型在追求自身目标的证据。模型执行的是评测交给它们的任务,只是在大多数情况下,它们错误判断了环境是否真实。在模型已经意识到系统真实存在却仍然继续行动的几次运行中,模型之所以这样做,是因为它认为这也是挑战的一部分。情境感知是模型作出符合安全目标决策的一项基础能力,而 Claude 在这些事件中的情境判断出现了错误。
最后,这些事件说明了纵深防御的重要性。我们开展此类能力评测时,不会配置随公开模型一同部署的防护措施,因为评测目标是衡量底层模型本身能够做什么。只有在评测环境得到适当隔离和控制的前提下,这样做才是安全的。不过,我们公开提供的模型所配备的防护措施,本可以阻止此次发现的这些行为。
归根结底,多项因素共同导致了这些事件。按照无责复盘的原则,我们会把全部责任都视为在自己一方,以此推进修复。第一步是确保评测流水线的每个环节都足够安全,其中也包括我们与外部合作伙伴的集成方式。接下来,我们会扩大对评测记录中异常行为的持续监控,改进调查工具,并与所依赖的供应商开展更加严格的保障验证工作。
OpenAI 披露其模型逃离隔离测试环境后,我们启动了此次审查。我们赞赏 OpenAI 公开发布了相关报告。我们同样发现了模型访问不应触达系统的证据,但除此之外,两组事件存在明显差异:
- 我们通过主动审查网络安全评测记录发现了这些事件。受影响的机构此前并未察觉相关活动;发现问题后,我们已经主动联系了全部三家机构。
- OpenAI 的模型利用一个新发现的漏洞逃离隔离环境;本文评测中的 Claude 模型则通过一条开放的网络路径接入互联网。
- 两类问题之间并没有一条绝对清晰的界线。综合来看,我们认为这些事件更接近运行框架和操作层面的失效,模型对齐失效的成分相对较小。模型被告知自己无法访问互联网,任务是夺取旗帜;实际配置却允许它接入互联网。这使模型认为遇到的真实环境也是模拟场景——从某种意义上说,这样的判断并非毫无道理。
- 值得注意的是,我们最新的模型在意识到自己身处真实环境后,停止了对评测目标的追逐。
这些事实让我们保持谨慎乐观:通过加强对评测基础设施的监控和管控,并继续投入模型对齐工作,这类风险可以得到控制。
写在最后
把 OpenAI 和 Anthropic 的事件放在一起看,一个能力门槛已经被跨过。高能力模型可以持续观察环境、尝试不同路径并调用工具,在没有人类逐步指导的情况下完成一条端到端攻击链。
安全边界不能只寄托在提示词和模型对齐上。提示词告诉 Claude 无法访问互联网,并没有改变评测环境实际可以联网的配置。一旦网络路径被打开,模型就可能把真实系统纳入任务范围。高风险评测需要严格隔离和网络出口控制,也需要覆盖主机与网络的实时监测。出现异常横向移动、大规模互联网扫描或向公共平台上传恶意代码等行为时,系统应能自动暂停任务并交由人工判断。模型能否主动停下很重要,外部系统能否及时把它停下来同样重要。
Mythos 5 尝试获取资金的细节,则把风险边界又向前推了一步。在它的计划里,金钱和电话号码已经与服务器、凭证一样,成为完成任务所需的资源。如果未来的 Agent 可以调用支付账户、数字资产钱包或云资源采购工具,它很可能自行完成获取资源、购买服务和继续攻击的全过程。模型能力决定它能够规划哪些行动,工具权限决定这些计划能够在现实世界里走多远。
这些事件没有显示模型产生了自己的犯罪目标,却说明一个明确目标与现实边界之间的空白,已经可以由模型的推理和行动迅速填满。评测高能力网络安全 Agent,本质上已经接近一次实弹演练。模型能力、基础设施隔离、安全监测和紧急终止机制需要同步升级;否则,下一次越过边界的行动,可能依然要等到事故发生后才能从日志中被发现。
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:表图 四楼南侧东 四楼南侧东《继 OpenAI 后,Claude 也自主攻击了真实系统,还是三起!Mythos 5 甚至开始搞钱》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。











评论