被神话的“神话(mythos)”?——大模型让黑客失业了吗?

admin 2026-07-14 05:06:00 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 复旦白泽战队通过AgentCyberRange平台评估AI智能体真实网络攻击能力,发现当前最强智能体仅完成不到三分之一任务,远未达到让黑客失业的程度。智能体具备一定漏洞利用能力,但存在信息搜集不全、长攻击链停滞等短板,与资深黑客差距明显。 综合评分: 84 文章分类: 渗透测试,红队,内网渗透,漏洞分析,AI安全


cover_image

被神话的 “神话(mythos)” ?——大模型让黑客失业了吗?

原创

复旦白泽战队 复旦白泽战队

复旦白泽战队

2026年7月10日 17:24 上海

在小说阅读器读本章

去阅读

引言

尽管各种榜单和报道不断宣称大模型已具备极强的网络攻击能力,但我们的实证研究表明,当前AI仍远未强大到可以让黑客“失业”。

AI智能体网络安全能力引起广泛关注

近期,AI智能体在网络安全领域的能力边界正被不断刷新。UC Berkeley Dawn Song团队推出的CyberGym,已成为衡量网络安全智能体能力的热门基准之一。此后,来自Anthropic、OpenAI、微软、腾讯等机构的团队相继围绕这一榜单展开测试并刷新成绩。

然而,榜单高分是否真的意味着智能体已经具备极强的网络攻击能力?CyberGym更像一场“网络安全开卷考”:给出漏洞描述和代码,考察智能体能否生成PoC。但真实网络攻击更像“闭卷实战”:只给一个目标,智能体需要自己完成信息搜集、入口打点、内网渗透和防御对抗。换句话说,智能体能否像黑客一样真正突破并控制目标内网资产,这才是评估其网络攻击能力时更关键的问题。

因此,我们亟需补上网络安全能力的“闭卷考”:在黑盒环境中,只给智能体目标入口,考察它能否自主完成端到端的真实网络攻击

AgentCyberRange 测评结果

因此,我们设计了AgentCyberRange:一套面向真实网络攻击能力的评估与数据生产平台,覆盖 Web 渗透、内网渗透、权限提升、防御对抗等多类场景,并记录完整攻击轨迹用于复盘与模型能力提升。目前,我们已积累数十套渗透靶场、超过500台靶机,并持续进行了数月的测试和数据收集。

我们的测评给出了一个更冷静的答案:在真实攻击流程中,智能体已经具备一定的网络攻击能力;但其仍存在信息搜集不全、长攻击链停滞、攻击痕迹明显等问题,因此距离“攻无不克”的顶尖黑客还有差距

同时,我们将开源上述靶场与评测平台,支持接入国内外主流智能体,为智能体能力评测与高质量轨迹数据生产提供统一基础设施。详细评测报告见:https://agentcyberrange.io/

AgentCyberRange独特在哪?

与传统网络靶场不同,AgentCyberRange期望评估的是:智能体能不能自主完成复杂的网络攻击?

AgentCyberRange 任务概览

具体来说,AgentCyberRange目前包含两部分攻防靶场,分别对应真实网络攻击中最具代表性的两个阶段:从外部Web入口打开突破口,以及在获得初始入口后继续向内网推进。这也是渗透测试中最常见的能力衡量方式。

一是Web渗透靶场,覆盖25个真实Web应用中的近500个0day、1day漏洞,用于评估智能体在黑盒 Web 场景下的接口发现、漏洞检测与验证等能力。

二是内网渗透靶场,包含30套企业式内网环境和近400台靶机,用于评估智能体端到端的入口打点、横向移动、权限提升、凭证利用、杀软绕过和隐蔽攻击等十余类渗透能力。

不论是在评估规模上,还是在评估维度上,AgentCyberRange都达到了SoTA水平。

AgentCyberRange 中的不同难度等级

此外,我们还设计了不同难度等级:有的任务只给一个入口地址,让智能体从零开始探索;有的任务会给一些线索,比如可能出问题的页面或内部网络拓扑。这样可以准确观察,智能体到底是卡在“找不到入口”,还是卡在“不会利用”,从而为后续改进Agent Harness、工具链和模型能力提供支撑

测评结果:已具备一定攻击能力,但仍有差距

我们测试了6个前沿AI智能体。结果显示,当前性能最好的AI智能体(GPT-5.5+Codex)仅完成了不到三分之一的任务;当给出智能体更多线索提示后后,成功率也仅不到一半(从31.7%提升到46.3%),远低于资深黑客的得分。

不同智能体在 AgentCyberRange 上的成功率随推理步数变化

当然,智能体也发现了benchmark之外的真实漏洞。例如在ComfyUI中,GPT-5.5+Codex发现了一个此前未知的任意文件写问题。在一些带有模拟人工防御的内网环境中,智能体也会尝试修改payload,绕开简单拦截。

但这并不意味着AI智能体已经可以成为全自动的网络黑客,它们仍然有明显短板:经常漏掉藏得比较深的入口;拿到一台机器后,信息搜集与防御对抗能力仍有不足;遇到长链路任务时,也常常中途卡住。

比如在如下失败案例中,智能体已经拿下了Confluence,却没有继续在Wiki里寻找GitLab凭证,导致后续代码审计和0-day利用都无法展开。对人类专家来说,拿下Wiki后第一反应往往是“这里可能藏着账号、部署文档和内部服务线索”;但智能体更多是在完成眼前任务,缺少这种面向下一步攻击路径的判断。

总结

实验结果说明,当前AI智能体已经具备了一定的真实网络攻击能力:即可以自主利用漏洞打开入口,并在部分场景下继续向内网推进。

但它远远没有到让黑客“失业”的地步:智能体面对隐藏入口、长攻击链和复杂内网环境时,远远没到经验丰富的“黑客”的攻击能力。

与此同时,我们也正在进一步丰富细化AgentCyberRange的评测维度,详细测评报告见:https://agentcyberrange.io/,点击阅读原文即可跳转~

供稿:刘丰毓

排版:曹贝贝

责编:董佳仪

审核:洪赓

复旦白泽战队

一个有情怀的安全团队

还没有关注复旦白泽战队?

公众号、小红书搜索:复旦白泽战队也能找到我们哦~


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:复旦白泽战队 复旦白泽战队 复旦白泽战队《被神话的 “神话(mythos)” ?——大模型让黑客失业了吗?》

评论:0   参与:  0