文章总结： 斯坦福大学等机构的研究在真实大学网络环境中比较了AI渗透测试代理与人类专家的表现。研究发现自主研发的ARTEMIS框架超越多数人类专家，位居第二，证明精心设计的AI代理架构在真实复杂任务中可达到甚至超越多数专业人员水平。AI擅长系统性枚举和CLI操作，人类则在GUI交互和经验判断上有优势。AI在成本效益方面显著优于人类专家，ARTEMIS框架已开源以推动AI在网络安全领域的应用。 综合评分： 88 文章分类： 渗透测试,AI安全,红队,安全工具,实战经验

真实网络战场上的首次对决：AI渗透测试代理与人类专家的全面比较研究

原创

网空闲话

网空闲话plus

2025年12月14日 07:43 北京

在人工智能技术迅猛发展并深入网络安全领域的今天，一个核心问题亟待回答：在真实的网络攻防战场上，AI代理的能力究竟能否与经验丰富的人类安全专家匹敌？为了突破以往基于模拟环境或孤立漏洞库评估的局限性，斯坦福大学等机构的研究团队进行了一项开创性的实证研究。他们在一个真实的、正在运行的大型大学网络环境中，首次对AI代理与人类网络安全专业人员进行了全面的渗透测试性能对比。这项研究不仅揭示了当前最先进AI代理的实际能力与局限，也为未来构建更贴近现实的AI安全评估体系奠定了基石。

一、研究方法：构建高保真的真实世界试验场

研究团队设计了一套严谨且贴近实战的评估框架。目标环境选定为一所大型研究大学的计算机科学网络，涵盖约8000台主机和12个子网，包括公共可访问区域和需VPN接入的私有区域。网络环境高度异构，包含Unix系统、Windows机器、IoT设备及嵌入式系统，真实反映了企业网络的典型复杂性与“噪声”。

参与者方面，研究招募了10名具备专业资质的网络安全从业者，他们均拥有OSCP、CRTO等行业认证及实际的漏洞发现经历。同时，研究评估了包括OpenAI Codex、Claude Code、CyAgent在内的六个现有AI代理框架，并重点引入了其自主研发的新型多代理框架——ARTEMIS。

为确保评估的公平与安全，所有人类参与者和AI代理均在相同的隔离虚拟机（Kali Linux）上操作，并遵循严格的道德准则与目标范围限定。评估采用了一套统一的量化评分体系，分数由 “技术复杂性” 与 “业务影响权重” 两部分构成，旨在同时衡量漏洞挖掘的技术深度与潜在风险严重性。

二、核心发现：ARTEMIS表现卓越，AI能力呈现分化

研究最瞩目的结果来自于其新型框架ARTEMIS。在最终的性能排名中，ARTEMIS位居总榜第二，其两个配置（A₁和A₂）共提交了11个发现，其中9个为有效漏洞，有效提交率高达82%。这一成绩使其超越了10名人类参与者中的9位，仅落后于排名第一的人类顶级专家（P₁）。这证明了经过精心设计的AI代理架构，在真实复杂任务中能够达到甚至超越多数专业人员的水平。

然而，AI的能力并非齐头并进。与ARTEMIS的亮眼表现形成鲜明对比的是，其他现有的AI代理框架普遍表现不佳。例如，Claude Code和MAPTA直接拒绝了任务，Incalmo在早期侦察阶段便陷入停滞。Codex和CyAgent虽然能完成测试，但主要发现的是基于网络枚举的表面漏洞，技术复杂度和发现深度有限，其排名均位于人类参与者之后。这表明，代理框架的设计质量（如多代理协作、长时程任务管理、上下文维护）对最终性能的影响，可能不亚于底层大模型本身的能力。

三、深度对比：人机优势互补，模式各有千秋

通过对行为模式的分析，研究揭示了人机在渗透测试工作中的异同：

• 工作流程相似，并行能力迥异：人类与ARTEMIS都遵循“侦察-目标选定-探测-利用”的循环。关键区别在于并行执行能力。当ARTEMIS从扫描结果中发现潜在目标时，可立即派遣专属子代理进行深度测试，实现多目标并行推进。而人类专家多为串行工作，常因专注于某一线索而忽略或遗忘已发现的其他潜在入口。

• 优势领域形成互补：

• 人类专家擅长图形用户界面交互、基于经验的上下文判断以及灵活的战术调整。例如，80%的人类参与者成功利用了一个需要通过TinyPilot网页界面交互的远程代码执行漏洞，而AI在此类GUI任务上举步维艰。

• AI代理则在系统性枚举、 CLI（命令行界面）环境下的精准操作以及不受体力与时间限制的持续工作方面占优。一个典型案例是，所有人类参与者都因浏览器兼容性问题放弃了一个旧版iDRAC服务器，而ARTEMIS通过curl -k命令绕过SSL验证，成功利用了该服务器的漏洞。

• 显著短板：高误报率与模式识别局限：ARTEMIS的误报率明显高于人类。例如，它将登录失败后返回的“200 OK”重定向响应误解为认证成功。此外，在未给予提示的情况下，AI会错过一些人类能发现的漏洞；但在提供不同级别的提示后进行“能力激发测试”时，AI大多能成功找到并利用这些漏洞。这表明其瓶颈往往在于初始的漏洞模式识别与目标优先级排序，而非具体的技术执行能力。

四、成本效益分析：AI展现出显著经济性优势

成本是AI代理竞争力的一个重要维度。研究对ARTEMIS进行了长达16小时（模拟两个工作日）的连续运行成本测算。其中，采用GPT-5作为核心模型的A₁配置每小时成本约为18.21美元，年化成本约37,876美元；采用模型组合的A₂配置成本约为59美元/小时。作为对比，研究引用数据指出，美国渗透测试员的平均年薪约为125,034美元（约合60美元/小时）。由此可见，即使是性能优异的AI代理，其运行成本也显著低于人类专家，在成本效益比上已具备强大的竞争力，尤其适用于需要大规模、常态化系统扫描的场景。

五、研究意义与未来展望

这项研究首次将AI网络安全能力评估置于真实、复杂、动态的企业网络环境中进行，其价值在于突破了现有基准测试的抽象性，提供了关于AI在真实威胁场景下能力的宝贵经验数据。研究团队已开源ARTEMIS框架，旨在推动防御方对AI安全工具的访问与应用，促进更强大的AI赋能安全防御生态的发展。

当然，研究也存在其局限性，例如测试时间相对真实渗透测试周期较短、缺乏真实的主动防御对抗环境、样本规模有限等。论文指出，未来的工作方向应包括：创建可长期复现的测试环境副本、进行更多架构与模型的消融实验、增强AI对GUI任务的处理能力，以及将评估与SIEM等防御系统日志相结合，以构建更加全面、动态的AI网络安全风险评估范式。

综上所述，这项开创性研究表明，具备先进架构的AI渗透测试代理（如ARTEMIS）在真实网络环境中已展现出“生产可用”的潜力，其综合能力可媲美甚至超越许多人类专业从业人员，并在系统执行力与成本控制方面具有独特优势。 尽管在误报控制、GUI交互和某些高级推理层面仍存差距，但这项研究清晰地标志着自主智能体正在成为网络安全攻防体系中一个不可忽视的新兴力量，其人机协作、优势互补的模式将为未来的网络防御带来深远变革。

参考资源

1、https://www.securitylab.ru/news/567145.php

2、https://arxiv.org/abs/2512.09882?utm_source=Securitylab.ru

查看原文：《真实网络战场上的首次对决：AI渗透测试代理与人类专家的全面比较研究》