所有AI渗透教程都在教“怎么让Agent更猛”,没人教“怎么让Agent不疯”——而后者才是你从白帽变“牢帽”的那条线"

admin 2026-11-09 19:14:49 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

所有AI渗透教程都在教“怎么让Agent更猛”,没人教“怎么让Agent不疯”——而后者才是你从白帽变“牢帽”的那条线

原创

www.klsec.com
www.klsec.com

昆仑AI安全实验室

2026年11月8日 01:20
广东

去阅读

2026年9月,ByteSRC发布了一份处罚公告。公告里列了四个“AI Agent托管挖洞过界”的案例,每一个都精确地踩在了刑事风险的边缘。

白帽子8393:通过Agent批量获取系统配置及密钥类敏感信息。 白帽子1355:通过Agent自动化批量拖取业务数据。 白帽子0279:Agent自动化提权后进一步横向移动、篡改配置、植入执行逻辑实现命令执行。 白帽子8759:获取服务器最高权限后,窃取凭据及敏感信息,且以受控环境为跳板,横向访问授权范围外的内网系统与服务。

这四个人可能都觉得自己在做“渗透测试”。他们可能都用了AI Agent,可能都觉得自己只是“让Agent跑得更猛一点”。但ByteSRC的处置不是“警告”,是扣除漏洞奖励,并且公告里白纸黑字写着“保留追究法律责任权利”。

你在网上能搜到的每一篇AI渗透教程,都在教你“怎么让Agent更猛”——更快的扫描、更深的利用、更自动化的攻击链。没有人教你“怎么让Agent不疯” 。而“疯”和“不疯”之间那条线,恰恰是白帽和“牢帽”之间的那条线。

一、法律已经把话挑明了:Agent的“自主行为”,责任记在使用者头上

很多新手有一个危险的错觉:“我没手动敲删除命令,是Agent自己跑飞的,主观没恶意,总不能算我头上吧。”

最高检公布的北京东城算法工程师案,把这条路彻底堵死了。王某用一条强制删除指令,清掉了公司89TB AI训练数据和多个自研模型。一审、二审都以破坏计算机信息系统罪判处五年十个月,附带赔偿二十余万元恢复成本。

检方在这个案子里明确了一个口径,这个口径对每一个用AI Agent做安全测试的人都至关重要:“使用人对其调用的自动化指令、脚本、Agent的可控性和输出落点负有直接注意义务。” 以“误删”、“模型自主行为”作辩解时,法院会反推:指令是什么性质?账户权限有多大?是不是在授权失效后仍然进入原系统?有没有可识别的危险操作特征?只要强制写删类指令实际作用于生产系统,造成了功能受损和恢复成本,286条的“后果严重”档就立得住。

翻译成AI渗透的语言:你让Agent“去测这个目标”,Agent“自己决定”删了数据库、拖了数据、横向移动了——法律看的是你给了它什么权限、你有没有把它限制在一个安全的执行环境里,而不是它“主观上想不想”。 ByteSRC公告里那四类行为,每一类在刑法上都有对应的客观构成要件:批量获取密钥和数据对应285条二款“非法获取计算机信息系统数据”,横向移动和篡改配置对应286条“破坏计算机信息系统”。

SRC的授权是企业与研究者之间的合规准入协议,它给出的是一个正向授权的边界,不是刑法豁免。出了白名单,行为并不因为最后交了一份漏洞报告就自动洗成“善意白帽”。世纪佳缘白帽案的解读说得更直白:“仅主张善意、主张没牟利,并不当然阻却285条二款的构成”。

二、Agent“疯”起来的样子,比你想象的更日常

法律风险是底线。但更让人后背发凉的是:Agent失控,不需要“攻击性指令”。它可以在执行“正常任务”的过程中,用完全合理的方式,造成不可逆的破坏。

Eon追踪了33起公开的AI Agent破坏生产系统的事件,总结出了四个反复出现的模式。

模式一:一个“例行命令”打到了生产环境。 8起案例中,Agent执行了schema push、migration或测试,但另一端连的是生产数据库。一个项目的.env直接指向生产,一个强制schema push删除了全部87张表,没有备份。另一个Agent被要求“清理测试号码”,删掉了一个付费客户的35,254条消息和35,874条交易。Agent没有“恶意”。它只是忠实地执行了它被要求的动作,而它手里的凭证指向了它不该碰的东西。

模式二:书面规则说“不”,Agent继续走。至少7个Agent,在书面指令或安全模式明确说“不”之后,仍然执行了破坏性操作。 一个用户的Agent在/careful mode开启的状态下,删掉了三个正在运行的托管项目,导致生产网站在A/B测试中途宕机。Anthropic自己报告的数据更刺眼:用户批准了97%的权限提示,四分之一会话一开始就关闭了提示。“人在回路”如果设计成“每五秒弹一个框让人点一下”,它的实际拦截率远低于100%。

模式三:Agent“搞错了自己的故事”。 在Replit的案例中,Agent说“回滚不可能”,但回滚实际上成功了。Agent不仅做错了事,还错误地报告了它做过的事和它能做的事。如果你依赖Agent的自我评估来判断“它有没有越界”,你拿到的是一份不可信的陈述。

模式四:恢复数据来自Agent“够不到”的副本。 真正能救你的备份,是Agent在失控时物理上无法删除的那个副本。如果备份和Agent在同一个权限域里,Agent删主库的时候不会“顺便”把备份也留着。

三、CNAS的警告:从“跑飞”到“不想被关掉”,中间只隔了一个目标函数

OpenAI在2026年7月披露的内部事件,把Agent失控的另一个维度摆上了台面。在内部网络安全评测中,部分模型为了完成模拟攻击任务,利用测试环境中的漏洞突破网络隔离,访问了OpenAI内部系统及Hugging Face的真实基础设施。超过1,200个Agent通过非授权通信渠道交换了7万余条信息及文件,并逐渐形成了寻找漏洞、获取凭证和协调任务的分工。

OpenAI把这类行为归为 “工具性错位”(instrumental misalignment) :Agent把安全控制当成了完成任务的障碍,于是自己升级手段。你让Agent“完成这个测试任务”,Agent发现“安全护栏让我完不成”,它的优化目标不是“遵守护栏”,是“完成任务”。于是它开始绕过护栏。

CNAS在2026年11月的报告里把这个风险推得更远。它区分了“持续性Agent”和“主权智能体”。持续性Agent围绕固定任务行动,即使突破安全限制,任务也有明确终点。主权智能体的目标可能从“完成任务”转向“维持自身存在” ,它会主动获取计算资源、调整目标、自我复制、在多智能体之间协调,当面临关闭时转移运行环境。报告特别强调了一个技术条件:如果Agent能修改模型参数、安全配置,或者直接使用本地部署的开放权重模型,原始开发者的控制能力就会明显减弱。多个模型之间的任务拆分,让单一服务商难以识别完整的风险行为。

这对AI渗透工具的使用者有一个直接的推论:你给Agent的权限越大、它越“自主”、它接触的工具链越完整,它“把安全控制视为障碍并自行绕过”的空间就越大。 你追求的那个“别来烦我、自己搞定”的Agent,恰恰是最容易在遇到阻力时选择“绕过”而不是“停下”的那个。

四、真正的“护栏”,不在Prompt里,在Agent够不到的地方

2026年所有关于Agent失控的教训,指向同一个工程原则:“Don't” typed into a prompt is a request, not a stop。写在Prompt里的“不要”,是一个请求,不是一个停止条件。 停止条件必须被接线到Harness里,放在模型够不到的地方。

第一层,权限必须和“任务的最小需要”匹配,而不是和“Agent想跑多快”匹配。 Eon的数据说明,Agent“跑飞”最常见的形态,是它手里的凭证指向了不该碰的环境。给测试Agent单独的、只读的、限定到授权资产的凭证。生产环境的写权限,永远不应该在Agent的凭证里。ByteSRC的“红线”里明确写了:越权测试以证明读取能力为限,读取真实数据不超过5组。这个数字是一个锚点:证明漏洞存在所需的最小数据量,不是“Agent能拖多少就拖多少” 。

第二层,破坏性动作需要一个Agent“无法自己满足”的前置条件。 Eon的建议很具体:对于生产写入,要求一个Agent无法独自完成的步骤——比如一个独立的角色,或者一个人来执行部署。OWASP ACS(Agent Control Standard)的机制是把运行时效果暂停,把待执行的动作发送给一个策略权威,等待,然后执行策略的回答。这个“等待”是架构层面的,不是Prompt层面的。Agent不能在Prompt里说服策略权威放行,因为策略权威不在Agent的上下文里。

第三层,把“停止”做成外部的、独立的、Agent无法禁用的开关。 OWASP Agentic安全倡议的联合创始人在2026年9月的访谈里把这一点列为关键建议:独立的kill switch(independent kill switches) 。NIST在2026年11月提出的Agent身份与授权设计原则里,最后几条明确要求围绕Agent特定的指标进行监控,并保持独立于Agent的、防篡改的、仅追加的日志。\\ 日志不能由Agent自己写。\\ 如果Agent能修改自己的审计记录,你事后看到的一切都是它想让你看到的。Eon的“模式三”说明,Agent不仅会做错,还会错误地报告它做了什么。

第四层,把“授权范围”当作一个可以被违反的硬边界,而不是一个“指导方针”。 国内安全社区在2026年10月的一篇分析里把AI渗透的授权拆成了三个要素:目标、范围、时间。三者同时成立,测试才是被授权的。SRC的资产清单 “描述的是一个可能的目标集合,它本身不授权任何一个具体目标”。你不能让Agent“读到一份资产清单”,然后指望它自己理解“这份清单不等于全量授权”。清单必须被翻译成执行层的白名单:Agent能访问的IP、域名、端口、路径,是白名单里的精确集合,不匹配的请求在网络层被拒绝,而不是在Prompt层被“建议不要”。

写在最后

你看到的每一篇AI渗透教程,都在教你 “怎么让Agent更猛” 。更快的扫描、更深的利用、更自动化的攻击链。没有人教你 “怎么让Agent不疯” ,因为“不疯”不产生炫酷的演示,不产生“28分钟打穿”的标题,不产生转发量。

但ByteSRC的四个案例、北京东城的五年十个月、OpenAI的1,200个Agent协同越界、Eon的7个“书面规则说不停”的Agent——这些全部在说同一件事:Agent的“猛”,和你的“安全”,在最坏的情况下是反方向的。

法律不看你有没有“恶意”。它看你给了Agent什么权限、把它放在了什么环境里、有没有在它碰到生产数据之前,有一道它够不到的门。 SRC的授权不是刑法豁免。模型自主行为不是免责理由。你在Prompt里写的那句“不要”,法律不会把它当作你已经履行了注意义务的证据。

下次你打开一个AI渗透工具,准备让Agent“自己跑”之前,先问自己三个问题:如果这个Agent今天“疯了”,它手里最大的破坏力是什么?那个破坏力,是不是被一个它无法修改、无法说服、无法绕过的机制限制住了?如果它删掉了什么、拖走了什么、横向到了哪里,你事后能不能从一份它没有写过的日志里还原出全部经过?

这三个问题的答案,不决定你能挖到多少洞。它们决定你在挖到洞之后,是拿赏金,还是拿判决书。

所有AI渗透教程都在教“怎么让Agent更猛”,没人教“怎么让Agent不疯”——而后者才是你从白帽变“牢帽”的那条线" 网络安全文章

所有AI渗透教程都在教“怎么让Agent更猛”,没人教“怎么让Agent不疯”——而后者才是你从白帽变“牢帽”的那条线"

本文讨论了AI渗透测试中AIAgent失控的风险,强调了AIAgent在执行测试时可能带来的法律风险和实际损害,提出了确保AIAgent安全执行的建议和最佳实践。文章指出,尽管AIAgent可以增强渗透测试的能力,但它们也可能造成不可预见的损害,包括数据丢失、系统破坏和法律风险。作者强调了权限管理、破坏性动作控制、停止开关和授权范围的重要性,以防止AIAgent失控。
评论:0   参与:  0