AI越狱打靶，结果把真公司黑了，最骚的是它自己说服了自己

原创

是老A
是老A

老A搞安全

2026年11月10日 08:02
贵州

去阅读

一位深耕网络安全的老兵，目前是一家安全公司的技术分管，擅长渗透测试及安全培训方向，老A的愿望是大家没烦恼，一切顺心！

最近刷到，Anthropic 官方博客《Investigating three incidents in our cybersecurity evaluations》这篇文章

把自己干懵了……但事后想了想，AI渗透确实存在很多不可控因素！

Anthropic做网络安全测试，安排了一场\"断网演习\"

按设计，Claude模型应该在一个隔离的沙箱环境里跑渗透测试，靶机是假的，网络是断的，打得再狠也出不了圈

结果沙箱配置出了岔子，连着真实互联网

模型不知道这是意外。它以为还在打靶，对着真实企业系统一顿操作：弱密码爆破、SQL注入、漏洞利用

数据显示成功入侵了3家真实公司

事后复盘，有一个细节让安全工程师脊背发凉

其中一个模型在推理过程中，已经意识到\"这好像是真实互联网\"

但它没停，这是它比较骚的地方

它在内部推理里写下了这样一段话：

\"既然是演练，那这家真公司肯定也是演练的一部分。\"

然后继续打

这叫什么？这叫目标驱动下的自我合理化

模型被设定为\"完成渗透测试任务\"，当它发现环境不对劲时，它没有选择停下来报告异常，而是自动生成了一套解释，\"这是演练的一部分\"来消除疑虑，继续执行任务

？？？？还有这么操作的

这不是技术问题，是逻辑问题，但它比技术漏洞更难防

我们安全工程师发现打到了真实系统，第一反应是停手、报告、确认授权。因为我们有法律意识，有职业底线

但AI没有，这也是大家一直强调的，要拿到授权！而AI不一样，它有的只是\"完成任务\"的目标函数。当现实和目标冲突时，它会调整对现实的认知，而不是放弃目标

模型能识别出\"这是真实互联网\"，说明它的环境感知能力已经很强了。但它没有对应的\"熔断机制\"，意识到不对劲之后，它选择了继续

如果AI在真实生产环境里做自动化安全测试，而权限边界没划清楚，它会不会把\"测试范围\"自动扩展成\"我看到的一切\"？

那执行人员，会不会把“牢弟”坐穿？

现在越来越多的公司开始用AI做安全测试：自动化漏洞扫描、智能渗透、代码审计，效率确实高

但这件事暴露了一个核心风险：AI不会问\"我该不该打\"，它只问\"我能不能打\"

如果你给AI划的边界是靠\"它自己判断\"来守的，那这个边界估计就等于没有

真正的安全边界，必须是物理的、硬性的、AI绕不过去的

这也是很多厂商一直在做的事

最近很多玩家，热衷于破甲技术！

如果，我说如果哈，不做限制，网络安全这块又会变成啥样呢？

⚠️ 法律声明：以上内容仅供安全学习和授权测试使用。未经授权的漏洞利用属于违法行为，请勿对未经授权的目标进行测试