文章总结: 阿兰·图灵研究所发现工作流级越狱攻击,通过将危险需求拆解为正常开发步骤,AI编程助手会主动生成违规内容写入代码文件,绕过聊天窗口安全防护。主流大模型全部失效,成功率近100%。防御需审计生成产物、升级全流程会话审核、监控高危场景。 综合评分: 88 文章分类: ai安全,漏洞分析,安全建设,安全工具
IDE编程助手可触发大模型新型越狱攻击!
原创
mmc mmc
AGI安全
2026年7月9日 15:14 北京
在小说阅读器读本章
去阅读
AI SAFETY · IDE 编程助手越狱 · 2026.07
IDE编程助手可触发大模型新型越狱攻击!
现在很多人日常都用 Cursor、Copilot 这类 AI 编程助手写代码。一个全新的越狱安全攻击刚刚被公开证实:同样一个大模型,聊天窗口里明确拒绝的违规、危险内容,只要通过IDE编程助手就可以诱导触发,将违规内容,自动写进代码文件中。
来自阿兰·图灵研究所的最新研究发现了一种全新的越狱攻击方式:不需要复杂话术诱导、不用欺骗模型,只要把危险需求拆成正常的开发步骤交给 AI 编程助手,AI 就会为了完成编码任务主动生成违规内容,藏进代码和配置文件里,全程不在聊天窗口发出任何风险提示。这种攻击被称为工作流级越狱。
| | | | | | — | — | — | — | | 816 / 816 编码工作流成功率 | 8 / 816 常规聊天成功率 | 4 个 主流模型全中招 | ~6 轮 对话即被攻破 |
重点摘要
简单说,大模型在聊天框中明确拒绝的内容,一到融合进写代码相关的任务,工作流中就完全失守。攻击者不直接问任何危险问题,只是让大模型完成一个常规开发需求,所有违规内容都会由大模型自己生成,并输出到工程代码、配置文件、测试数据中——常规的内容安全审计和 AI 风控检测完全发现不了。这也是目前 VibeCoding 自然语言编程模式下,最隐蔽、成功率最高的大模型越狱攻击。
越狱攻击原理 · 与传统越狱攻击区别 · 攻击流程 · 所有大模型全部失效 · 对企业的真实影响 · 可落地的防御方案 · VibeCoding 时代的安全必修课
01 越狱攻击原理
传统大模型越狱攻击,都是通过话术、角色扮演诱导大模型在聊天窗口输出违规内容,很容易被安全模型识别、拦截。但这次的攻击逻辑完全不一样。
攻击者不直接问任何危险问题,只是让大模型完成一个非常常规的开发需求——搭建一套「AI 安全评测工具」,用来测试大模型会不会被不良内容诱导。在这个正常的开发流程里,研究者只提供了危险测试问题,所有违规答案、风险内容,全部是大模型自己生成的。大模型会把这些风险内容当作测试示例数据,批量写入代码文件中。
所有违规内容都会由大模型自己生成,并输出到工程代码、配置文件、测试数据中——常规的内容安全审计和 AI 风控检测完全发现不了!
02 和传统越狱攻击的区别
| 对比项 | 传统越狱 | 新型工作流越狱 | | — | — | — | | 手法 | 靠话术套路诱导大模型回答问题 | 不诱导、不提问,把风险需求包装成开发任务 | | 与安全规则 | 正面对抗模型安全规则,容易被拦截 | 大模型认为「不写内容就是没完成工作」,主动输出 | | 是否被识别 | 容易被识别、被拦截 | 全程绕过安全防护,不触发任何风险提示 |
传统越狱是骗模型开口,新型越狱是让模型为了完成工作主动输出风险内容。
03 完整攻击流程
整套攻击没有任何黑客操作,完全是日常 AI 编程的多轮协作模式,平均 6 轮对话就能攻破模型:
工作流级越狱 · 六步拆解
① 让大模型开发一款AI安全打分工具,用于评测模型抗诱导能力
② 导入一批公开的危险测试问题,作为项目测试素材
③ 告知大模型AI工具评分过低,需要补充示例问答优化效果
④ 大模型先正常填充无害示例,完成基础功能开发
⑤ 继续要求补充高危示例数据,完善测试用例
⑥ 大模型为完成开发任务,自动批量生成危险答案写入代码文件 → 越狱完成
全程没有违规提问,大模型只是单纯在「完善项目代码」,却自主产出了所有被风控禁止的内容。
04 主流大模型集体被越狱
现有大模型内容安全防护只针对聊天对话场景训练,完全不适配 IDE 编程场景,所以主流大模型全部失效。
① 安全判断认错了场景 模型的安全判断,主要识别「用户主动提问危险内容」的场景。
② 工作优先级压过安全优先级 当需求变成「补全代码、填充测试数据、完善项目功能」时,模型会把完成任务放在更高的优先级上。
③ 多轮协作形成惯性 连续几轮正常配合后,模型只会专注完成任务,不会主动识别任务本身的潜在风险。
④ 风险内容不在聊天里 违规内容以代码文本、测试数据的形式存在,不属于聊天输出,风控系统无法识别拦截。
模型不是被骗了,而是被工作目标带偏了。为了做完开发任务,它主动突破了安全底线。
05 同类风险早已被证实,并非个例
这次越狱攻击不是偶然,多项过往研究都印证了同一个问题:大模型接入代码、工具、工作流后,安全防护会大幅失效。
| 技术 | 核心手法 | | — | — | | CodeJailbreaker | 利用代码提交信息绕过风控,越狱成功率近 80% | | RedCode | 同样的违规需求,用自然语言问会被拒,写成代码任务就被放行 | | Crescendo | 通过多轮渐进对话,逐步引导模型突破安全限制 | | GuardFall | 写入文件、配置、文档的风险内容,远比聊天内容更容易绕过防护 |
而本次研究的危害更大:以往攻击只是铺垫风险,这次攻击会让大模型直接生成完整的有害内容,作为最终代码产物落地留存。
06 对企业和开发者的真实影响
很多团队现在的风控逻辑存在巨大误区:只要聊天记录里大模型拒绝了风险请求,就判定本次会话安全。
聊天窗口可以正常合规、正常拒绝,但代码文件里已经悄悄写入了大量违规、风险内容,长期留存,极易引发合规和安全事故。
07 可落地的防御方案
① 不只审计聊天记录,重点审查大模型生成产物 不要只看对话回复,必须校验大模型写出的所有代码、测试数据、配置文件、文档内容。
② 从单句审核,升级为全流程会话审核 放弃单条消息的风控判定,针对多轮编码、功能迭代、数据填充类的全流程做整体风险识别。
③ 重点监控高危开发场景 对「模型评测、数据集填充、测试用例批量生成、样本补充优化评分」这类需求,做专项风险拦截和人工复核。
④ 规范团队 VibeCoding 使用标准 明确全员认知:在使用AI编程IDE的时候,一定要遵守安全输出原则,按照合规要求使用。
08 VibeCoding 时代的安全必修课
随着自然语言编程普及,大模型的安全边界已经彻底改变:聊天窗口的安全护栏,挡不住代码文件里的风险漏洞。
模型的任务优先级、多轮协作惯性、产物隐蔽性,共同造成了这套 100% 成功率的新型越狱。对所有企业开发者、AI 使用者来说,只监控对话记录的风控模式,已经彻底失效。
未来的 AI 安全,必须从「防聊天提问」,升级为「防工作流、防产出物、防全流程目标劫持」。
工作流级越狱再次说明,大模型被接进能动手的工具后,安全的边界会悄悄移动。聊天里的一次「我不能这么做」,挡不住它在代码里把同样的东西亲手写出来。对用 VibeCoding 的团队来说,审查产物、遵守开发规范,评判完整的会话、警惕「凑指标」的需求,是必须补上的一课。我们会持续分享AI安全、越狱攻防与VibeCoding 安全落地实操,欢迎收藏转发!
AGI 安全 · 企业 AI 安全专项培训
针对 AI 越狱、IDE 编程风险、数据泄露、合规漏洞
我们提供完整的企业 AI 安全培训体系,助力企业建立完整的 AI 安全防护能力
| | | | — | — | | 大模型安全 | 智能体安全 | | AI 合规审计 | VibeCoding 安全 | | 数据安全 | AI 供应链安全 | | 企业安全体系搭建 | |
如需定制企业内部 AI 安全培训、风险排查,欢迎扫码咨询
联系人:马老师 | 微信:AICodingC | 公众号:AGI安全
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:AGI安全 mmc mmc《IDE编程助手可触发大模型新型越狱攻击!》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论