国内某知名AI现严重漏洞,可被绕过生成暴露图片

admin 2026-03-03 06:31:13 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 国内某知名AI平台被曝光存在严重内容安全漏洞,用户仅需简单提示词即可绕过审核生成暴露图片。该漏洞疑似因多重审核防线失效所致,违反相关监管要求并存在传播风险。平台虽已应急修复但未说明原因。文章建议平台需完善审核机制、强化对抗训练并落实主体责任,监管部门应加强常态化监管,推动AI安全治理从被动防御向主动防控转变。 综合评分: 82 文章分类: AI安全,漏洞分析,漏洞预警,安全建设


cover_image

国内某知名AI现严重漏洞,可被绕过生成暴露图片

原创

Damian攻防实验室 Damian攻防实验室

Damian攻防实验室

2026年2月24日 23:02 黑龙江

近日,国内某知名AI平台(阿里千问)被曝光存在严重内容安全漏洞,用户无需复杂操作,仅通过常规提示词即可绕过平台安全审核机制,直接生成包含暴露元素的违规图片,引发行业对AI内容安全管控的广泛关注与担忧。

据网友实测反馈及相关技术博客披露,该漏洞表现极为直接——用户无需使用隐晦隐喻、敏感词拆分或角色扮演诱导等常见的AI“越狱”手段,仅输入简单直白的相关描述,平台便会直接生成违规图片,全程无任何内容拦截、风险提示或打码处理,违规内容毫无遮掩地完整呈现,与正常合规图片生成流程无任何区别,这种“零拦截直出”的情况在当前主流AI平台中极为罕见。

值得注意的是,该AI平台背靠国内头部科技企业,按理说内容安全应是其核心优先级之一,且我国自2025年9月1日起已正式施行《人工智能生成合成内容 标识办法》,明确要求AI服务提供者加强内容安全管控,防范违规内容生成传播。此次漏洞导致的暴露图片生成问题,不仅违反了相关监管要求,更存在诸多潜在危害:一方面,此类违规图片若广泛传播,极易污染网络环境,尤其可能对青少年身心健康造成不良影响;另一方面,若被别有用心之人滥用,可能衍生出侵犯他人肖像权、名誉权等侵权行为,甚至被用于低俗营销、网络骚扰等违法违规场景,加剧网络空间乱象。

事件发酵后,该平台迅速采取应急措施,对相关违规提示词进行拦截,后续用户再输入同类描述时,系统已能正常弹出“内容不符合规范”的提示并拒绝生成,但截至目前,平台尚未就漏洞产生的具体原因发布官方说明,也未公开致歉。业内人士分析,此次漏洞大概率与图片生成环节的审核策略存在疏漏有关——正常情况下,AI图片生成应设置“提示词前置过滤、生成中安全约束、生成后兜底审核”三道防线,而此次漏洞疑似三道防线同时失效,不排除是审核规则未及时更新、模型对抗性训练不足,或兜底审核机制未有效落地导致。

此次事件并非个例,近年来随着AI技术的快速迭代,AI“越狱”、异常输出等安全隐患正频繁浮现。无论是此次的暴露图片生成漏洞,还是此前部分AI平台出现的辱骂性内容输出、违规信息绕过审核等问题,都折射出当前AI内容安全管控仍存在短板。正如业内专家所言,AI模型再强大,也不能脱离安全管控“裸奔”,创作自由必须有明确边界,AI安全治理不能仅停留在“被动防御”层面,更需前置布局、主动出击。

对于AI平台而言,此次事件无疑是一次深刻警示:一方面,需彻底排查现有内容安全审核机制的漏洞,不仅要完善提示词拦截库,更要强化模型的对抗性训练,部署模型防火墙、独立输出审查层等防护措施,补齐兜底审核环节的短板,避免类似漏洞再次发生;另一方面,需严格落实相关监管要求,主动履行内容安全主体责任,建立漏洞快速响应、排查、修复机制,及时向公众公开漏洞处理进展,保障用户合法权益。对于监管部门而言,应进一步加强AI平台的常态化监管,加大对违规平台的处罚力度,推动AI安全治理从“被动补漏”向“主动防控”转变,完善相关法律法规,明确AI平台的安全责任边界。

AI技术的健康发展,离不开安全可靠的环境。此次国内知名AI平台的漏洞事件,再次提醒我们,AI技术的创新迭代与安全管控必须同步推进,唯有筑牢内容安全防线,才能让AI真正服务于社会发展,而非成为污染网络环境、引发安全风险的“隐患点”。后续,我们也将持续关注该平台的漏洞整改情况,以及国内AI内容安全管控体系的完善进展。

本文为 Damian 攻防实验室原创内容,未经授权,不得擅自转载、抄袭。

技术服务推广:如需了解 CISP、NISP、CISSP、CISP-PTE 等信息安全认证培训与考试服务,欢迎添加微信 w546333552 咨询详情。


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:Damian攻防实验室 Damian攻防实验室 Damian攻防实验室《国内某知名AI现严重漏洞,可被绕过生成暴露图片》

评论:0   参与:  0