如何开展并防御 AI 攻击与 AI 渗透

原创

小安伴你行
小安伴你行

小安伴你行

2026年10月30日 09:18
北京

去阅读

引言：AI 既是武器，也是靶子

AI时代的网络攻防有一个显著特征：AI既是攻击者开展黑客攻击的武器，也是被攻击的目标。一方面，攻击者可借助AI生成仿真度更高的钓鱼内容、设计更精准的社会工程攻击、开发自动化程度更高的渗透工具；另一方面，企业部署的大模型与AI系统本身也成为新的攻击面，会面临提示注入、数据投毒、模型窃取等类型的攻击。想要守住AI时代的安全底线，就必须先理清这两类攻击方向：针对AI系统的攻击（AI攻击）与借助AI发起的渗透（AI渗透），并在两类攻击的重叠区域完成防御部署。

本材料面向公司全体员工及参与攻防相关工作的人员，明确了三个目标：第一，讲清AI攻击与AI渗透的基本概念和典型攻击手法；第二，结合NIST、OWASP、MITRE ATLAS等权威框架，梳理针对AI系统的攻击类型与大模型特有的攻击面；第三，给出清晰的防御路径，包括如何在AI生命周期的各个阶段布设防线、如何开展AI攻防演练，以及每位员工该如何识别和防范AI攻击。请各位带着一个问题阅读本材料：我经手或使用的AI工具，会不会成为攻击者侵入公司的入口？

1 分清两个概念：AI 攻击与 AI 渗透

1.1 AI 攻击：针对 AI 系统的攻击

AI攻击指的是以AI系统、模型或其对应数据为目标的攻击。攻击者可以通过构造对抗样本让图像识别出现错误，向训练数据投毒“误导”模型，发起隐私攻击从模型中窃取训练信息，或是滥用模型的输出能力实施欺诈。这类攻击的目标就是AI本身，危害的是模型的可信性、可用性与整体安全性。

1.2 AI 渗透：用 AI 增强或发起的渗透攻击

AI渗透指的是攻击者将AI作为渗透工具，攻击传统信息系统和人员的攻击行为。典型场景包括利用大模型批量生成高度逼真的钓鱼邮件，通过深度伪造（Deepfake）制作虚假音视频实施诈骗，借助AI辅助挖掘漏洞、编写恶意代码，以及利用AI定制社会工程话术。在这类攻击中，AI并非被攻击的对象，而是攻击者手中的“武器”。

1.3 二者的交汇：攻击者既打 AI，也借 AI 打人

最需要警惕的是两类攻击的交汇结合：攻击者既可以先通过AI攻击（如提示注入）控制某一大模型应用，再将这个被控制的AI作为跳板渗透内网、欺骗员工；也可以先通过AI渗透（如AI钓鱼）攻破一名员工的防线，再利用其身份访问内部AI系统。针对AI的攻击与借助AI发起的攻击，往往是同一条攻击链上的两个不同环节。理解这一点，是做好防御部署的核心前提。

表1 AI 攻击与 AI 渗透的对比

2 对 AI 系统的攻击：四大类型

2.1 规避攻击（Evasion）与对抗样本

规避攻击发生在模型部署与使用阶段：攻击者会向输入内容中添加微小扰动，得到对抗样本。这类输入在正常人类眼中不存在任何异常，却能诱导模型输出错误结果，例如给一张熊猫图片添加肉眼不可见的扰动，就能让图像识别模型将其错误判定为长臂猿。NIST在《Adversarial Machine Learning》报告中，将“规避”列为预测式AI和生成式AI共同面临的核心攻击类型。对于依赖AI开展身份识别、内容审核、安全判断的系统而言，规避攻击的危险性尤其突出。

2.2 投毒攻击（Poisoning）

投毒攻击发生在模型训练阶段：攻击者会向训练数据中混入恶意样本，诱导模型学习到错误逻辑，或是形成带有后门的运行模式。NIST指出，仅需污染极少量数据（约0.001%级别）就可能导致模型失效，即便大模型的微调过程也可能受到投毒攻击的影响。被投毒的模型可以在正常使用时“无征兆”地输出有害结果，隐蔽性极强。因此，核查训练数据与微调数据的来源可信度，是防范投毒攻击的核心关键。

2.3 隐私攻击（Privacy）

隐私攻击指攻击者试图从模型中推断其训练数据或模型本身信息的攻击类型，具体可分为数据重建和成员推断两类：前者用于推断训练数据的内容与特征，后者则用于判断某条数据是否存在于训练集中。当AI系统使用敏感个人数据开展训练时，隐私攻击可能直接造成数据泄露。NIST已将隐私攻击列为AI安全领域四大核心攻击类型之一，并提示在模型部署阶段需要重点防范“从模型窃取数据”这类风险。

2.4 滥用攻击（Abuse/Misuse）

滥用攻击指攻击者滥用模型的合法能力达成恶意目的的攻击类型，典型场景包括利用大模型生成钓鱼内容、制作深度伪造内容、输出恶意代码或违规信息，生成式AI尤其容易面临这类滥用风险。我国出台的《生成式人工智能服务管理暂行办法》与《人工智能生成合成内容标识办法》，正是从内容安全与标识规范层面防控这类滥用行为，明确要求对人工智能生成的合成内容添加显式或隐式标识。

表2 NIST 对 AI 系统的四大攻击类型

3 大模型特有的攻击面：OWASP Top 10 for LLM

3.1 提示注入（Prompt Injection）

提示注入（Prompt Injection）是大模型应用中最典型也最高危的风险。攻击者会通过精心构造的输入，诱导模型执行非预期行为：其中直接注入会覆盖系统预设提示，使模型服从攻击者的指令；间接注入则是将恶意指令隐藏在模型读取的外部内容（网页、文档、邮件）中，诱导模型自动执行恶意指令。OWASP将其列为大模型应用的头号风险，原因在于提示注入一旦得手，就可能引发越权访问、数据泄露或决策被操控等严重后果。

3.2 其他高频风险

除提示注入外，OWASP Top 10 for LLM还覆盖了多类大模型应用的高频风险，具体包括：一是不安全的输出处理，即模型输出未经验证就被执行或渲染，最终会导致下游系统被注入攻击；二是敏感信息与数据泄露，即模型在训练或对话过程中违规输出敏感数据；三是模型或数据供应链风险，即应用使用了不可信的基础模型与数据集；四是拒绝服务与资源过载，即攻击者通过构造超大输入耗尽系统资源。梳理清楚这些风险，能够为大模型应用的安全排查提供明确的检查清单。

表3 OWASP 大模型高风险速览

4 用 AI 发起渗透：AI 如何“当黑客”

4.1 AI 钓鱼与深度伪造

AI让这一最古老的社会工程攻击实现了“鸟枪换炮”。攻击者可利用大模型批量生成语法、语气都高度拟真的定向钓鱼邮件，还能通过深度伪造技术合成单位领导的声音与视频，实施“假领导”诈骗。公安部数据显示，2025年第一季度全国AI换脸、拟声类诈骗案件环比激增约45%，意味着这类攻击已经进入高发阶段。以往依靠“核对文字拼写、辨别声音特征”进行判断的防骗经验，正在被AI迅速瓦解。

4.2 AI 辅助漏洞挖掘与自动化攻击

AI也在加速改写渗透测试的技术路径：它可辅助完成代码审计与漏洞挖掘、自动生成漏洞利用代码、编写钓鱼页面与恶意脚本，还能实现自动化扫描与爆破。攻击者借助AI降低了原本需要资深安全人员才能完成的工作成本，大幅提升了攻击效率， even让低水平攻击者也能具备“准高级”渗透能力。因此，防守方必须具备同等水平的自动化与AI防护能力，才能开展有效对抗。

4.3 AI 增强的社会工程与定制化攻击

AI让攻击能够实现“千人千面”：攻击者可基于公开信息，自动生成针对特定员工、特定业务的话术与钓鱼内容，让定制化攻击从“高成本人工生成”转变为“低成本批量生产”。针对高价值目标，攻击者还会结合深度伪造与实时语音模拟开展攻击。目前，人类大脑对这类攻击的识别能力，正在被AI生成内容不断逼近甚至超越。

4.4 攻击者视角：红队如何用 AI 做渗透

厘清攻击者运用AI的思路，是为了更好地搭建防御体系。在受控安全演练中，红队可合法开展AI钓鱼、AI辅助渗透、针对内部大模型的提示注入测试等科目，以此暴露组织防御体系存在的真实弱点。MITRE ATLAS（Adversarial Threat Landscape for AI Systems）正是适配这类场景的专业知识库，其中收录了针对AI系统的各类战术、技术与真实案例，可供红队与蓝队共同使用，可分别通过“针对AI系统发起攻击”和“借助AI开展攻击”两类场景，检验组织防御体系的有效性。

表4 AI 渗透能力与典型场景

5 如何防御：把 AI 安全纳入实战化

5.1 用框架规范防御

面对AI攻击与AI渗透，企业不能毫无防护地“裸奔”。目前国际上已有成熟的参考框架可供使用：NIST人工智能风险管理框架（AI RMF）可指导组织将AI安全融入风险管理全流程；NIST AI 100-2明确了对抗机器学习的攻击分类，并给出了对应的缓解方案；OWASP Top 10 for LLM梳理了大模型应用的漏洞清单，同时提供了对应的缓解措施；MITRE ATLAS则提供了针对AI系统的战术、技术知识库，可用于红蓝演练与威胁建模。国内也通过《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等文件，建立了AI安全合规基线。防御AI安全风险，首先要拿到这张清晰的“指导地图”。

5.2 在 AI 生命周期各阶段设防

应当将防护防线覆盖AI开发应用的全生命周期：在数据阶段把控训练与微调环节的数据来源，防范数据投毒风险；在模型阶段开展对抗训练，落实输入校验与输出验证，防范规避检测与提示注入攻击；在部署阶段设置访问控制，落实最小权限原则，防止敏感数据外泄；在使用阶段监控异常调用，落实内容标识要求，防范模型被滥用。任何一个阶段出现防护空白，都可能成为攻击者可利用的突破口。

5.3 开展 AI 攻防演练：用 AI 对抗 AI

防御AI安全风险，最有效的方法就是“以AI对AI，以演练验真功”。企业应当将AI攻防纳入实战化演练体系：由红队演练AI钓鱼、深度伪造、提示注入、数据投毒等攻击场景，由蓝队开展AI辅助的威胁研判与自动响应训练，再通过演练暴露防护空白、检验检测规则，最终完成整改闭环。新华网在《大模型频遭攻击，安全治理迫在眉睫》一文中，明确强调了以“蜜点”布防、以攻促防、用AI对抗AI的主动防御思路。防御从来不是被动等待攻击上门，而是要主动“开展一场面向自身的实战演练”。

5.4 人的防线：员工如何识别 AI 攻击

AI再强大，最终也要通过“人”才能达成攻击目的。员工需要建立新的安全识别习惯：对于“领导”突然提出的转账要求、过于完美的陌生邮件、要求确认敏感信息的音视频，始终坚持“多方核实、不盲从表象”的原则；只使用企业批准的AI工具，不向来源不明的AI输入敏感数据；对AI生成内容保持警惕，必要时核对内容合规标识；发现可疑的AI钓鱼邮件或异常请求，第一时间上报。AI可以伪造声音与容貌，却无法动摇人们对合规流程的坚持。

表5 员工识别与防范 AI 攻击的行动清单

结语：在AI 时代，防守也要“以 AI 对 AI”

AI攻击给我们敲响警钟：大模型与AI系统并非“购买即可高枕无忧”的黑盒，而是存在提示注入、数据投毒、隐私泄露、工具滥用等真实攻击面的新型资产；AI渗透也让我们看清，攻击者早已借助AI将钓鱼、深度伪造、漏洞挖掘等攻击手段做得更快更逼真，人类原有的识别能力正不断受到挑战。应对AI安全风险，核心是要将AI安全纳入实战化防护体系：依托NIST、OWASP、MITRE ATLAS等标准框架梳理安全防护范围，在AI全生命周期的各个阶段布好防线，通过AI攻防演练践行“以AI对抗AI”的思路，同时帮助每一位员工养成识别AI攻击的新习惯。AI既可以是攻击者手中的利刃，也能成为防守者面前的坚盾——关键就看谁能先掌握正确的使用方法。