AI 之盾如何抵御 AI 之矛

原创

小安伴你行
小安伴你行

小安伴你行

2026年10月19日 09:00
北京

去阅读

“矛”与“盾”这个古老比喻，在人工智能时代被赋予了全新含义。过去十年，网络攻击主要依赖人工构造的脚本与固定工具链，攻防双方比拼的是“已知漏洞”与“已知规则”的匹配速度；而如今，攻击者可以借助大语言模型自动生成高度仿真的钓鱼内容、编写动态攻击代码、克隆高管的声音与面孔，甚至可以让AI智能体自主规划攻击路径。与此同时，防守方也开始借助AI搭建起自身的“盾”：通过自动化威胁检测、深度伪造识别、智能安全运营，将威胁响应时间从小时级压缩到了分钟级。

本讲义将沿着“认知威胁（为什么）→看清攻击（是什么）→构建防御（怎么守）→落实行动（做什么）”的逻辑展开。我们不要求每一位员工都成为安全专家，只是希望所有员工都能明确：AI时代的攻防对抗，早已不是安全部门“单打独斗”的工作，而是一场由“AI之盾+人的判断+组织流程”共同参与的体系化战斗。

第一部分  认知篇：为什么“AI 之矛”威胁陡增

1  安全态势：AI 正在改写攻防规则

要构建好AI时代的安全之“盾”，首先必须正视AI之“矛”带来的威胁规模。自2025年以来，与人工智能相关的网络与数据安全事件数量已经出现了明显增长。根据国家计算机病毒应急处理中心的统计，在各类人工智能相关安全事件中，网络攻击事件约占29%，数据安全事件约占26%，安全隐患事件约占25%。由此可见，人工智能在放大既有安全风险的同时，自身也正在成为新的攻击载体。

更值得警惕的是，这类威胁并非线性增长，而是呈现出“产业级”的爆发态势。根据国家计算机病毒应急处理中心发布的《暗网监测2025年度报告》，AI黑产技术服务收入四年间增长约1900%，网络攻击正从“脚本时代”正式迈入“智能体时代”。AI早已不只是攻击者手中的一件“工具”，而是正在发展为能够自主规划、执行、调整攻击策略的“智能攻击主体”。

1.1  一组不容回避的数据

在人工智能相关安全事件中，网络攻击约占29%，数据安全事件约占26%，安全隐患事件约占25%；AI黑产技术服务收入四年间增长约1900%，网络攻击已从“脚本时代”正式迈向“智能体时代”；AI已被用于生成高度仿真的钓鱼邮件、短信以及社交私信，还能动态嵌入企业真实部门名称、官方公告关键词、行业术语，甚至还原内部行文风格，攻击的欺骗性得到了显著提升；AI推动高级持续性威胁（APT）向“精准制导”方向升级，大模型被用于深度伪造与交互式钓鱼，直接拉低了攻击门槛。

1.2  从“脚本时代”到“智能体时代”

认清这一演进趋势，是准确把握AI安全威胁的核心前提。传统攻击属于“写死剧本”的模式：攻击者提前编写好脚本，投放至目标环境后等待触发，这类攻击具备较强的可预测性与可检测性，也能被规则库直接封堵。而AI时代的攻击更像是“实时导演”：AI智能体可以自主完成工具方案规划、漏洞探寻、流量监测，甚至能在攻击过程中自动编写动态代码调整攻击策略。正如2025年多起已披露的攻击案例显示，攻击代码明显由AI生成，且可以在攻击过程中实时适配目标的防御体系。

这一变化彻底拉平了攻击的“成本曲线”。过去培养一名能写出高水平攻击载荷的黑客需要数年积累，如今哪怕是仅具备基础技能的入门攻击者，借助AI就能生成针对特定目标的定制化攻击内容。攻击的“数量”和“质量”同步提升，这正是当前安全行业面临的最大变量。

1.3  AI 是如何降低攻击门槛的

我们可以从四个维度理解AI如何为攻击者“赋能”。第一是内容生成层面：AI让高质量钓鱼文案、伪造图像视频的获取变得极为容易，社会工程攻击也从“广撒网”进化为“精准制导”。第二是代码能力层面：AI能够快速生成、改写攻击载荷与漏洞利用代码，直接拉低了恶意代码开发的技术门槛。第三是情报分析层面：AI可快速分析公开信息，自动识别目标企业的人员结构、技术栈与薄弱环节。第四是决策自动化层面：AI智能体能够将“侦察—渗透—横向移动—数据窃取”整条攻击链条自动化，成倍提升了攻击效率。

1.4  为什么传统防御开始失灵

传统安全防御建立在“确定性”的基础之上：规则引擎匹配已知特征，黑白名单识别已知威胁，安全团队依靠经验研判告警信息。而AI攻击恰恰呈现出“动态、个性化、多形态”的特点：每一封钓鱼邮件都可以各不相同，每一次攻击都能够动态调整策略，伪造的内容完全可以做到以假乱真。规则与特征库的更新速度，远远赶不上AI生成内容的变化速度。这并不意味着传统防御毫无价值，只是仅靠规则和人工研判，已经无法适配AI时代的威胁规模与响应速度要求。这正是我们必须用“AI之盾”对抗“AI之矛”的根本原因。

2  合规与治理背景：AI 不是“法外之地”

企业引入和使用AI工具的同时，也必须清醒认识到：AI领域的合规与安全责任是明确且刚性的。2023年8月15日起施行的《生成式人工智能服务管理暂行办法》，由国家互联网信息办公室联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、国家广播电视总局公布，其中明确规定：面向公众提供生成式人工智能服务、具有舆论属性或者社会动员能力的，应当开展安全评估并向网信部门履行备案手续；服务提供者应当依法履行网络信息安全义务，采取有效措施防范未成年人用户过度依赖或沉迷，并且对AI生成内容进行规范标识。

对企业而言，这对应着两个层面的责任。一是“使用AI”的责任：员工将内部数据输入公共大模型、在未经安全评估的工具上处理敏感信息，都可能构成数据违规；二是“搭建AI”的责任：企业若对外提供生成式AI能力，就必须履行安全评估、备案、内容标识与安全管理等法定义务。合规并非安全部门的“额外负担”，而是与业务风险直接绑定的底线要求。本讲义后续列出的员工安全行为清单，会将这一合规要求转化为每一位员工的具体操作规范。

第二部分  攻防篇：AI 之矛（攻击者如何使用AI）

3  AI 攻击面全景

要构建有效的“AI之盾”，必须先完整看清“AI之矛”的形态。本章将AI驱动的攻击归纳为四大类：社会工程与深度伪造、自动化恶意代码与漏洞利用、针对AI系统自身的攻击，以及AI智能体武器化。四类攻击并非彼此孤立，在实际攻击场景中往往组合出现。

3.1  社会工程与深度伪造：最像“人”的威胁

AI给社会工程攻击带来的改变是革命性的。传统钓鱼攻击依赖“广撒网、碰运气”，进入AI时代后已经进化为“高仿真、精准化”模式。攻击者可借助大语言模型自动生成与目标企业高度相关的钓鱼邮件，动态嵌入真实部门名称、官方公告关键词、行业术语，甚至能模仿企业内部行文风格，让收件人难以辨别真伪。

更具危险性的是深度伪造（Deepfake）。AI可以克隆个人声音，生成以假乱真的换脸视频：攻击者可以伪造企业负责人的语音，指示财务人员转账；也可以伪造同事的视频通话，套取内部敏感信息。360《2025 高级威胁年报》指出，AI正推动APT攻击向“精准制导”方向升级，大模型被用于深度伪造与交互式钓鱼，大幅降低了攻击门槛，也显著提升了攻击危害性。这类攻击攻击的不是系统，而是人的信任——这恰恰是防御难度最高的环节。

3.2  自动化恶意代码与漏洞利用

AI大幅降低了恶意软件开发与漏洞利用的技术门槛。攻击者可借助AI快速生成、改写攻击载荷，自动编写动态代码适配目标环境的防御体系。在已披露的真实攻击案例中，AI智能体已被用于攻击方案规划、漏洞探寻和流量监测，部分攻击代码明显由AI生成，可在攻击过程中自动快速编写动态代码发起攻击。

供应链攻击也被AI进一步放大。攻击者可以通过投毒开源代码仓库、劫持维护者账户等方式，将恶意代码植入被广泛引用的软件组件，实现隐蔽的级联感染：只要一家企业的上游组件被污染，下游成百上千家企业都会随之受害。这类攻击影响范围广、发现周期长，是AI时代需要高度重视的安全隐患。

3.3  针对 AI 系统自身的攻击

随着企业将AI大模型接入业务系统、授权AI助手处理内部数据，AI系统本身也成为新的攻击目标。OWASP（开放Web应用程序安全项目）发布的《大语言模型应用十大风险》已经对该领域的风险做了系统化梳理，其中最突出的是以下三类。

（1）提示注入（Prompt Injection）。这是针对大语言模型应用最具代表性的新型漏洞。攻击者通过在输入中嵌入精心构造的指令，诱导模型偏离开发者的原始意图，执行非预期行为。问题的根源在于，主流大语言模型的架构难以可靠区分“可信的系统指令”与“不可信的用户数据”，两类内容会被拼接进同一段文本流统一处理。提示注入可造成绕过安全控制与内容过滤、未授权访问与数据外泄、系统提示泄露内部配置等严重后果。OWASP已将其列为LLM应用十大风险之首，并发布了专门的《提示注入防御速查表》。

（2）数据投毒与模型窃取。数据投毒指攻击者通过在模型的训练数据或微调数据中注入恶意样本，污染模型行为，使其在特定场景下输出攻击者预设的结果，甚至被植入后门。模型窃取则指攻击者通过大量探测请求，逆向还原模型能力，窃取企业的模型资产。

（3）对抗样本与滥用。攻击者可以构造肉眼难以察觉的对抗样本，使图像识别、人脸识别等模型产生错误判断；也可以利用模型的生成能力实施大规模自动化滥用，比如批量生成虚假信息、伪造凭证等。

3.4  AI 智能体武器化

如果说前述攻击还停留在“AI辅助人工”的层面，那么AI智能体武器化就已经进入了“AI自主实施攻击”的阶段。具备自主决策能力的AI智能体一旦被用于攻击，它的自主性和随机性会大幅提升防御难度：它可以自行规划攻击路径、调用攻击工具、完成横向移动，甚至在被发现后自动调整攻击策略。这种“自主进攻”不只是理论推演，目前已经出现在真实的攻击事件中。对防御方而言，现在的对手不再是一成不变的攻击剧本，而是具备学习能力的智能攻击者，这就要求防御体系也必须具备同等甚至更强的智能化水平与自适应能力。

4  典型攻击场景剖析

为帮助大家将抽象的安全风险转化为可感知的认知，本章选取五类高发攻击场景展开剖析。以下场景均采用通用化、去标识化描述，仅供培训研讨使用，不指向任何具体企业或个人。

4.1  高管语音克隆与财务欺诈

攻击者截获或获取高管公开的语音素材，比如演讲、采访、会议录音等，通过AI克隆出以假乱真的声音，随后拨打电话或在即时通讯中发送语音消息，假冒高管指示财务人员向指定账户转账。由于克隆声音高度逼真，来电或消息来源看起来也具备可信度，财务人员在缺少二次核验的情况下极易受骗。这类攻击直接命中了“上级命令”这一最难以拒绝的信任链路。

应对要点：凡是涉及资金转移、提供敏感信息的高风险指令，必须通过独立渠道（当面沟通、已核实的官方电话）完成二次确认，同时需要设置“多签审批”这类流程化兜底机制。

4.2  深度伪造视频冒充身份

AI换脸技术可以生成以假乱真的视频，攻击者会伪造“领导”“客户”的视频通话，冒充身份提出紧急要求，或是通过伪造人脸尝试突破人脸识别验证。金融领域的实践表明，深度伪造已经成为身份冒用的重要手段。比如在相关防护实践中，针对伪造人脸攻击的防护能够显著降低攻击频率，同时将识别准确率维持在较高水平——这说明技术反制是可行的，但也提醒我们必须对人脸验证保持审慎态度。

应对要点：高风险身份验证场景应当叠加活体检测、多因素认证与人工复核；对视频通话中的异常请求提高警惕，必要时换用已核实的联系方式再次确认。

4.3  提示注入导致内部数据外泄

当企业将AI助手接入内部知识库，由AI助手处理业务数据时，提示注入攻击可能诱导AI助手输出内部敏感信息。例如，攻击者通过精心构造的输入，让AI助手误判自己正在执行授权指令，进而泄露系统提示、内部配置、客户数据等内容。由于AI助手通常被授予一定的工具调用权限，一次成功的提示注入就可能引发连锁越权行为。

应对要点：AI应用应当遵循最小权限原则，为模型分配独立且受限的API权限；同时对输出内容开展格式校验和敏感信息过滤；对高风险操作设置“人类在环”（Human-in-the-loop）审批机制。

4.4  供应链投毒引发级联感染

攻击者向开源代码仓库投放恶意程序，或是劫持维护者账户发布带毒版本，将恶意代码植入被广泛使用的软件组件中。一旦企业内部系统引入被污染的依赖，恶意代码就会随之运行，还可能横向扩散，形成“上游污染、下游遭殃”的级联感染。这类攻击隐蔽性强、排查难度大，往往在造成实质损害后才会被发现。

应对要点：建立软件物料清单（SBOM）与依赖管理机制；对第三方组件开展来源核验与安全扫描；限制依赖更新的全自动化流程，降低带毒版本被误引入的风险。

4.5  员工 AI 工具滥用造成数据泄露

和前文提到的“外部攻击”不同，这一场景的风险来自组织内部：员工为贪图便利，将内部文档、客户信息、源代码等敏感内容粘贴到公共大模型工具中，用于翻译、内容总结或内容生成，导致敏感数据在未经授权的情况下流向外部第三方服务。这类行为大多是无意为之，但造成的后果同样严重——泄露的数据可能被用于模型训练、被第三方平台留存，甚至可能被攻击者截获。

应对要点：企业应当制定清晰明确的AI工具使用规范，划定“允许输入”和“禁止输入”的数据范围；员工应当养成“敏感数据不输入公共AI”的职业习惯；安全部门需要对AI工具访问进行审批与审计。

第三部分  防御篇：AI 之盾（用 AI 强化防御）

在理清各类AI安全威胁的形态后，我们就可以有针对性地构建防御体系。“AI之盾”并非单一产品，而是一套覆盖“威胁检测、安全运营、内容反制、身份安全、模型加固”的体系化防线。本章将从五个层面逐一展开说明。

5  防御体系全景

AI之盾的核心理念是“以智御智”：借助AI的自动化能力与智能优势，来应对AI攻击带来的速度与规模挑战。目前业界的成熟实践，已经覆盖了从威胁发现到响应处置的完整流程链路。

5.1  AI 驱动的威胁检测与安全运营

在安全运营中心（SOC）层面，AI正在破解“告警泛滥、人力不足”的困境。当前主流的XDR（扩展检测与响应）、SIEM（安全信息与事件管理）和UEBA（用户与实体行为分析）平台，普遍将AI作为核心架构的组成部分：AI可跨控制点关联安全信号、压缩告警噪声、按优先级筛选威胁，还能辅助分析人员完成威胁检测、事件调查与攻击响应。

更为关键的是响应速度的提升。以主流XDR产品为例，AI驱动的“自动攻击中断”能力，可以在攻击进行过程中（比如勒索软件的横向移动阶段）自动遏制受损资产，平均仅需约3分钟即可中断正在进行的攻击。这种“从小时级压缩到分钟级”的响应能力跃迁，正是AI之盾的核心价值——攻击者变快了，防御方必须比攻击者更快。

需要注意的是，AI辅助的安全运营并不等于“无人值守”。目前业界已形成共识：AI负责处理速度与规模要求高的工作，人类负责关键决策与责任认定，确保防御过程可解释、可追溯。这正是“人机协同”的基本分工逻辑：AI承担它更擅长的高速处理工作，人类专注于自身更擅长的判断与决策环节。

5.2  AI 辅助的威胁情报与溯源

威胁情报是安全决策的“眼睛”。AI大模型结合检索增强生成（RAG）、知识库与工具编排，能够构建面向安全运营、安全检测、威胁情报分析、漏洞挖掘、取证分析等多种场景的安全任务智能体。这类智能体可以自动汇总分散在各处的威胁情报、关联攻击指标、还原攻击者的战术与手法，将安全分析师从繁重的信息梳理工作中解放出来，让他们可以专注于更高价值的威胁研判工作。

5.3  内容安全与深度伪造反制

针对AI最“拟人化”的应用方向——深度伪造与AI社会工程攻击，对应的反制手段也在快速迭代升级。内容安全网关可依托AI识别钓鱼邮件与恶意链接，拦截高度仿真的攻击内容。针对深度伪造问题，业界已经构建起多层次的反制体系：

感知层：利用大模型分析视频、动作与深度数据，识别生成式AI特有的跨模态不一致特征，区分真假人像。

完整性层：校验摄像头与设备的真实性，阻断虚拟摄像头注入等攻击，避免伪造画面进入生物识别流程。

行为层：实时监测会话模式、动作异常与欺诈操作特征，识别批量伪造的自动化攻击。

在金融等高风险场景中，深度伪造防护已经成为安全配置的标配。相关技术实践显示，人脸核身场景通过AI防护盾可高效拦截翻拍、换脸、合成等常见攻击；国际上的深度伪造检测方案也通过多层防御架构，显著提升了伪造内容的识别准确率。这些实践证明，深度伪造虽然难以被彻底“根治”，但完全可以实现“有效压制”。

5.4  身份与访问安全：零信任与活体防护

身份认证是安全防护的核心边界。进入AI时代后，口令与静态生物特征都面临被伪造的风险，因此身份安全体系必须完成升级：一是采用零信任架构，坚持默认不信任、持续验证原则，落实最小化授权，限制攻击者在突破防线后的横向移动；二是升级多因素认证机制，将静态口令与动态令牌、行为特征相结合提升安全性；三是为人脸等高风险验证环节叠加活体检测与深度伪造防护，避免“照片翻拍、视频换脸”这类攻击绕过身份验证。

5.5  AI 系统自身的安全加固

当企业引入和搭建AI应用时，AI系统自身的安全加固同样是整体防御体系的重要组成部分。这里的核心原则不是要求业务放弃使用AI，而是保障AI能够安全落地应用。

（1）提示注入防护。针对前文提到的第一大风险，业界已经形成了成体系的防护思路：约束模型行为，在系统提示中明确模型的角色、能力与访问边界，要求模型忽略试图修改核心指令的输入；严格定义并校验预期输出格式；遵循最小权限原则，限制模型对后端系统的访问权限；对高危操作强制启用“人类在环”审批机制；对输入输出内容进行敏感信息过滤与清洗。OWASP发布的《提示注入防御速查表》已经给出了系统化的工程化落地建议。

（2）数据防投毒与模型安全。在模型训练与微调环节，应当建立数据来源核验与样本清洗机制，识别并剔除被恶意注入的异常样本；对模型开展后门检测与行为审计；对模型资产实施访问控制与防窃取保护，避免模型能力被攻击者逆向探测。

（3）AI红队与安全评测。企业应当像对待传统信息系统一样管理AI系统，定期开展AI红队测试——由安全专家模拟攻击者，针对提示注入、深度伪造、越权滥用等风险开展攻防演练；同时建立常态化的安全评测基线，将安全指标纳入AI系统上线与版本迭代的准入条件。

6  人机协同防线：人依然是关键变量

无论技术多么先进，安全防线终究是由人构建的。AI安全防护的实际效果，最终取决于组织内每一个成员的安全认知与行为习惯。本章将围绕三个核心问题展开解答：为什么人无法被替代，每个个体应当做好哪些工作，组织需要建立怎样的安全机制。

6.1  为什么“人”无法被替代

AI擅长高速、大规模的模式处理，但攻击场景中的多数处置工作核心是“判断”而非“计算”：视频通话里自称“老板”的对方是否可信，紧急转账是否符合既定流程，看似正常的内部邮件是否暗藏破绽——这类判断依赖语境理解、常识推理与批判性思维，恰恰是AI目前并不擅长、也不应完全交由AI处理的领域。更关键的一点是安全问责：安全决策最终需要明确到人，责任无法完全交由算法代理。人机协同的本质，是让AI放大人类的判断力，而非彻底取代人。

6.2  员工安全行为清单

以下这份清单，是每位员工在AI时代必须内化的安全行为准则。它不要求从业者具备专业安全技能，只需要大家牢记“多一分警惕、多一步核验”的原则。

表1 员工 AI 时代安全行为清单

这份清单的核心，是将“AI时代的安全警惕”转化为可落地执行的具体动作。它不要求每个人都掌握专业技术，但需要每一位成员都成为安全防线上的“活体传感器”。

6.3  组织层面的安全机制

个体安全行为需要依托组织机制支撑，才能真正落地。组织层面应重点建设四项机制：一是制定应急响应预案，明确AI相关安全事件（数据泄露、深度伪造欺诈、提示注入攻击）的处置流程与责任人；二是落实权限最小化与生命周期管理，确保权限“用完即收回、最小够用”；三是开展常态化安全培训与演练，让安全意识“常训常新”；四是培育开放无责的安全文化，让员工不必担心被追责，敢于上报可疑事件——及时上报是阻断攻击的重要前提。

第四部分  行动篇：把“盾”落到实处

认知与体系最终要落到行动上，本章给出企业AI安全建设的路线图，分阶段推进，可落地执行。

7  企业 AI 安全建设路线图

表2 企业 AI 安全建设路线图

需要强调的是，AI安全并非“一次性工程”，而是与威胁同步演进的“持续过程”。攻击者在运用更智能的AI升级攻势，防御者也必须不断迭代自身的AI之盾。这场没有终点的赛跑，考验的从来不是爆发力，而是持续投入的耐力。

8  结语：动态对抗中的“盾”

回到开篇的比喻：AI之矛与AI之盾正在同步进化。攻击者借助AI让攻击更快、更逼真、更智能，防守者则借助AI让检测更精准、响应更迅速、防线更坚韧。这场对抗中没有一劳永逸的胜利，只有持续演进的平衡。

但有一点始终不变：技术只是手段，人才是核心。在这场“矛”与“盾”的动态对抗中，真正决定胜负的，是组织能否将“AI的能力”“人的判断”与“制度的约束”三者有机结合。作为员工，你不需要成为安全专家，但需要成为防线的一环——多一分警惕，多一步核验，多一次及时上报，你的每一个动作，都在为公司的AI之盾增添厚度。

守住数据、守住信任、守住我们共同的防线，这就是AI时代每一位员工的责任。