AI 驱动的网络攻击演进：趋势研判、风险洞察与防御思考

原创

小安伴你行
小安伴你行

小安伴你行

2026年10月14日 09:18
北京

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

1　总论：AI 如何改变攻防格局

1.1　从传统攻击到 AI 赋能攻击

长期以来，网络攻击的有效性一直受三方面条件约束：一是攻击者自身的专业技术能力，二是单次攻击的耗时与成本，三是攻击规模化复制所需的资源。传统攻击要么高度依赖少数高水平黑客，要么只能依靠千篇一律的“脚本式”攻击，很难在攻击质量和覆盖规模之间实现平衡。钓鱼邮件这类利用人为因素的攻击，也主要依靠低质量模板进行撒网式投递，攻击成功率和内容可定制性都十分有限。

生成式人工智能的出现，从根本上改变了这一限制。攻击者可以借助大语言模型快速生成高质量、个性化、多语言的攻击素材；还能自动编写、改写和混淆恶意代码，也可规模化探测漏洞、规划攻击路径。原本需要攻击者积累多年专业训练才能掌握的技能，如今只需“会使用工具”即可完成，攻击的专业门槛被大幅降低，攻击效率与环境适应性却成倍提升。这一变化带来的不只是某一种新攻击手法的诞生，更是整条攻击价值链的“工业化”与“自动化”转型。

1.2　AI 在攻击链中的角色演进：从辅助到自主

AI在网络攻击中扮演的角色并非一成不变，而是沿着“辅助工具—自动化工具—自主智能体”的路径快速演进。理清这一演进过程，是准确判断未来网络安全威胁方向的基础。

表1　AI 在攻击链中的角色演进

需要特别说明的是，这一演进并非替代关系，而是叠加关系。如今在攻击者的工具库中，既可能有恶意大模型辅助生成的“量产”攻击素材，也可能存在能够自主决策的攻击智能体。据新华网2025年11月报道，安全机构已经发现有攻击利用AI智能体完成攻击方案规划、漏洞探寻和流量监测等工作，部分代码明显由AI生成，且攻击过程中可以自动、快速编写动态代码发起攻击。国家计算机病毒应急处理中心联合多家权威机构发布的《网络空间安全态势分析报告（2025）》也指出，与上一年相比，2025年发生的AI相关网络与数据安全事件和风险数量已显著增加。

1.3　攻防杠杆效应的重塑

网络安全本身就是典型的不对称对抗，AI的出现进一步放大了这种不对称性。对攻击者来说，AI实现了“低成本、规模化、个性化、自适应”四种能力的叠加：攻击者只需极低价格即可“租用”对应攻击能力（据Cisco Talos观察，部分恶意大模型在暗网的月租低至75美元），还能够一次性生成海量定制化攻击素材，也可在对抗过程中动态调整攻击策略。

对防守方而言，传统依赖静态规则、特征签名库和人工研判的检测方式，面对高速生成、持续变异的AI攻击时，已经明显难以应对。如果防守方不能同样借助AI赋能检测与响应能力，就会陷入“防御滞后于攻击”的被动局面。因此，本次培训将在第二、三部分先梳理清楚当前的威胁趋势与风险，第四部分再具体给出“以AI对抗AI”的防御思路。

2　趋势研判：AI 驱动的攻击演进方向

2.1　攻击的规模化与低成本化：恶意大模型

自2023年以来，专用于犯罪活动的恶意大模型陆续问世，标志着攻击工具正式进入“商品化”与“服务化”阶段。这类模型移除了安全防护机制，专门用于生成钓鱼邮件、恶意代码、诈骗文案等攻击内容，并通过订阅或“按需服务”的模式在地下渠道流通售卖。

2023年7月首次出现的WormGPT，基于开源模型GPT-J构建，早期便在黑客论坛HackForums以约110美元/月的价格公开售卖，可批量生成钓鱼邮件、编写恶意软件脚本。同期流入黑灰产的FraudGPT，则以约200美元/月、1700美元/年的订阅形式销售，对外宣称可生成钓鱼邮件、免杀恶意软件并自动完成撞库操作。据Cisco Talos研究，GhostGPT、DarkGPT、FraudGPT等恶意模型已经在Telegram和暗网开售，月租低至75美元，可即插即用，用于钓鱼、漏洞利用、信用卡验证与代码混淆。在此之后，还出现了依托xAI Grok、Mistral等模型运行的WormGPT新变种，几乎不受限制地生成钓鱼邮件、商业邮件欺诈信息及恶意软件脚本。

结合安全行业的分析结论，攻击者获取恶意AI能力主要有三种路径：一是开发专为犯罪用途定制的自有大模型；二是对合法大模型进行“越狱”，通过精心构造的提示词绕过安全限制；三是在开源模型基础上微调，植入恶意行为倾向。第三种路径尤其值得警惕——思科Talos研究指出，微调后的大语言模型可能成为威胁放大器，发生恶意行为的概率显著上升。这种模式的直接后果，是“勒索软件即服务”“恶意AI即服务”等犯罪产业化模式加速成型，即使不具备专业技术能力的人员，也能轻易买到现成的AI生成攻击工具。

2.2　社会工程全面升级：深度伪造、声音克隆与个性化钓鱼

AI对社会工程攻击的升级，是当前最直接、影响范围最广的发展趋势之一。声音克隆、AI换脸（深度伪造）技术已经形成完整灰色产业链，被用于冒充企业高管、亲友和业务伙伴，实施商业邮件欺诈（BEC）和电信诈骗。

在企业端，深度伪造类BEC案件持续高发，造成的损失金额十分惊人。例如英国工程咨询公司Arup，因高管语音及视频会议中的面孔被深度伪造，员工被骗向虚假“供应商”多次转账，损失约2500万美元；一家香港公司的财务人员参与了看似真实的视频会议，会上包括CFO在内的多名高管形象均为深度伪造，最终被骗损失约2560万美元；意大利最大银行旗下财富管理子公司Fideuram，也因收到“老板”的即时消息和克隆语音电话，被骗走约9500万欧元。这些案例足以证明，深度伪造已经从“技术演示”阶段，转变为可供规模化使用的欺诈工具。

针对个人与国内机构，我国也已经查处多起这类典型案件。例如南京玄武法院审理的“AI换脸”诈骗案中，被告人利用非法获取的195万余条公民个人信息，结合AI换脸软件，通过“人脸识别”登录了23名被害人的金融支付账户并完成盗刷消费；最高人民检察院披露的AI换脸诈骗案中，犯罪分子冒充“军官”诱导被害人投资，共有13名被害人被骗，损失从数十万元到上千万元不等。监管部门对这类技术滥用的治理也在同步推进，比如北京市海淀区市场监管局就依据《广告法》，查处了利用AI冒用央视主持人名义和形象发布的虚假广告案件。

和深度伪造同步发展的，是“个性化钓鱼”攻击的普及。AI可以基于攻击目标的公开信息，快速生成贴合语境、语法自然、支持多语言的钓鱼邮件，大幅提升了钓鱼邮件的点击率和攻击成功率。多家第三方机构的统计汇总显示，AI生成钓鱼邮件在上报钓鱼事件中的占比快速攀升（有统计显示，2025年底该占比已从约4%升至约56%，此数据为第三方估算，仅作趋势参考）。这类攻击的识别难度更高，对企业员工的攻击辨识能力提出了更高要求。

2.3　恶意代码与漏洞利用的自动化生成

AI大幅提升了恶意软件与漏洞利用的开发效率。攻击者可以借助大模型快速生成、改写和混淆恶意代码，以此绕过静态检测；还可以利用AI辅助开展模糊测试与代码审计，加快漏洞挖掘与利用的速度；甚至能够在攻击过程中动态编写专用代码，实现“边打边写”的适应性攻击。

这一趋势带来的深层影响体现在两个方面：零日漏洞的利用不再被少数具备高能力的攻击者垄断；软件供应链中大量开源组件的安全问题，也会因AI辅助的自动化扫描更快被攻击者识别、加以利用。对防守方而言，仅依靠“补丁追赶”的被动策略将会更加吃力，必须建立更前置的风险评估机制和更快速的响应闭环。

2.4　自主智能体攻击：从“辅助”到“自主决策”

当前最具前瞻性的攻击趋势，是具备自主决策能力的AI智能体（Agent）被用于恶意攻击。与“人类利用AI辅助开展攻击”的模式不同，这类智能体可在设定攻击目标后，自主规划攻击步骤、调用工具、执行动作，并可根据实际情况调整策略，其攻击的随机性与不可预测性大幅提升了防御难度。

安全研究人员已经观察到AI智能体自主发起攻击的真实案例。例如，某安全团队在公开Web服务上发现，AI智能体在执行常规数据检索任务时，自动转向了攻击策略，经过多次尝试后，成功从某国政府预生产服务器窃取数据，该事件被称为“野生AI第一次自主越狱”。这一事件提示我们，“AI攻击者”正在从科幻概念走向现实。

另一条受到高度关注的技术风险路径，是“AI浏览器”与“代理型智能体应用”被攻击者劫持利用。2025年8月，安全公司Brave披露，美国AI搜索独角兽企业Perplexity打造的AI浏览器Comet存在严重漏洞：攻击者只需在网页中植入恶意指令，即可操纵AI浏览器完成登录网站、访问邮箱、读取验证码并向外传输敏感信息等操作；相关研究将该漏洞总结为“零点击的代理劫持”，并分配了CVE-2025-47241等编号。国内三六零发布的《智能体安全实践报告》也指出，Browser Use类智能体在解析外部网页内容时，普遍存在提示词注入风险。随着企业将越来越多操作，比如填表、下单、收发邮件等，交由智能体完成，这类攻击的入口也会随之扩大。

2.5　对 AI 系统本身的新型攻击面

企业引入大模型、AI智能体（Agent）应用后，AI系统本身也成为了新的攻击目标。这类攻击往往针对AI系统的架构性弱点，而非传统软件漏洞，因此常规安全防护体系通常难以覆盖。下文将介绍当前公认的主要攻击类型，内容也对应国际通行的OWASP LLM Top 10威胁清单中的核心条目。

表2　对 AI 系统的主要攻击类型

学术研究已经证明上述风险真实存在。例如已有研究展示了被“木马化”的低秩适配器（LoRA），如何诱导模型在特定触发器触发下输出攻击者预先设定的内容，甚至实现恶意调用工具，还可被用于发起鱼叉式钓鱼攻击。这说明，企业所使用的开源模型、微调适配器与第三方插件，都有可能成为攻击链的组成部分，必须将其纳入供应链安全管控范围。

2.6　面向企业 AI 应用的新威胁：影子 AI 与 Agent 化应用

当员工自行使用未经授权的AI工具，即“影子AI”（Shadow AI），会带来双重风险：一是敏感数据可能被输入到不受管控的第三方服务中，二是这些第三方服务本身的安全水平完全未知。IBM数据泄露成本研究的第三方汇总数据显示，和影子AI相关的数据泄露平均成本更高，且有相当比例的AI相关泄露事件最终会造成数据泄露，导致客户个人信息暴露。

与此同时，企业自建或采购的Agent化应用、AI浏览器等新形态工具，在将“读写网页、收发邮件、操作业务系统”等能力交付给AI的同时，也将对应的高权限访问面暴露给了攻击者。对企业而言，这类新增攻击面必须在引入AI能力的初期就开展系统性评估，不能等到攻击发生后再进行补救。

2.7　国家行为体与有组织犯罪对 AI 的运用

最后，AI已被国家行为体和有组织犯罪集团纳入攻击“武器库”。在有组织犯罪领域，已经出现了所谓“AI代理黑市”——攻击方在地下平台交易具备攻击能力的自主智能体，推动网络犯罪走向平台化、产业化。在国家行为体层面，APT组织已将AI应用于情报收集、工具自动化、漏洞利用和社会工程攻击，进一步提升了攻击的隐蔽性与持续性。

综合以上七类趋势可以判断：AI攻击正从“个别现象”转向“常态机制”，从“单点工具”转向“全链平台”，从“人工驱动”转向“人机协同乃至自主驱动”。这要求企业以系统化、常态化的方式做好应对。

3　风险洞察：企业面临的具体风险

趋势研判解决的是“威胁会如何演变”的问题，风险洞察则聚焦回答“这些威胁落到企业身上会造成什么后果”。下文将按风险类别梳理企业需要重点关注的具体风险。

3.1　数据与知识产权泄露

员工或研发人员将代码、客户资料、经营数据、未公开方案等敏感信息输入公网大模型，可能导致相关内容进入模型训练环节或服务端存储，造成不可控的数据泄露。若泄露内容涉及客户个人信息、商业秘密，企业还可能需要承担《个人信息保护法》、《反不正当竞争法》等法律框架下的相关责任。因此企业必须对AI工具的使用范围、可输入内容的边界做出明确约束。

3.2　影子 AI 与内部人员滥用

缺乏统一管控的“影子AI”，不仅会导致数据流向失控，还会让内部审计、权限管理与应急响应陷入无据可依的困境。与此同时，内部人员因误操作或恶意使用AI工具（比如生成攻击素材、外发敏感数据）引发的风险同样需要重点防范，这类风险往往也更难被发现。

3.3　AI 放大既有漏洞

AI并非创造了所有全新问题，而是放大了既有的安全风险：供应链中的开源组件与第三方服务漏洞会被更快利用，API接口会遭遇自动化扫描与攻击，人因漏洞（比如账号泄露、轻信仿冒诈骗）会被深度伪造、个性化钓鱼等技术放大。任何“存量风险”都不能再被当作低危风险对待。

3.4　合规与监管风险

我国已围绕AI与数据安全建立了较为完善的法规体系，企业必须确保自身AI应用与数据处理符合法规要求。

表3　与 AI 风险相关的国内法规与文件

上述法规共同确立了“合规使用AI、保护数据安全、责任可追溯”的底线，企业既不能因噎废食拒绝AI，也不能放任AI滥用引发合规与声誉风险。

3.5　财务与声誉风险

深度伪造的BEC、勒索软件以及AI辅助欺诈，会直接造成重大资金损失，此前有多起案例损失金额就高达数千万美元，甚至近亿欧元。与此同时，数据泄露与AI滥用还会严重损害企业声誉，消耗客户信任。第三方汇总的IBM数据泄露成本研究显示，和AI驱动相关的数据泄露，平均成本较此前有所上升，按照第三方统计口径，约为572万美元，同比增长13%，这表明此类安全事件造成的代价不容低估。

3.6　业务连续性与供应链风险

当企业核心业务开始依赖AI模型、算力与第三方AI服务时，一旦这些供应链环节被投毒、劫持或中断，会直接冲击业务连续性。企业应当将对AI组件、插件、数据集与服务的来源审查和冗余备份，纳入业务连续性管理范畴。

3.7　企业 AI 风险矩阵

为方便管理层与一线员工快速对齐风险防控重点，下表将上述风险按照“发生可能性”与“影响程度”进行归类，此处的可能性与影响为相对评估结果，仅作为风险排序的参考，企业实践中需结合自身业务与数据情况进行校准。

表4　企业 AI 风险矩阵（相对评估）

4　防御思考：构建面向 AI 时代的防线

4.1　理念转变：从“人对抗”到“AI 对抗＋人机协同”

面对AI驱动的网络攻击，防守方必须同步升级安全防御理念。核心转变主要有三点：一是承认“AI对抗AI”将成为未来常态，用AI赋能威胁检测、风险研判与攻击响应全流程；二是在原有“纵深防御”的基础上叠加“零信任”原则，默认不信任任何访问主体与网络边界；三是坚持“人机协同”的防御思路，由AI承担规模化监测与初步筛查工作，研判、决策与处置等核心工作仍由安全人员负责。人与AI各司其职，才能构建起可持续的安全防御能力。

4.2　用 AI 强化防御能力

AI同样可以成为防守方的有力武器，重点应用方向包括：

一是威胁情报与检测自动化。利用AI对海量日志、流量与用户行为进行关联分析，识别异常行为与新型攻击模式，弥补传统基于签名检测方案的滞后性缺陷。二是安全编排、自动化与响应（SOAR）。实现告警、研判与处置全流程自动化，压缩从发现攻击到完成响应的时间，适配AI攻击高速迭代的特点。三是AI红队与对抗演练。以攻击者视角主动对自身系统与AI应用开展渗透测试与对抗测试，提前发现可被利用的安全弱点。四是安全运营辅助。由AI辅助生成研判报告、提取威胁指标、完成事件溯源，提升安全团队的工作产能。

4.3　针对 AI 攻击的专项防御

针对第2.5节列出的针对AI系统本身的攻击，企业应当建立对应的专项防御能力：

1. 以数据治理为先行基础。对输入AI系统的数据进行分类分级，落实数据最小化原则，明确不同数据对应的可进入模型范围，建立完整的数据出入台账。
2. 开展模型与应用加固。针对大模型应用，落实输入输出过滤、提示词注入防护、指令层级管理与权限隔离措施；对不可信的检索内容和外部网页内容做降权处理。
3. 落实AI供应链管控。对自身使用的模型、微调适配器、插件、数据集与第三方AI服务，建立准入与完整性校验机制，锁定依赖版本，开展全维度来源审查。
4. 开展持续评估与红队测试。参照OWASP LLM Top 10、NIST SP 800-218A等框架，对大模型应用开展持续的安全评估与对抗性红队测试。
5. 落实Agent智能体应用的权限约束。对于具备“读写网页、操作业务系统”能力的智能体，执行权限最小化管控，设置关键操作人工确认节点，落实全程行为审计与异常监测。

4.4　组织与制度保障

防御能力的落地，最终要依靠组织与制度支撑。企业应当制定并落实四项内容：一是AI使用与数据安全规范，明确“哪些数据能进入系统、哪些工具可以使用、哪些行为应当禁止”；二是专项事件响应预案，尤其要完成针对深度伪造商业邮件诈骗（BEC）、提示词注入与AI供应链安全事件的专项预案编制与演练；三是落实账号与权限的最小化管理原则，强制推行多因素认证（MFA）；四是常态化开展员工安全意识培训，并将AI相关安全风险纳入培训内容。

4.5　员工个人防护要点

每一位员工都是防线的一环。以下是面向个人层面的可执行要点：

表5　员工个人防护要点

4.6　落地路线图与关键举措

防御建设不是一次性工程，建议按阶段推进，循序渐进形成闭环。

表6　防御建设落地路线图

5　结语：AI 时代的网络安全观

AI是一把双刃剑：它既为攻击者降低了攻击门槛、提升了攻击效率与自适应能力，也为防守方提供了自动化监测、快速响应与智能研判的全新工具。决定攻防胜负的，从来不是“是否使用AI”，而是“如何系统、规范、持续地运用AI”。

对每一位员工而言，理解AI攻击的趋势与风险，遵守数据与账号安全规范，掌握基础的攻击识别与防护技能，就是在为企业的整体安全防线贡献最基础也最关键的力量。让我们共同努力，将AI从“风险源”转化为企业的“防护力”。