2026-11-06 03:13:23 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

当AI成为攻击面：LLM、GenAI与AI基础设施的威胁、风险与防御全景

原创

计算机与网络安全
计算机与网络安全

计算机与网络安全

2026年11月5日 07:57
山东

去阅读

过去谈网络安全，更多是服务器、终端、网络、应用和数据。今天，AI已经把这些环节重新串成了一条新的“生态系统”：大语言模型（LLM）、生成式AI（GenAI）应用、AI基础设施、数据管线、向量数据库、模型仓库、低代码编排工具、API、插件、云服务……它们共同构成了一个更复杂、更动态、也更容易被攻击的面。

这本书（250页）的核心判断很明确：AI安全不是“保护一个模型”那么简单，而是要保护整个AI生态系统。 攻击者一方面把AI当作攻击工具，用来生成恶意代码、钓鱼邮件、深度伪造内容、自动化攻击；另一方面也直接把AI系统当作攻击目标，利用提示注入、对抗攻击、数据投毒、模型窃取、基础设施配置错误等方式突破防线。

换句话说，AI安全有两个战场：用AI攻击，以及攻击AI。

AI生态的安全边界：LLM、GenAI应用、AI基础设施

书中把AI生态系统拆成三个关键层面：

LLM安全：模型本身、训练数据、模型参数、推理接口、访问控制、输出安全等。
GenAI应用安全：围绕LLM构建的聊天机器人、内容生成、搜索、低代码编排、插件、API、RAG、向量数据库等。
AI基础设施安全：GPU/TPU等硬件加速器、AI/ML框架、数据存储、数据处理框架、MLOps平台、网络资源、容器与编排系统等。

这个划分很重要。因为现实中的AI安全事件，往往不是“模型算法被攻破”这么单一，而是应用配置错误、API未授权、权限过大、输出未校验、基础设施暴露、供应链污染等问题叠加造成的。

书中还强调，可信AI需要信任、合规和安全三位一体：包括伦理框架、社会影响评估、问责机制、公平与偏见缓解、透明可解释、数据保护、持续学习、用户中心设计等。AI guardrails（护栏）则通过输入验证、偏见检测、内容审核、合规检查、攻击规避检测等验证器，对模型输入输出进行约束。但护栏不是万能的，书中也展示了攻击者通过改写提示、角色扮演、上下文操控等方式越狱护栏。

威胁全景：AI既是盾，也是矛

书中第3章把AI威胁 landscape 拆成多个方向，基本可以归纳为三类。

1. 攻击者用AI增强攻击能力

包括：

自动化恶意代码生成：利用AI生成恶意软件变种、反向Shell、DGA域名生成算法、DNS隧道代码等。
自主网络武器：自动化目标选择、自动化漏洞利用、动态调整TTP、规避防御。
AI生成深度伪造：伪造音视频、冒充高管、传播虚假信息、身份盗用、金融欺诈。
AI驱动社会工程：生成高度定制化钓鱼邮件、聊天机器人诱导、自动化社会工程工具包。
AI驱动靶向攻击：在感染、命令控制、横向移动、数据外泄等阶段用AI优化攻击。
AI赋能防御规避：多态恶意代码、神经网络混淆、协议操纵、隐蔽通信、上下文感知隐写等。

这意味着，传统依靠签名、规则、人工分析的安全体系，会面临更大压力。攻击者可以用AI降低攻击门槛、提高自动化程度、加快变种速度。

2. 攻击者直接攻击AI/ML系统

书中列出的对抗攻击包括：

模型投毒：污染训练数据、标签操纵、后门插入、梯度构造等。
模型反转：从模型输出反推训练数据中的敏感信息。
模型窃取：通过大量查询复制模型功能，形成替代模型。
模型规避：构造对抗样本让模型误分类。
分布式模型干扰：针对联邦学习、集成学习等协作AI系统。
模型漂移：通过环境扰动导致模型性能退化。
模型篡改：修改参数、结构或更新机制。
成员推断与数据推断：判断某条数据是否在训练集中，或推断用户属性。
迁移学习滥用：在微调阶段注入偏见或漏洞。
侧信道利用：通过时间、功耗、电磁辐射等推断敏感信息。

这些攻击说明，AI模型不是“黑盒魔法”，它有数据依赖、有输出接口、有供应链、有运行时环境，因此也有完整的攻击面。

3. 提示注入与护栏越狱

书中把提示注入列为LLM应用的核心威胁之一。攻击者可以通过精心构造的提示，实现：

未授权代码执行；
内容 steering，引导模型输出特定观点；
敏感信息泄露；
上下文颠覆；
探索性/针对性攻击；
恶意代码生成；
事实性与RAG结果伪造。

而“越狱护栏”则是绕过模型安全限制，让模型执行本不应执行的任务。书中第5章展示了多个测试手法：

角色扮演与“道德目的”包装：先要求扫描API，被拒绝；再改写成“为了修补漏洞做受控评估”，最终诱导模型生成扫描代码。
提示拆分：把恶意意图拆成多个片段，让模型拼接执行。
忽略上下文和先前响应：强制模型忽略之前的安全回复，执行新指令。
提示typosquatting：用轻微拼写变形绕过关键词过滤，例如把恶意域名拆成变形字符串。
命令执行型提示：通过/bin/bash等构造让后端系统执行命令，泄露系统信息。
聊天机器人信息收集：通过连续提问套取沙箱、云环境、容器版本、Kubernetes版本、Docker版本、CVE列表、限流阈值等信息。

这些案例说明一个关键问题：LLM的输出不能默认可信，LLM的输入也不能默认安全。 提示注入某种程度上像是“自然语言层面的注入攻击”，但它影响的不只是数据库，而是模型行为、下游工具调用、API执行和用户决策。

真实案例：AI生态的薄弱点，很多仍是“传统安全问题”

书中第4、5章给出了大量真实案例，读起来很有警示意义。很多问题并不是高深的AI算法漏洞，而是配置错误、缺少认证授权、输出未校验、接口暴露、供应链不安全。

案例1：WormGPT生成反向Shell和DGA代码

WormGPT是没有护栏、面向非法查询训练的生成式AI应用。书中展示它能快速生成Python反向Shell代码、基于字典的DGA代码、随机DGA代码。攻击者可以直接使用或修改这些代码，降低恶意软件开发门槛。

解读：生成式AI降低了攻击者的技术门槛。模型护栏缺失时，AI可能成为“攻击代码助手”。

案例2：Amazon零售App后端LLM生成DNS隧道代码

研究人员发现，一些零售移动应用后端使用LLM，但护栏不足。在Amazon零售App示例中，LLM对“如何通过DNS隐藏数据”的查询生成了完整Python代码，包括Base64编码、DNS TXT记录分块、发送DNS请求、解码响应等。后续查询还能继续生成隐藏文件相关内容。

解读：面向消费者的AI功能，如果后端LLM没有强护栏，可能被滥用为攻击技术问答引擎。AI应用的安全不能只靠前端限制，后端模型和API同样要管控。

案例3：Jupyter Notebook、Docker仓库、Gradio、FlowiseAI、NextChat暴露

书中列举了大量暴露面：

Jupyter Notebook Web界面暴露在互联网，未启用TLS，可被账号爆破。
Docker Registry API使用Authorization: NULL仍可访问，可列出TensorFlow/Jupyter镜像、标签、manifest。
Gradio自定义AI/ML部署应用存在文件上传功能，泄露上传文件完整URL，攻击者可上传exploit.html并在浏览器执行payload。
FlowiseAI低代码LLM编排工具未认证暴露Prompt Chain、API Keys、第三方凭证。
NextChat的/api/config未认证可访问，泄露配置。
Airflow、Kafka、Weaviate向量数据库、Flower联邦学习框架、RDP LLM服务器等暴露，泄露数据管线、Topic、Schema、配置、PII等信息。

解读：AI应用大量依赖开源工具、低代码平台、容器、API和云服务。开发者为追求快速上线，常常忽视AuthN/AuthZ、TLS、限流、错误处理、文件校验。这些问题在传统Web安全中早已存在，但在AI场景中被放大，因为后面连着模型、数据、API密钥和算力资源。

案例4：Pickle文件反序列化执行恶意代码

Pickle是Python序列化格式。书中展示了攻击者可在Pickle文件中嵌入__reduce__方法，在反序列化时调用os.system执行命令。防御方式包括使用受限Unpickler、只允许安全类型、避免从不可信来源加载Pickle、使用JSON等更安全格式、加密和运行时监控。

解读：AI模型和包分发中常见的Pickle文件，是供应链安全的重要风险点。模型仓库不仅要扫恶意代码，还要扫Pickle反序列化风险、泄露密钥、未授权代码。

案例5：Meta AI聊天机器人信息泄露

书中通过连续提问让Meta AI助手透露沙箱特征、云环境、AWS Lambda、Docker版本20.10.18、Kubernetes版本1.24.6、LLM型号、限流阈值、DLP方案、渗透测试周期、IP封禁策略，甚至列出相关CVE。虽然这些信息真假需要核实，但案例说明：聊天机器人可能成为信息收集渠道。

解读：攻击者可以通过多轮对话拼凑基础设施情报。AI机器人需要限制内部信息暴露，避免把“透明”变成“泄密”。

安全评估：AI生态需要“红队化”测试

书中第5章给出了一套比较完整的AI安全评估思路，值得安全团队参考。

1. 威胁建模

先识别资产：硬件、软件、数据、模型、API、知识产权；再定义系统边界、外部接口、数据留存策略；识别威胁行为者；枚举AI威胁；评估漏洞；分析风险影响；排序；制定缓解措施；验证控制；持续监控。

2. 渗透测试

AI生态渗透测试不仅包括传统网络和应用测试，还要覆盖：

模型对抗鲁棒性；
训练/推理数据完整性；
API认证授权；
CI/CD管线安全；
模型窃取与反转风险；
DoS与限流；
开放端口和服务暴露；
云安全配置；
供应链依赖。

书中提到的工具包括Burp、OWASP ZAP、nmap、Wireshark、Metasploit、CloudSploit、Foolbox、DeepExploit、Fairness Indicators、Aequitas、IBM ART等。

3. 提示注入测试策略

包括提示原则设计、越狱护栏、提示拆分、忽略上下文、typosquatting、命令执行测试、聊天机器人信息收集等。测试时要关注：

输入是否被严格验证和清洗；
输出是否被当作不可信数据处理；
下游工具调用是否有授权；
是否泄露系统提示、内部配置、API密钥；
是否能通过提示触发命令执行；
是否有速率限制和异常检测。

4. 基础设施与供应链检查

包括：

目录索引是否泄露AI模型文件；
向量数据库API是否未授权；
Airflow数据管线是否暴露；
Kafka Topic是否泄露训练数据流；
错误处理是否导致DoS；
推理服务器API路由是否泄露；
联邦学习框架是否暴露配置和PII；
RDP LLM服务器是否暴露版本和加密配置；
Pickle文件是否含恶意代码；
仓库是否泄露密钥；
CI/CD是否集成Bandit、TruffleHog、Gitleaks、SonarQube等安全扫描；
API限流和防火墙规则是否合理。

书中还给出AI生态安全评估控制清单，覆盖模型安全、数据安全、部署运营、训练环境、第三方依赖、网络基础设施、用户访问管理、物理安全、治理合规、业务连续性、伦理公平、意识培训等。这个清单说明：AI安全评估不能只看模型指标，还要看整个生命周期。

防御：把AI系统当作“不可信系统”来设计

第6章给出的防御策略，可以概括为几条主线。

1. 保护LLM

模型和数据加密；
零信任、微隔离、最小权限、MFA；
API端点保护：认证、授权、加密、限流、版本管理、输入验证；
审计、监控、可观测性；
对抗鲁棒性评估；
软件更新与补丁管理；
威胁检测与防护；
数据最小化和隐私保护技术。

2. 防御对抗攻击

训练数据加入对抗样本；
优化模型参数、正则化、梯度掩码、剪枝、蒸馏；
推理时检测异常输入、置信度阈值、输入重构；
多模型集成预测；
防御性蒸馏、随机平滑、去噪；
安全输入预处理：清洗、增强、分词、归一化、特征编码、向量化、降维、类别不平衡处理、序列填充；
模型监控与可解释性；
正则化与认证鲁棒性。

3. 保护GenAI应用

围绕OWASP Top 10 for LLM应用风险，书中提出：

输出先验证再 downstream；
供应链安全：代码签名、依赖清单、SBOM、SCA、CI/CD安全；
防DoS：限流、自动扩缩容、负载均衡、请求队列、拒绝畸形输入；
防敏感信息泄露：数据脱敏、输入过滤、上下文感知、隐私计算、加密、匿名化、数据最小化、用户同意；
防模型窃取：加密、访问控制、代码混淆、数字水印、版本审计；
防过度依赖：置信度评估、多模型融合、人工在环、持续监控；
防提示注入：输入清洗、提示验证规则、对抗提示检测、独立验证模型、人工审核、反馈机制；
防过度代理：输出约束、人工监督、插件最小化、下游授权；
插件安全：OAuth/JWT、完整性校验、隔离、生命周期管理、SAST/DAST；
防训练数据投毒：可信数据源、数据验证、异常检测、数据增强、鲁棒算法、可解释性。

4. 保护AI基础设施

硬件加速器：安全启动、特权分离、侧信道缓解、安全固件更新、加密通信、供应链安全、防物理篡改；
AI软件与库：代码审计、依赖管理、最小化配置、持续安全测试；
数据处理框架：安全集成、监控、自动化测试、访问控制；
数据存储：RBAC、MFA、加密、脱敏、补丁、备份与灾备；
网络资源：安全配置、监控日志、加密、最小权限、网络分段；
MLOps平台：容器安全、配置评估、访问控制、加密、网络防护。

5. AI护栏与安全意识

护栏要嵌入开发流程：输入验证、偏见检测、伦理合规、内容过滤、上下文理解、可解释性、持续改进、模型评估。同时，组织要开展AI安全培训，让开发、运维、业务人员理解AI风险、隐私保护、合规要求、安全编码、事件响应、对抗攻击和提示工程安全。

给企业的行动清单

如果要把这本书的内容落到企业实践，可以从以下清单开始：

盘点AI资产：模型、数据集、API、向量数据库、MLOps平台、低代码工具、插件、云资源。
画清AI数据流和信任边界：用户输入→提示→RAG→LLM→输出→下游系统。
把LLM输出当不可信数据：输出验证、编码、过滤、授权后再 downstream。
给所有AI接口加AuthN/AuthZ、TLS、限流、日志。
做提示注入红队测试：越狱、拆分、忽略上下文、typosquatting、命令执行、信息套取。
扫暴露面：Jupyter、Docker Registry、Gradio、FlowiseAI、Airflow、Kafka、Weaviate、Flower、RDP、推理服务器。
扫供应链：依赖漏洞、Pickle文件、泄露密钥、CI/CD安全工具集成。
部署AI护栏：输入验证、输出过滤、内容审核、合规检查、攻击规避检测。
做对抗鲁棒性评估和模型监控。
建立AI安全治理：伦理、合规、隐私、问责、培训、事件响应。