文章总结： 该报告系统分析人工智能在技术、运营和人类层面存在的实际风险，涵盖提示注入、数据投毒、模型信息泄露等11类攻击手法及相应缓解措施，同时指出AI供应链复杂性、代码可维护性等结构性挑战，并分类阐述网络犯罪组织与APT团体如何利用AI增强攻击能力。报告提出开展专项安全审计、加强人员培训等可操作性建议，为AI安全防护提供全面框架。 综合评分： 85 文章分类： AI安全,威胁情报,漏洞分析,安全建设,解决方案

人工智能的技术、运营与风险

计算机与网络安全

2026年6月23日 07:57 山东

在小说阅读器读本章

去阅读

该报告全面分析了人工智能在技术、运营和人类层面存在的实际风险，包括针对AI模型的攻击与危险、AI应用面临的结构性挑战、利用AI安全风险的行为者类型，并提出了相应的缓解建议。

攻击与危险

提示注入：攻击者通过操纵模型输入（提示、文档或外部数据）来改变其行为、执行非预期操作或提取机密信息。可直接或间接进行，直接是修改用户提示，间接是在模型处理的内容中隐藏有害指令。缓解措施包括应用输入过滤器、严格分离指令与数据，限制模型对敏感源或工具的访问，定期使用对抗性提示库和基于OWASP Top 10 for LLM Applications的测试进行审计，以及培训管理员和安全团队识别模型中的操纵模式或异常行为。

不安全的输出管理：当AI生成的结果直接用于业务流程（如交易自动化、诊断支持、设备管理或代码生成）时，不正确或被操纵的输出可能产生关键影响，且常是提示注入、数据投毒或模型训练中未检测到的偏差等其他漏洞的最终表现。缓解措施包括在执行自动或关键操作前在沙盒环境中验证和隔离输出，在决策或物理控制系统中进行强制人工监督（尤其是在高影响的受监管环境中），对模糊场景进行鲁棒性测试以识别模型对操纵输入或模糊上下文的响应，进行交叉检查以将模型输出与独立来源或确定性规则进行比较，以及制定有文档记录和可追踪的补救计划，当检测到关键输出时设置阻塞阈值。

数据投毒：通过在模型训练或更新期间引入受污染或有害数据来操纵模型，从而改变其行为、降低其性能或引入有害偏差，可能使其成为攻击工具。投毒可能来自受感染的外部来源、数据集提供商或与未经验证的API的自动集成。缓解措施包括定期审计数据集的质量和来源，进行完整性和可追溯性检查，在每次模型训练或更新前执行；对数据进行统计和语义验证，包括异常值分析、异常模式检测和关键子集的人工审查；隔离训练环境（数据集沙箱）以避免内部和外部数据集之间的交叉污染；实施可验证的数据管道，记录流程的每个步骤（提取、转换、加载和训练）并进行版本控制；使用Adversarial ML Threat Matrix等框架评估模型对有害或嘈杂数据的对抗鲁棒性；对数据存储库实施访问控制策略和增强身份验证，防止内部或未授权的操纵。

模型信息泄露（数据泄露）：模型可能通过恶意查询、模型反转攻击（成员推理）或配置错误暴露在训练期间学习到的敏感信息或存储在内部存储器（如嵌入或向量库）中的信息。在医疗、金融或国防等敏感环境中，此类泄露可能产生严重的法律、声誉和运营影响。缓解措施包括应用隐私增强技术（PETs），如差分隐私、联邦学习、同态加密或合成数据生成，以在不损害模型实用性的前提下保护机密性；将信息提取和重建测试（成员推理、模型反转攻击）作为AI安全审计周期的一部分；监控和记录模型查询和输出，应用检测过滤器识别包含敏感数据或与私人信息匹配的响应；通过多因素身份验证和推理环境分段控制对向量存储器、嵌入和模型参数的访问；定义安全保留和删除训练数据的策略，避免敏感信息在模型或其存储库中不必要地持久存在；实施人工审查和输出交叉验证，尤其是在结果可能暴露个人或企业数据的环境中。

拒绝服务（DoS）：攻击者可以通过大量请求、复杂查询或操纵数据使AI模型饱和，降低其性能、阻塞资源或在云环境中人为增加执行成本。虽然这是一种经典攻击，但在AI环境中具有新的维度，模型运行成本高，依赖大量内存和GPU，且常与外部服务或公共API集成，扩大了暴露面。缓解措施包括按配置文件设置请求限制和使用配额，设置异常峰值的自适应阈值；实施负载均衡和关键请求的优先级排序；加强暴露端点的身份验证和参数验证；实时监控使用情况和延迟指标，并自动激活应急计划。

供应链漏洞：对库、框架、预训练模型和外部服务的依赖可能引入继承的漏洞，即使模型本身未受影响，也可能危及整个AI管道。常见依赖项中的故障（如2021年的Log4j事件）可能启用远程代码执行或数据操纵，影响集成AI的系统。缓解措施包括审计外部依赖项和执行环境，应用漏洞分析和主动补丁管理；维护组件和版本的完整可追溯性，遵循软件物料清单（SBOM）实践和数字签名控制；将风险管理与NIS2、DORA、OWASP Top 10 LLM和MITRE ATLAS等框架对齐，优先处理影响数据管道或推理的关键漏洞；隔离训练、测试和生产环境以限制受感染依赖项的影响。

机密信息泄露：AI模型可能因恶意查询、不正确的访问配置或缺乏输出验证而泄露敏感或私人信息，包括个人数据、企业信息、内部参数或训练集片段。在AI与外部用户或其他信息系统无监督交互的环境中，风险会放大。缓解措施包括应用细粒度访问控制和角色分段，根据最小权限原则限制模型及其数据集的暴露；定期进行对抗性信息提取测试（成员推理、模型反转）以检测潜在泄露；在训练前和训练期间对敏感数据进行分类和保护，应用隐私设计和数据最小化技术；监控和过滤模型响应，检测包含个人或机密信息的模式。

不安全插件的操纵：插件和外部集成扩展了系统功能，但如果未经验证或未经控制安装，会引入新的攻击向量。在AI中，许多插件允许模型直接访问数据库、执行命令或与外部服务通信，放大了操纵的潜在影响。攻击者可利用易受攻击或设计不佳的插件注入指令、操纵数据或重定向输出，损害系统或处理信息的完整性。缓解措施包括清点和保护集成点，根据最小权限原则限制每个插件的执行权限；定期审计第三方插件，审查代码、身份验证和数据处理；限制模型对关键工具（数据库、财务或临床系统）的访问，在任何自动执行前应用验证；监控活动插件的行为，记录其操作并将其与模型活动相关联。

过度代理：当AI代理被赋予操作自主权执行关键操作（如修改系统、授权交易或与生产环境交互）而没有足够的人工监督时，会产生过度代理的风险。这种不受控制的自主权会将错误或操纵转化为对业务流程的实际和直接影响。缓解措施包括根据“人在回路”原则为关键决策定义明确的人工干预阈值；建立所有代理操作的可追溯性和审计，包括自动决策和状态变化；在业务逻辑中划定AI的自主权，明确其无需人工批准即可执行的任务；模拟不利场景，以验证控制机制在异常行为发生时能够中断自主执行。

过度依赖：当组织将关键决策或流程过度委托给AI模型或支持它们的服务生态系统时，会产生过度依赖的风险。不仅限于依赖特定提供商或模型，还包括将整个运营建立在外部模型、API和框架的相互依赖网络上，增加了脆弱的表面积并阻碍治理。缓解措施包括多样化AI提供商和架构，同时保持内部操作和验证能力；制定应急和连续性计划，包括在自动化系统故障时的手动操作模式；确保模型的可追溯性和可解释性，以保留人类对关键决策的控制；投资内部技术知识的培训和保留，避免对自动化系统的认知依赖。

模型窃取：攻击者通过系统查询（模型提取）复制AI模型的行为，或通过逆向工程技术访问其参数和权重。这种攻击违反知识产权，还可能导致规避、投毒或工业间谍活动。当模型通过API、未经验证的集成或开放代码存储库公开暴露时，风险会增加。缓解措施包括监控API中的查询模式和异常行为，检测旨在重建模型的请求序列；应用提取检测和威慑技术，如向响应添加受控噪声或限制准确性和频率；通过加密、访问控制和部署环境分段保护模型参数和权重；审计模型在提取和规避攻击方面的暴露情况，包括基于模型反转的对抗性测试。

挑战

AI代码可维护性：人工智能系统中代码的可维护性是当前这些技术大规模采用环境中最显著的挑战之一。与传统软件不同，AI相关代码集成了动态模型、数据管道、预处理脚本、特定硬件配置以及不断发展的多个外部依赖项。这种变化的性质使得可追溯性、文档编制和版本控制变得困难，而这些都是确保长期安全性和可靠性的关键因素。主要问题包括机器学习框架和库的加速过时，模型在每次更改或更新后的审计复杂性，以及数据中的偏差也是可维护性问题的一部分，此外，在遗留模型与集成到关键流程中的实验性开发共存的环境中，问题会加剧。

AI供应链的复杂性：人工智能供应链比传统软件的供应链更广泛和复杂，不仅限于框架和库，还包括训练数据集、预训练模型、第三方API、云基础设施、外部存储库和分发服务。每个环节都增加了可能危及系统安全性和可靠性的脆弱点。显著风险包括通过外部数据集和预训练模型引入偏差，外部组件缺乏透明度，以及AI供应链的更新和连续性管理问题。

AI代码的重用：在人工智能解决方案的开发中，重用外部代码、库和模型是一种普遍做法，虽然加快了部署时间并降低了成本，但也引入了可能危及系统安全性、可靠性和法规遵从性的无形继承风险。风险包括继承漏洞或后门，引入隐藏偏差，以及可追溯性和问责制问题。

网络犯罪分子能力的优化：人工智能在网络空间的出现是一把双刃剑，在提供技术发展机会的同时，也可能增强国家行为者和犯罪组织的攻击能力。各国政府将AI集成到网络间谍活动和破坏策略中，AI改变了网络威胁格局，如生成更具说服力和个性化的钓鱼攻击、自动化攻击流程、创建更复杂和规避性的恶意软件、制作深度伪造内容等。还出现了如FraudGPT、WormGPT、DarkGPT等AI工具被敌对行为者用于开展活动，以及模型蒸馏技术的不当使用带来的风险。

恶意软件即服务（MaaS）：MaaS是一种复制合法软件即服务（SaaS）模式的犯罪模型，通过订阅、租赁或附属计划营销有害工具，使技术能力有限的行为者能够发起高级攻击。常见类型包括勒索软件即服务（RaaS）、包含模板、自动化和部署指南的钓鱼工具包、按需僵尸网络/DDoS服务、打包为服务的窃取程序和银行木马等。AI主要在恶意软件的定制和部署活动的改进方面增强了MaaS，还出现了LLM嵌入式恶意软件，检测此类恶意代码面临挑战。

勒索软件即服务（RaaS）：RaaS是恶意软件即服务生态系统中的一种模式，开发人员提供基础设施、恶意软件，在某些情况下还提供技术支持，附属机构对受害者执行攻击，赎金所得在运营商和附属机构之间分配。RaaS将勒索软件工业化，转化为高利润且可扩展的非法业务。已出现如PromptLock、MalTerminal等结合生成式人工智能（GenAI）的勒索软件，AI可在RaaS的多个阶段提供帮助，如选择和分类目标受害者、生成或调整恶意脚本、优化加密算法、增强勒索信等。

AI攻击：AI攻击是使用人工智能自动化、优化或增强网络攻击技术的敌对行动，使其更快、更准确且更难检测。包括超个性化AI钓鱼，利用AI根据受害者的个人信息和行为创建量身定制的误导性消息；深度伪造和AI克隆声音，创建模仿高管、员工或公众人物的虚假视频或音频记录；AI驱动的暴力破解和OSINT攻击，算法从失败尝试中学习、实时调整策略并基于上下文优先考虑可能的密码，以及自动化大规模扫描公共来源、关联分散数据并构建高度准确的目标配置文件。

利用AI安全风险的行为者类型

网络犯罪：网络犯罪是通过使用电子通信网络和信息系统在线实施的犯罪行为，主要出于经济动机并寻求即时投资回报。人工智能的出现改变了犯罪生态系统，网络犯罪集团已整合生成式AI工具和其他机器学习模型来自动化攻击活动、生成超逼真的钓鱼内容、使用深度伪造技术冒充身份或开发自适应恶意软件。勒索软件仍是最有利可图和最广泛的勒索工具，部分国家行为者和混合团体将其用作破坏、分散注意力、扰乱目标关键活动或掩盖敌对活动证据的工具。主要的网络犯罪集团包括FunkSec、GXC Team、Indrik Spider、Renaissance Spider等，它们已开始将AI整合到其活动中。

APT（高级持续威胁）组织：APT代表了与网络犯罪相反的一端，是长期、谨慎和战略性的行动，通常由国家资助，由高技能人员组成的协调小组，其行动响应战略利益，目标是网络间谍活动、破坏或影响，并具有长期持续的能力。APT可以将AI作为攻击工具，如自动化侦察、生成操纵内容或加速漏洞利用开发，也可以将其作为攻击向量，如通过数据投毒、模型操纵或将后门插入AI供应链。主要的国家行为者包括与中国、俄罗斯、伊朗和朝鲜相关的APT组织，如APT28、Ember Bear、APT41、RedHotel、Sodium、Ta499、Imperial Kitten、Charming Kitten、APT42、Lazarus Group、Void Arachne等，它们具有不同的目标和战术，并可能利用人工智能系统中的漏洞。

建议

AI安全审计：大型语言模型大规模集成到关键业务应用程序和流程中，需要强大的网络安全措施来缓解新兴风险。定期进行专门的安全审计至关重要，审计应从全面的角度进行，涵盖通常支持这些环境的传统Web系统以及涉及使用这些模型的AI相关特定风险。审计能够识别漏洞、评估模型对 adversaries 攻击的稳健性，并确保当前的法规遵从性。理想情况下，方法论应结合审计团队自身的经验和能力以及该领域国际公认的框架，如OWASP Top 10 for LLM、MITRE ATLAS和Google SAIF。

意识和网络安全培训：虽然技术审计可以检测AI系统和模型中的漏洞，但组织的真正弹性在很大程度上取决于使用它们的人员的行为和准备情况。在大多数网络安全事件中，人为因素仍然是主要的入口向量，在AI环境中，这种风险因这些工具易于使用、操纵或利用以获取敏感信息而被放大。因此，应专注于网络安全培训和意识，旨在为专业人员配备与基于人工智能的系统安全、负责任地交互所需的知识和反应能力。培训计划必须超越传统的理论培训，专注于基于模拟、实践练习和现实风险场景的主动和个性化方法。

本文原文件及下列文件

点这里自助下载

人工智能的技术、运营与风险.pdf

AI大模型合规指南.pdf

GB∕Z 185-2026 人工智能 智能体互联 第1~7部分.pdf

2026年人工智能发展十大趋势.pdf

AI大模型安全评估及防护技术应用指南（2026）.pdf

中国AI Agent产业生态全景分析报告.pdf

2026年AI威胁态势报告.pdf

AI安全解决方案白皮书.pdf

AI生成内容安全及风控管理技术应用指南.pdf

智能体安全研究报告.pdf

OpenCode教程.pdf

AI安全：智能体安全新范式.pdf

人工智能实践：网络安全与取证领域的理论与应用.pdf

OWASP MCP Top10（2025）安全风险白皮书.pdf

下一代安全模式的生成式人工智能.pdf

政务领域人工智能大模型统一服务平台成熟度模型.pdf

大模型服务与应用安全评测技术规范.pdf

AI智能体：威胁分类、防御框架与落地实践.pdf

Hermes Agent 从入门到精通.pdf

人工智能 政务大模型系统技术要求.pdf

大模型服务安全白皮书.pdf

大模型面试手册（中文）.pdf

大模型工具大全.pptx

大模型评测幻觉检测.pptx

大模型能力技术培训.pptx

大模型的本地部署和微调.pptx

大模型与智能体安全.pptx

AI大模型评测能力建设及实践.pptx

大模型时代下的产品工程思路.pptx

大模型PPT

加入网络安全社群

–

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：计算机与网络安全 《人工智能的技术、运营与风险》