NIST发布超级智能安全事件管理报告，提出完善人工智能安全响应机制

赛博研究院

2026年11月5日 18:28
上海

去阅读

近日，美国国家标准与技术研究院（NIST）发布《NIST超级智能安全事件管理研讨会报告》（NIST IR 8621：NIST Workshop on SI Incident Management，以下简称“报告”），总结了此前举办的超级智能（SI）安全事件管理研讨会的主要内容，并提出下一步计划安排。围绕超级智能可能面临的网络攻击、系统误用、运行故障等问题，重点研究如何完善安全事件的发现、调查、处置和恢复机制。

随着超级智能逐步进入关键的基础设施和各类实际业务，其安全问题也在发生变化。与传统信息技术系统相比，超级智能具有概率性、自主运行和处理速度快等特点。系统可能在没有明显外部攻击的情况下出现异常，也可能成为网络攻击的目标。传统网络安全事件响应机制主要针对常规软件系统设计，在面对这类新问题时，部分流程和技术手段已经难以完全适用。所以要在现有网络安全框架的基础上，进一步完善针对超级智能系统的事件管理方法。

*超级智能安全事件分为两类*

超级智能安全事件主要分为两个相互关联的领域：

• 一是针对超级智能本身的网络安全攻击；
• 二是由超级智能的误用、异常行为或运行故障引发的事件。

在网络安全攻击方面，包括模型窃取、数据投毒、提示词注入、模型反演、供应链攻击以及智能体遭到控制等。这些攻击可能影响系统的保密性、完整性和可用性，也可能进一步波及模型、智能体及其配套基础设施。例如，攻击者可通过恶意输入影响模型行为，或利用系统与外部工具的连接获取未经授权的数据。

另一类事件来自系统的使用过程。系统可能产生不安全输出、具有实际影响的模型幻觉，或发生未经授权的自主操作。恶意人员也可能利用超级智能系统实施网络攻击、传播错误信息，甚至影响金融系统和公共安全。对于这类事件，即使系统未遭传统网络攻击，也可能因错误输出或不当操作造成实质损害。

这两类事件不能完全按照同一种方式处理。针对系统的网络攻击需重点关注系统安全、攻击路径和技术证据；系统误用和运行故障则需进一步分析实际损害，以及系统行为与具体使用场景的关系。未来指南需覆盖不同类型的问题，不能将所有人工智能安全事件简单归为一类。

*传统事件响应机制面临新挑战*

在网络安全专题讨论中，智能体的应用给传统事件响应流程（发现、遏制、恢复和事后分析）带来了新问题：

• 在事件发现环节，传统监测主要依靠网络日志、终端记录和身份信息。但针对人工智能的攻击往往发生在模型推理和智能体运行过程中，提示词注入和训练数据投毒未必会直接表现为明显的网络异常。因此，需要加强对模型运行过程的监测，记录提示词、模型输出、工具调用和智能体状态等信息，为后续调查提供依据。
• 在遏制环节，传统网络安全通常通过隔离设备或断网来控制风险。但智能体可能已接入业务系统并获得执行权限，简单关闭系统会影响正常业务。应根据智能体实际拥有的权限采取控制措施，及时撤销不必要的授权，并建立软隔离方案。
• 在恢复环节，人工智能系统的问题未必能通过传统补丁或版本回退解决。受污染的数据可能已进入训练或运行环节，准确识别并清除相关影响十分困难。同时，部分人工智能系统的输出具有非确定性，同样的输入在不同时间可能产生不同结果，这增加了事件调查和结果复现的难度。

调查人员需要弄清楚谁实施了操作、访问了哪些数据、事件发生时间及数据流向。但目前不少人工智能系统缺少可靠的原生日志，未充分记录提示词、模型回答、智能体操作和数据访问情况。一旦发生事件，调查人员可能无法准确还原经过。

报告建议，建立统一、机器可读的人工智能调查数据格式，并加强系统间的日志记录和证据衔接。在法律和操作条件允许的情况下，建议将30天作为提示词和模型输出等内容的留存基线。此外，还需统一时间戳格式，确保跨系统数据可靠对应。

从企业运营角度，系统部署前就应做好安全准备，重点包括：非人类身份治理、预置遥测数据（如提示词日志、模型版本历史）和遏制决策框架。企业需清楚掌握服务账户、API密钥和令牌的权限与负责人，并提前制定撤销方案。同时，应根据不同组件的业务功能，明确发生问题时采取撤销、回滚、隔离或切换备用方案等动作，避免处置一个安全问题时波及其他业务。

*系统误用和故障纳入事件管理*

除了针对系统的网络攻击，报告专门讨论了系统误用、异常行为和运行故障。

人工智能事件不能只关注恶意攻击，还应包括系统自身的意外故障。现有记录需进一步细分为网络安全事件、恶意误用、事故、故障和潜在风险等类型。

报告指出，单纯统计事件数量无法准确判断整体风险的升降，还需了解系统的实际部署规模和使用情况。只有结合事件数量和应用范围，才能有效评估风险变化。因此，应建立统一的事件分类和数据字段，推动不同数据库间的信息共享。

信息共享、事件报告和事件响应三个概念的区别：

• 信息共享：通常自愿、主动且持续，目的是交流经验、共同识别风险。
• 事件报告：通常发生在事件后，企业向监管机构提供信息，以提高透明度。
• 事件响应：实际处置过程，重点在于控制影响、降低损害并恢复系统。

若事件报告门槛模糊，企业可能担心主动分享的信息触发监管义务，从而降低共享意愿；同时，向政府报告并不意味着具备实际处理能力。制度设计既要明确事件报告要求，也要建立真正的调查和处理队伍。

生成式人工智能事件的应急管理事件往往涉及隐私、安全、用户信任和产品运营等多方面。报告提出了一个由四个环节组成的应急框架：连接、协调、沟通和控制。随着智能体获得自主执行能力，一旦出现误判或遭提示词注入，影响范围可能更大，组织需提前考虑权限范围、人工监督和应急方式。

*现有安全指南需加强衔接*

NIST将事件响应纳入整体网络安全风险管理，但主要关注网络安全事件。对于人工智能误用和故障造成的损害，仍需补充内容。同时介绍了人工智能网络安全框架，重点关注保护人工智能系统本身、利用人工智能辅助防御，以及应对利用人工智能实施的攻击。其目的不是取代现有框架，而是增加人工智能相关的安全要求。《人工智能事件响应指南手册》将响应划分为准备、识别、遏制与恢复、经验总结四个阶段，强调要提前制定应急预案。

人工智能安全事件管理的研究虽多，但指南分散在网络安全、风险管理、事件报告等不同领域，各类资源之间需要进一步衔接。

*产业链责任划分需进一步明确*

报告认为，一个完整的人工智能系统涉及基础模型开发商、云服务商、API提供商、系统部署者和最终用户等多个主体。

不同主体掌握的信息各异：模型商了解模型运行情况，平台商掌握接口调用记录，部署者更了解业务场景和用户影响。事件发生时，单一主体往往无法掌握全部证据或拥有完整处置权限。

智能体的应用进一步增加了责任划分难度。智能体采取的行动不仅取决于基础模型，还与外部工具、记忆模块、系统提示词、身份凭证等因素有关。因此，调查事件需审视整个系统，而非仅关注模型本身。

报告指出，日志记录带来的新问题。详细记录提示词和工具调用有助于还原事件，但这些信息可能包含敏感数据。如果包含恶意提示词的日志后续被其他智能体或自动化系统读取，日志本身可能成为新的攻击面。组织需在调查需求、数据保护和信息安全之间做好平衡。

报告同时提出了资产管理、第三方供应商责任等问题。未经正式管理的影子AI工具可能不在企业资产清单中，安全部门若不了解其存在，便难以掌握其数据访问权限和业务影响。

*结语*

NIST未来计划，主要包括：

建立利益相关方社区；加强监测和日志管理，研究现有方式如何适应超级智能系统，重点关注模型生命周期、运行数据和取证证据；研究信息共享和报告机制，研究如何将模型生命周期和取证信息纳入共享体系；研究可追溯性和可观测性概念框架，明确系统行为追踪的基本概念、操作方法和技术标准，为事件发现和调查提供支持；持续识别和解决新问题：根据实际事件、技术演进和社区反馈，不断调整后续工作并制定新指南。

NIST在结论中强调，超级智能安全事件管理已不再是遥远的未来问题。现有网络安全事件响应体系仍具重要作用，但需进一步适应超级智能系统在运行监测、权限控制、证据保存和多方协作等方面带来的新要求。NIST将继续与各方合作，推动现有网络安全实践与人工智能安全管理要求相衔接。

文章参考来源｜NIST、互联网公开信息

赛博研究院简介

上海赛博网络安全产业创新研究院（简称赛博研究院），是上海市级民办非企业机构，成立至今，赛博研究院秉持战略、管理和技术的综合服务模式、致力于成为面向数字经济时代的战略科技智库、服务数据要素市场的专业咨询机构和汇聚数智安全技术的协同创新平台。

赛博研究院立足上海服务全国，是包括上海市委网信办、上海市通管局、上海市经信委、上海市数据局等单位的专业支撑机构，同时承担上海人工智能产业安全专家委员会秘书长单位、上海“浦江护航”数据安全工作委员会秘书长单位、上海数据安全协同创新实验室发起单位等重要功能，并组织“浦江护航”数据安全上海论坛、世界人工智能大会安全高端对话等一系列重要专业会议。

欢迎联络咨询：

邮件：[email protected]；

电话：021-61432693。