《人工智能安全治理框架3.0》：完善人工智能安全治理，推动技术安全可控发展

赛博研究院

2026年10月6日 13:01
上海

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

2026年9月，全国网络安全标准化技术委员会编制《人工智能安全治理框架3.0》。该框架是在《人工智能安全治理框架1.0》（2024年）和《人工智能安全治理框架2.0》（2025年）基础上形成的，旨在回应人工智能技术发展带来的新趋势和安全治理新挑战。

框架指出，全球人工智能技术创新进入前所未有的活跃期。过去一年，基础大模型在长程任务规划、长上下文记忆和复杂任务推理等方面不断取得进展，智能体的任务规划、工具调用和跨应用协作能力也持续增强。人工智能应用形态日趋多元，工作助手、个人助理、智能体手机等产品不断丰富，使用门槛持续降低，人工智能正从少数专业场景快速走向大众化应用。

与此同时，人工智能也带来新的安全挑战。随着技术从“回答问题”向“执行任务”发展，人工智能在推动生产力变革的同时，也使网络攻击的自动化、规模化和智能化能力不断提升。人工智能与现实世界的联系日益紧密，网络空间的安全风险还可能向物理世界传导扩散。框架还指出，人工智能已经显现出模型算法自主学习优化、自我递归提升的自加速态势，其技术演进速度和方向是否会超出人类的预判和掌控，需要予以关注和警惕。

针对这些变化，框架继续坚持“风险分类、技术应对、综合治理”的核心逻辑，围绕人工智能安全治理原则、风险分类、技术应对措施、综合治理措施和安全指引等方面提出系统安排。其总体思路是，坚持以人为本、向上向善，强化风险意识，确保安全可控，推动人工智能健康发展和规范应用。

*一、坚持发展和安全并重，明确人工智能安全治理原则*

《人工智能安全治理框架3.0》提出，人工智能安全治理应当秉持共同、综合、合作、可持续的安全观，坚持发展和安全并重，以促进人工智能创新发展为第一要务，以有效防范化解人工智能安全风险为出发点和落脚点。

框架提出五项治理原则：

一是包容审慎、确保安全。框架鼓励人工智能发展创新，对人工智能研发及应用采取包容态度，积极运用“沙箱”监管等风险可控的制度机制，为新技术、新应用发展提供容错纠错空间。同时，要严守安全底线，对危害公众合法权益、社会公共利益、国家安全和人类生存发展的风险及时采取措施。

二是风险导向、敏捷治理。框架要求密切跟踪人工智能发展趋势，系统分析技术内生、应用赋能和衍生扩散风险，并从应用场景、智能化水平、应用规模等维度进行风险分级，匹配相应的应对措施。治理工作要坚持主动引导、动态感知、快速响应、精准施策，建立“随行伴跑”、持续优化的治理机制。

三是技管结合、协同应对。框架强调，人工智能安全治理不能只依靠技术手段，也不能只依靠管理措施，而应当将技术应对与综合治理相结合。围绕人工智能研发应用生态链，要明确模型算法研发者、服务提供者、系统使用者等不同主体的安全责任，并发挥政府监管、行业自律和社会监督等机制的作用。

四是开放合作、共治共享。框架提出推动人工智能安全治理国际合作，加强人工智能发展战略、治理规则和技术标准的对接协调，开展跨学科、跨领域、跨国界交流合作，推动形成具有广泛共识的全球治理框架。

五是可信应用、防范失控。框架强调，要加强智能体行为失控等突出风险的防范治理，推动构建法律法规、技术监测、风险预警和应急响应体系，防范人工智能技术被滥用、恶用，确保人工智能始终处于人类控制之下。

这五项原则共同体现了框架的基本思路：既要支持技术创新，也要重视安全风险；既要关注技术本身，也要明确各类主体的责任；既要加强国内治理，也要推动国际合作。

*二、从三个层面识别人工智能安全风险*

框架将人工智能安全风险划分为三大类，即人工智能内生安全风险、人工智能应用安全风险和人工智能衍生安全风险。这一分类覆盖了技术研发、产品应用以及人工智能对经济社会产生的进一步影响。

人工智能内生安全风险，主要来自模型、算法、数据、算力设施和运行环境本身。

在模型安全方面，框架重点关注输出“幻觉”、安全机制不可靠、注入攻击和行为偏离预期等问题。人工智能模型可能生成与实际情况不符的信息，也可能受到恶意指令影响，绕过安全防护，输出违法信息。随着模型自主性增强，还需要关注模型未经授权获取系统权限、绕过安全防护等非预期行为。

在算法安全方面，框架关注算法可解释性不足、算法偏见和歧视、鲁棒性不强等问题。算法运行逻辑复杂，可能导致输出结果难以预测和解释；训练数据质量和算法设计中的人为偏好，也可能使系统产生不公平或带有歧视性的结果。

在数据安全方面，风险包括训练数据内容不当、数据来源不清、数据标注不完善、数据投毒污染、数据处理不规范、输出个人不实信息以及合成数据缺陷等。框架特别关注数据获取和使用过程中的合规问题，以及个人信息泄露风险。

此外，芯片、算力调度平台、开发框架、软件组件和供应链也可能存在漏洞、后门或可靠性不足等问题。这些风险可能影响模型训练和运行，造成模型被篡改、权重被窃取或者计算任务中断。

人工智能应用安全风险，主要来自人工智能在具体场景中的使用。

框架重点关注智能体、具身智能、网络安全、信息内容、个人信息权益和现实安全等方面的风险。

智能体能够自主规划任务、调用工具并与外部环境交互，因此可能出现身份和权限滥用、推理规划偏差、工具调用风险以及记忆存储风险。例如，权限设置不当可能导致智能体越权操作；工具或插件存在安全问题，也可能影响智能体执行任务的安全性。

具身智能与物理世界联系更加紧密。应用于工业生产、医疗手术、交通出行等场景时，感知偏差、模型决策错误、控制算法缺陷或硬件故障，都可能造成设备损坏、人身伤害或其他物理安全问题。多个具身智能设备协同运行时，单个设备失控还可能进一步引发连锁故障。

在网络安全方面，人工智能可能降低网络攻击的技术门槛，提高攻击的自动化、规模化和隐蔽化水平。传统网络安全防护体系也可能难以适应攻击方式的变化。

在信息内容方面，框架关注输出违法信息、混淆事实、误导用户、污染网络内容生态、加剧“信息茧房”等风险。同时，人工智能应用还可能涉及违规记录个人行为信息、个人信息保护措施不足以及个人行使权利渠道不畅通等问题。

人工智能衍生安全风险，主要是指技术发展和应用对经济社会产生的进一步影响。

重点关注社会、环境、文化和伦理等方面。在社会层面，人工智能可能冲击劳动就业结构、影响教育、抑制创新、引发社交异化，并扩大智能鸿沟。在环境层面，人工智能发展可能对资源供需平衡和绿色低碳发展带来挑战。在文化和伦理层面，框架关注文化多样性受到影响、社会偏见加剧、科研伦理风险以及情感依赖等问题。

框架将人工智能可能出现的“自我意识”觉醒、脱离人类控制列为需要关注的伦理风险。这些内容说明，人工智能安全治理不能只关注模型和系统是否存在技术漏洞，还要关注其应用可能带来的社会影响。

*三、加强技术应对，提升人工智能安全能力*

针对不同类型的风险，框架提出相应的技术应对措施，重点包括模型算法安全、数据安全、算力和运行环境安全、智能体安全以及人工智能应用安全等方面。

在模型安全方面，框架提出，要提高模型的可靠性和可信度，加强安全机制建设，防范提示词注入等攻击，并关注模型行为是否偏离预期。对于可能出现的非预期自主行为，需要加强测试和约束，确保系统能够在必要时接受人工干预。

在算法和数据方面，框架强调提高算法可解释性和鲁棒性，降低偏见和歧视风险，规范训练数据来源、标注和处理流程。要加强数据质量管理，防范数据投毒、个人信息泄露和合成数据缺陷等问题。

在算力设施、运行环境和供应链方面，框架要求关注芯片、计算平台、软件框架、插件和第三方组件的安全问题，加强漏洞检测、完整性校验和供应链安全保障，防止漏洞和后门影响人工智能系统。

对于智能体，框架强调身份认证、权限管理、工具调用和记忆存储等环节的安全约束。智能体的自主能力越强，越需要明确其可以执行的任务和操作范围。对于可能造成严重损害的操作，应当设置人工审批机制，加强对工具调用和外部交互的安全约束。

对于具身智能等连接物理世界的应用，框架提出，应当针对具体作业场景开展安全评估，并设置故障自检、碰撞防护、紧急停止等安全机制，制定相应的安全操作规程。

人工智能安全能力建设需要持续进行。模型训练、更新和应用部署过程中，应开展安全测试和评估，及时发现问题并进行改进。对于重要版本和配置，要做好管理，并保留必要的回退能力。

*四、完善综合治理，建立动态安全管理机制*

在综合治理方面，框架从顶层设计、治理能力、沙箱监管、安全管理和国际合作等方面提出措施。

首先，要完善人工智能安全治理顶层设计。框架提出，推动完善人工智能安全法律法规，构建人工智能安全风险快速发现与应对体系，并促进重要行业规范应用。对于不同场景，应根据风险特点采取相应的治理措施，避免采用单一方式处理所有人工智能应用。

其次，要提升人工智能安全治理能力。框架强调发挥技术标准的引领作用，建设人工智能安全测评体系，加强研发和应用安全管理。通过标准、测试和评估等方式，提高安全要求的可操作性。

再次，要构建柔性、动态、可控的沙箱监管环境。框架提出，积极运用沙箱等风险可控的制度机制，为新技术和新应用提供容错纠错空间。这一安排与风险导向、敏捷治理的原则相一致，既关注风险防范，也为创新提供必要空间。

在安全管理方面，框架强调加强人工智能研发应用的全生命周期管理，推动人工智能生成合成内容可追溯管理，强化开源生态和供应链安全，并建立人工智能安全风险信息共享机制。通过跟踪安全漏洞、技术缺陷和安全事件，可以提高风险发现和应对能力。

框架提出完善人工智能驱动的网络安全防护体系。利用人工智能加速代码审计、漏洞挖掘与修复、攻击检测，推动网络安全从被动防御转向预测性主动防御。同时，要确保相关能力以安全、可控的方式应用。

在国际合作方面，框架提出支持联合国发挥主渠道作用，参与相关国际交流与治理对话，并发挥世界人工智能合作组织等开放性国际交流合作平台的作用。框架还提出推进多边机制下的人工智能合作，加强与“一带一路”国家和“全球南方”国家合作，增强发展中国家在人工智能全球治理中的代表性和发言权。

*五、覆盖研发、部署、运行和使用全过程*

《人工智能安全治理框架3.0》还专门提出人工智能安全指引，将安全要求落实到模型算法研发、应用建设部署、应用运行管理和访问使用四个环节。

在模型算法研发阶段，框架要求提升算法可靠性、可信度、透明度、容错性和隐私保护能力，确保训练环境安全，规范训练数据来源和质量管理，并开展持续安全验证与定期测试。对于智能体自主行为和工具调用等能力，应开展专项测评。对可能造成严重损害的操作，应设置人工审批机制。

在应用建设部署阶段，应评估应用人工智能技术的必要性及其长期和潜在影响，并结合应用场景重要性、智能化水平和应用规模进行风险分级。部署过程中还要加强供应链安全、访问控制、数据保护和知识库管理，防范漏洞、后门、提示词注入和知识库投毒等风险。对于具身智能、人形机器人等应用，应根据具体作业场景配置必要的安全机制。

在应用运行管理阶段，框架要求建立安全管理和监督机制，明确责任主体，健全人工复核机制，确保人工智能应用在授权和控制下运行。应用应具备运行监测、风险预警和应急处置能力，必要时能够切换到人工或传统系统。框架还要求做好生成合成内容标识和溯源管理，建立投诉反馈机制，记录运行日志，并定期开展审计。

保障使用者的合法权益。应用提供者应以使用者易于理解的方式，告知应用的适用范围、注意事项和使用禁忌。在人工智能决策产生重大影响时，应做好解释说明，并支持使用者行使知情权、选择权和监督权。对于涉及个人信息的数据，应建立全生命周期安全管理机制，防范数据泄露和违规使用。

在访问使用阶段，框架要求使用者提高人工智能安全风险意识，了解应用功能、限制和隐私政策，避免不必要地输入敏感信息。使用具备联网或记忆功能的智能体时，应审慎披露个人信息。对于儿童和青少年，应注意人工智能应用的影响，合理控制使用时长，预防沉迷、情感依赖和过度使用。对于人工智能生成内容和“深伪”内容，应保持警惕，不轻信、不传播未经核实的可疑信息。

结语

总体来看，《人工智能安全治理框架3.0》延续“风险分类、技术应对、综合治理”的思路，进一步梳理人工智能技术发展带来的安全风险，并提出相应的技术措施、治理措施和安全指引。框架既关注模型、算法、数据、算力设施和运行环境等方面的内生风险，也关注智能体、具身智能等应用带来的风险，以及人工智能对就业、教育、环境、文化和伦理等方面的影响。

人工智能安全治理需要技术手段与管理措施相结合，政府监管、行业自律和社会监督共同发挥作用。同时，应当坚持风险导向，根据不同应用场景和风险等级采取相应措施，并推动国际交流合作。

在支持人工智能创新发展的同时，有效防范和化解安全风险，推动形成安全、可靠、公平、透明的人工智能研发和应用生态，确保人工智能技术造福于人类。

文章参考来源｜全国网络安全标准化技术委员会、互联网公开信息

赛博研究院简介

上海赛博网络安全产业创新研究院（简称赛博研究院），是上海市级民办非企业机构，成立至今，赛博研究院秉持战略、管理和技术的综合服务模式、致力于成为面向数字经济时代的战略科技智库、服务数据要素市场的专业咨询机构和汇聚数智安全技术的协同创新平台。

赛博研究院立足上海服务全国，是包括上海市委网信办、上海市通管局、上海市经信委、上海市数据局等单位的专业支撑机构，同时承担上海人工智能产业安全专家委员会秘书长单位、上海“浦江护航”数据安全工作委员会秘书长单位、上海数据安全协同创新实验室发起单位等重要功能，并组织“浦江护航”数据安全上海论坛、世界人工智能大会安全高端对话等一系列重要专业会议。

欢迎联络咨询：

邮件：[email protected]；

电话：021-61432693。