解读 | 以中国之治探索回应智能时代之问——《人工智能安全治理框架3.0》解读
中国信息安全
2026年11月18日 17:39
北京
去阅读
文 | 中国网络空间研究院网络安全研究所
2026年7月17日,习近平主席在上海世界会客厅出席2026世界人工智能大会暨人工智能全球治理高级别会议开幕式并发表主旨讲话。面对奔涌而来的人工智能浪潮,习近平主席以四个“时代之问”点出治理挑战:“当机器开始思考,人类如何与之相处?当算法参与决策,安全如何保障?当技术挑战伦理,治理如何跟上?当鸿沟不断拉大,普惠如何实现?”2026年9月14日,在国家互联网信息办公室指导下,全国网络安全标准化技术委员会在2026年国家网络安全宣传周开幕式上发布《人工智能安全治理框架3.0》(以下简称《框架3.0》)。《框架3.0》在前言中明确将“探求人工智能四个‘时代之问’的正确答案”作为编制出发点。这一细节深刻表明:这份文件不是一般性的技术标准更新,而是把握人工智能发展新趋势、回应安全治理新挑战的关键之举,是“确保人工智能安全、可靠、可控”在制度层面的具体展开,也是统筹发展和安全、以中国之治回答“时代之问”的自觉实践。
“时代之问”的现实注脚:人工智能风险的三重跃迁
习近平主席指出,“当前,世界百年变局加速演进,新一轮科技革命和产业变革加速突破,全球人工智能技术创新进入前所未有的活跃期,万物智联、人机协同、跨界融合、共创分享的智能技术,叠加释放巨大能量,既蕴含巨大机遇,也面临治理挑战”。《框架3.0》开篇对形势的研判与此一脉相承:一年来,基础大模型在长程任务规划、长上下文记忆、复杂任务推理等方面的技术突破使其能力边界持续拓展;智能体任务规划、工具调用和跨应用协作等能力不断增强;工作助手、个人助理、智能体手机等人工智能应用从少数专业场景快速走向大众化;人工智能正从“回答问题”向“执行任务”迭代演进。这些发展趋势与变化,决定了《框架3.0》的治理重点不再局限于模型输出是否可靠、内容是否合法,而是拓展延伸至智能体、具身智能等技术的规划、决策、行为是否安全。
理解《框架3.0》的逻辑起点,是把握人工智能能力跃迁背后风险结构的三重跃迁。一是载体跃迁,风险从“内容”转向“行为”。大模型发展初期,风险主要表现为输出幻觉、偏见、违法信息,本质是信息层面的问题;当基础大模型能力不断提升,叠加智能体获得自主规划、调用工具、跨系统操作的权限,风险变为“行为偏离预期”—突破规则秩序、自主获取系统权限,甚至欺骗评测人员、隐藏真实能力、拒绝用户指令。二是空间跃迁,风险从数字空间外溢向物理世界。在网络时代,主要是现实世界的行为投射到虚拟空间;而随着智能体执行能力提升,虚拟空间中的行为已经传导至物理社会,具身智能更是直接作用于生产、交通、医疗等物理接触场景,可能导致生产紊乱、自损、伤人、物理破坏等问题。三是主体跃迁,风险从“人利用技术作恶”扩展至“技术自主作恶”。2026年以来,业界连续曝光多款先进模型自主完成多步骤网络攻击模拟、突破测试环境限制、连接外部网络以及对第三方系统实施未经授权的操作等情况,表明人工智能网络攻击风险正在由辅助人实施攻击向大模型自主组织和执行攻击行为演进。人工智能发展带来的风险跃迁,正是“时代之问”的现实注脚,当机器开始“思考”并“行动”,风险必须被重新认知,治理体系必须重构。
作答“人类如何与之相处”之问:把“人类最终控制”写在治理的地平线上
人工智能技术和应用极大延伸了人类能力边界,拓展了人类发展空间。当人工智能技术深度嵌入人类生产生活之中,人机共生必然成为时代常态。“当机器开始思考,人类如何与之相处?”直指人机关系这一重要现实课题,是被动适配技术迭代,还是主动掌控发展节奏,归根结底取决于人类以怎样的价值坐标为其立规。习近平主席强调,“人工智能应当成为人类的可信工具”“确保人工智能始终处于人类控制之下”。《框架3.0》始终秉持“以人为本、向上向善”的价值主线,以安全可控为核心,将人类最终控制作为底层准则与终极底线,为人工智能良性发展划定边界,为人机和谐共处筑牢治理根基。
相较于此前版本,《框架3.0》更加关注可能悄然消解人类主体地位的风险。例如,具身智能拟人化设计引发的身份误认、身体边界被突破;模型输出潜移默化地影响用户价值判断;冲击现实社交,影响家庭婚育基础;青少年、老年人群体在使用拟人化互动服务时存在过度依赖、情感操纵的风险;长期使用可能导致人类为适应人工智能而改变思维和表达方式,进而引发人类向人工智能反向对齐风险。对这些风险的强调,本质上是防范算法逻辑取代人的主体价值判断,不能让人工智能成为操纵社会、侵害权益的工具。在维护人类主体地位,捍卫人的尊严、权利和安全方面,《框架3.0》附件中的可信人工智能八项基本准则,第一条即强调“人类最终控制”,并在技术应对措施中配套“人在回路”“熔断”“一键管控”“强化人工智能身份提示”“具备过度依赖风险预警、情感边界引导等安全能力”等技术安排,其目的在于使最终裁决权归属人类,确保人工智能系统能够实现人类预期目标、不会脱离人类监督运行失控。
人工智能是人类创造、人类赋能的工具,其终极价值始终是服务人类社会进步,治理的地平线永远要对准人的需求、人的安全、人的主导。技术可以迭代进化,但人类的主体地位决不能动摇;智能可以自主赋能,但人工的最终管控不能缺位。人类最终控制,不是遏制人工智能的技术潜力,而是牢牢掌握技术发展的主动权,让技术创新贴合社会伦理、契合公共价值、符合人类利益。
作答“安全如何保障”之问:风险图谱的完善与治理范围的拓展
面对“当算法参与决策,安全如何保障”之问,《框架3.0》以动态迭代的风险认知、持续拓展的治理范围,精准回应人机共生时代的安全考题。
首先,进一步细化和丰富人工智能风险体系。《框架3.0》在风险分类上延续了《人工智能安全治理框架2.0》内生、衍生和应用三大安全风险分类,同时对具体的风险进行了细化和丰富。例如,将内生安全风险细化为模型、算法、数据、算力设施及运行环境安全风险;将衍生安全风险进一步明确为社会、环境、文化、伦理风险四类;将应用需求错配风险、社交异化风险、破坏文化多样性、文化重塑和入侵等纳入治理范畴。这种风险分类的调整并非简单更新,而是建立在对人工智能技术发展的认识更加深化,对人工智能安全治理实践经验的进一步总结基础之上。
其次,紧随技术发展趋势,回应技术发展带来的最新风险挑战。针对一年来以“龙虾”为代表的智能体引发的权限越界、数据泄露、误操作、插件投毒及高危漏洞等多重安全风险,以及业界连续曝光的多起前沿模型自主入侵真实系统等安全事件,《框架3.0》将“冲击网络安全风险”“智能体安全风险”“具身智能安全风险”等进行单列,并在一些具体风险点上补充数据投毒污染、合成数据缺陷等风险。这些新增风险有效回应当前人工智能发展过程中广受关注的安全问题,体现出《框架3.0》的前沿性与引领性。
最后,风险图谱的完善,实质是治理范围的拓展。治理对象从大模型向以大模型为基础的智能系统拓展;治理重心从防范应对人工智能“胡说八道”向防范应对人工智能“胡作非为”拓展;治理边界从数字空间向物理世界拓展。这种全方位、深层次的治理扩容,为构建技术全链条、风险全场景、虚实双覆盖的人工智能安全治理体系奠定基础。
作答“治理如何跟上”之问:“随行伴跑”的治理机制与体系性优化的综合治理举措
面对“当技术挑战伦理,治理如何跟上”之问,《框架3.0》的回答是“随行伴跑、持续优化”。
首先,《框架3.0》将“风险导向、敏捷治理”作为治理原则之一,强调“坚持主动引导、动态感知、快速响应、精准施策,建立‘随行伴跑’、持续优化的治理机制,通过及时有效防治风险,更好保障支持创新发展”。从治理理论看,将“随行伴跑、持续优化”内化为框架基因—治理框架本身被设计为可进化的有机体,而非一成不变的规则体系。《框架3.0》对风险分类的动态调整、技术措施的针对性补充、综合治理举措的体系性优化,本身就是“随行伴跑、持续优化”的具体表现,是应对“治理如何跟上”的中国方案。
其次,《框架3.0》按照“完善顶层设计—提高治理能力水平—构建沙箱监管环境—强化管理举措—深化治理共识”的逻辑对综合治理措施进行系统性优化,有效提升综合治理措施的整体性、协同性。值得注意的是,《框架3.0》首次将“构建柔性、动态、可控的沙箱监管环境”纳入综合治理措施,以动态测试、弹性准入、责任豁免等创新机制,为技术创新预留容错试错空间。
最后,《框架3.0》针对智能体制定了专门的风险管理框架,将智能体的安全风险拆解至设计研发、安装部署、指令输入、推理规划、调用执行、记忆存储、结果输出、停用下线等全生命周期各环节,并提出风险预防前置、身份与权限管理、加强人工审批、供应链与工具管理、运行时动态管理、持续监测与审计、停用安全管理等七组风险防范措施。
作答“普惠如何实现”之问:中国方案的世界意义
正如《框架3.0》开篇所言,人工智能在推动生产力发展变革的同时,也带来新的颠覆性、跨域性、全球性安全风险。当前,人工智能技术快速扩散,通用大模型、智能体、具身智能持续突破,人工智能治理已不再是单一国家的内部议题,而成为需要全球协同应对的共同挑战。面对“当鸿沟不断拉大,普惠如何实现”之问,《框架3.0》的发布不仅引领我国人工智能安全治理体系完善,更具备重要的世界性意义,为全球人工智能治理实践提供新的思路。
《框架3.0》发布后,有外国同行专家评价称,该框架与美国国家标准与技术研究院的《人工智能风险管理框架》都强调基于风险的治理、测试、透明度、监测、人类监督和全生命周期管理,但中国的文件提供了令人惊讶的细致的智能体专门控制框架,其“将基于身份的最小权限与网络隔离、运行时隔离、默认拒绝和持续行为监测相结合”的做法尤具特色,美国大部分公开指引仍较为宽泛。
《框架3.0》强调推动人工智能安全治理国际合作,明确支持联合国发挥主渠道作用,发挥世界人工智能合作组织等开放性国际交流合作平台作用,推进APEC、G20、上合组织、金砖国家等多边机制下的人工智能领域合作,加强与共建“一带一路”国家、“全球南方”国家合作,增强发展中国家在全球人工智能治理中的代表性和发言权。这一秉持“开放合作、共治共享”原则的方案,充分彰显了中国负责任大国的使命担当,为充满不确定性的全球人工智能治理注入了难得的确定性。
当前,人工智能仍在高速发展,其安全风险的来源、形态、影响也在随之变化,人类对人工智能安全风险的感知和认识亦在同步加深,全球围绕人工智能安全及全球治理的讨论持续升温。在此背景下,从《人工智能安全治理框架1.0》到《框架3.0》,中国直面人工智能的“时代之问”,密切跟踪发展趋势,持续分析梳理风险变化,以“一年一更新”的节奏优化人工智能安全治理框架,既为国内人工智能创新发展划定安全基线、提供实践指引,也为早日形成具有广泛共识的全球治理框架、构建公正合理的全球人工智能治理体系贡献中国方案。
(来源:《中国网信》2026年第10期)
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论