专家观点|程学旗:新框架新变化人工智能安全治理体系进一步深化"

admin 2026-10-16 06:30:41 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

专家观点|程学旗:新框架新变化 人工智能安全治理体系进一步深化

信息安全研究

2026年9月30日 11:00
北京

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

点击蓝字 关注我们

文

程学旗  中国科学院计算技术研究所副所长、研究员

2026年9月14日,《人工智能安全治理框架3.0》(以下简称“《框架3.0》”)正式发布。《框架3.0》面向智能体、开源大模型、AI深度社会化应用带来的新型风险,延续“风险分类、技术应对、综合治理”的核心逻辑,梳理更新了风险分类,优化调整了技术应对和综合治理措施,为我国人工智能安全可控发展提供全新制度指引。

《框架3.0》较之前两版有三大变化:一是风险认知持续深化,风险刻画从宏观分类走向场景化,聚焦智能体、自主代理系统的链式传导风险,关注跨系统串联、开源供应链、认知域外溢与叠加放大;二是治理方式更加落地,针对不同能力等级基础模型、高风险智能体系统明确差异化技术管控手段,推动治理要求从原则导向转向技术落地;三是治理重心与时俱进,面向智能体提出独立的风险分类与治理框架,配套身份与权限管理、运行时监测、熔断处置等措施。

《框架3.0》着重阐述了沙箱监管技术,将沙箱从“测试工具”升级为“治理机制”,为人工智能创新提供了可操作、可退出、可问责的制度通道。欧盟于2021年4月发布的《人工智能法案》中提出人工智能监管沙盒,美国确立了AI沙盒治理的联邦统一框架和政策方向,但由于各国资源不均、规则松弛、责任豁免缺位等因素,沙箱落地严重滞后。相比之下,《框架3.0》强调“柔性、动态、可控”,并配套责任豁免制度,在制度完整性与落地性上更具优势。同时,国内科研机构为配套沙箱监管需求,研制了人工智能安全评估试验场,支撑模型从开发到运维全链条测评,把框架中的治理原则转化为可测试、可核验的技术指标,打通政策框架到工程实践的“最后一公里”。

《框架3.0》系统梳理了智能体安全风险与应对措施,将治理重心从“输出安全”扩展至“行动链安全”。《框架3.0》指出,智能体实现了从“回答问题”向“执行任务”的本质跨越,其高自主性、高权限带来隐私泄露、越权操作、行为失控等风险,治理对象必须从静态内容输出扩展至动态行动链条,治理手段必须从“结果审核”升级为“过程管控”。框架内容与国际前沿方向相呼应,如美国国家标准与技术研究院(NIST)下设的AI标准与创新中心宣布启动的“AI智能体标准倡议”、新加坡网络安全局(CSA)发布的《保护智能体AI:保护AI系统指南与配套指南的补充附录》,均强调构建完整的审计与追溯链条。《框架3.0》将智能体风险纳入治理视野并细化举措,有利于提升我国在国际人工智能治理领域的话语权。

总体来看,《框架3.0》标志着我国人工智能安全治理由体系搭建迈向精细化落地实施阶段。政策框架的落地离不开技术底座支撑,国家科研机构应持续围绕可信可管可控目标,完善理论范式、夯实技术底座,助力框架要求转化为产业实践,护航人工智能安全高质量发展。

(来源:中国网信杂志)


生产环境让AI自主攻击?安全团队必须守住的三条红线" 网络安全文章

生产环境让AI自主攻击?安全团队必须守住的三条红线"

文章指出传统渗透测试周期长、覆盖率低,难以应对快速变化的业务与攻击,提出AgenticPentesting通过自主推理与持续运行填补时间差。核心建议包括:建立覆盖矩阵证明测试范围、引入独立验证机制降低误报、采用浏览器原生Agent覆盖登录态业务逻辑、实施严格护栏防止越权操作,并将评估指标从漏洞数转向覆盖率与修复时效,以构建可审计、可控的持续安全能力。
CNNVD发布人工智能重要安全漏洞的通报;美国政府推出面向公众的政务 AI聊天机器人|牛览" 网络安全文章

CNNVD发布人工智能重要安全漏洞的通报;美国政府推出面向公众的政务 AI聊天机器人|牛览"

文档汇总2026年9月30日网络安全新闻,涵盖CNNVD通报OpenClaw人工智能漏洞、美国政府推出政务AI聊天机器人、AI深度伪造致意大利银行损失近亿欧元、MFT服务商Kiteworks预防性停机、RatHat恶意软件C2面板迭代及NVIDIA硬件级AI安全监控产品等事件,凸显AI安全、供应链风险与深度伪造威胁。
日本采购英国”天锤“反无人机巡飞弹事件详解" 网络安全文章

日本采购英国”天锤“反无人机巡飞弹事件详解"

英国剑桥航空航天公司计划与日本企业合作建立天锤反无人机巡飞弹本土生产线,再向日本防卫省提交采购方案。该弹采用涡轮喷气发动机和主动雷达末制导,射程超30公里,具备低成本、快速再装填特点,用于拦截低慢小目标。引入日本后可补充现有防空系统,缓解高价值导弹消耗压力,本土化生产将增强日本自卫队防空弹药持续保障能力。
评论:0   参与:  0