公安三所副所长金波:从“生成”迈向“执行”,构建“4+1”人工智能安全技术栈

admin 2026-04-13 02:46:23 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 公安部第三研究所副所长金波在CSA峰会上指出,AI正从生成式模型向具备自主执行能力的智能体演进,带来系统性安全挑战。他提出‘4+1’技术栈架构:算力层确保底层环境安全,数据层实现分类分级与价值观对齐,模型层通过内生安全降低风险,智能体运营层采用沙箱执行和人在回路机制,合规层实现全局审计。该框架将AI安全与等保体系对齐,为创新提供安全保障。 综合评分: 85 文章分类: AI安全,技术标准,解决方案,安全建设,政策法规


cover_image

公安三所副所长金波:从“生成”迈向“执行”,构建“4+1” 人工智能安全技术栈

国际云安全联盟CSA

2026年4月7日 18:18 广东

在小说阅读器读本章

去阅读

2026年4月2日,第九届CSA大中华区大会·前沿人工智能安全峰会在上海前滩中心举行。本次峰会以“智·数·盾|构建韧性的数字未来”为主题,会上,公安部第三研究所副所长金波发表了题为《人工智能安全技术栈》的主题演讲,系统阐述了在AI从“生成”迈向“执行”的关键转折点上,如何构建前置、体系化的安全能力。

金波指出,A当前人工智能正经历一场范式级转变:从以对话为核心的生成式模型,演进为具备自主规划能力、可调用API、甚至能够直接操作终端与系统的智能体。这一变化标志着AI从“被动交互”走向“主动执行”。

金波强调当AI开始具备‘手和脚’,安全问题就不再只是内容层面的风险,而是系统性、结构性的挑战。这种转变使得传统围绕模型输出安全的治理思路难以覆盖新型风险,攻击面从文本内容扩展至指令链路、执行环境乃至系统权限。

他以实际案例说明,攻击者可通过构造恶意插件或隐蔽指令,将有害信息嵌入正常业务流程中,诱导智能体在执行过程中泄露敏感数据或触发异常操作。这类“代理权滥用”风险,成为AI时代新的安全核心。智能体就像一个拥有你家钥匙的保姆,如果她不能分辨谁才是真正的主人,或者她被外人的一句话误导,那么你家里的所有资产都处于危险之中。

为此,金波提出,防御重点必须从模型思维前移到“意图审计”,后移到“行为熔断”。他认为,人工智能安全治理与我国成熟的等级保护制度天然对齐。基于等保2.0“一个中心、三重防护”的框架,他提出了“4+1” 立体化技术栈架构,将AI安全能力划分为四大层级,并与等保体系实现对齐:

· 算力层:涵盖GPU、可信计算等,确保底层算力与运行环境安全,实现自主可控。 在智能体时代,算力不仅体现性能,更构成安全的第一道边界。通过国产软硬件协同的全栈等保实践,安全能力被嵌入到从计算资源到执行流程的每一个环节。尤其值得关注的是“硬件可信执行环境(TEE)”技术:在处理高敏感模型或数据时,可将推理过程限制在 CPU/GPU 内部的加密隔离区,即使操作系统被攻破,攻击者也无法访问或篡改内存中的明文模型权重。同时,借助算力网络的微隔离机制,可有效实现不同智能体实例之间的隔离运行,防止侧信道攻击带来的敏感信息泄露。

· 数据层:包括自动化的分类分级、脱敏等,对应等保的数据安全和个人信息保护。数据是人工智能的“血液”,其质量直接决定模型行为的底线。在这一层,不仅落实数据完整性与保密性的基础要求,更将价值观对齐前移至数据侧,通过数据清洗工具,在数据进入模型训练之前就把带有偏见、歧视、违反社会规则和公序良俗的数据直接过滤掉,净化模型的“血液”。

· 模型层:通过对抗样本、水印、模型完整性保护等,对应等保的安全计算环境和安全审计要求,强调“内生安全”理念,即模型本身具备稳健、可信的行为特征,从源头降低异常输出与风险行为的概率。在此基础上,引入“智能与约束解耦”的设计思路:主模型专注于认知与执行能力的提升,而将合规策略与实时安全约束交由外部轻量级安全机制(如安全护栏)动态控制,从而兼顾能力与安全。

·智能体运营层:包括防垄断、防供应链攻击、可信计算等,对应等保的区域边界安全和通信网络安全。如果将模型视为“大脑”,则智能体的工具调用能力就是其“手与脚”。为避免“只会决策、不受约束”的风险,该层重点引入“沙箱执行”机制:例如在 OpenClaw 等实践中,为每个任务提供独立、可销毁的执行环境,使智能体在隔离空间中运行,即使发生异常或被攻击,也不会影响核心业务系统。同时,对于涉及不可逆影响的高风险操作,必须引入“人在回路(Human-in-the-loop)”机制,保留人工最终决策权,确保系统始终处于可控状态。

最后,合规与测评层作为全局治理与反馈闭环,负责对各层行为进行统一审计、评估与合规校验,实现“人机协同”的最终校验

“我们不是要给技术套上枷锁,而是为创新系上一根安全绳。”金波表示,在金融、电信等高敏感场景中,即使极低概率的风险事件也不可接受,必须通过系统化设计将风险降至最低。

随着 6G、边缘计算、量子技术与 AI 的进一步融合,我们将面临更加复杂的应用场景。人工智能迈入“执行时代”,安全不再是附加选项,而是创新体系中不可或缺的基础能力。人工智能安全技术栈,不仅解决了当前大模型安全“只管嘴、不管手”的痛点,更是在行政合规层面打通了技术风控与法定标准的映射。

报名参加,开启学习

开课时间:2026年5月中旬(线上)

课程时长:18小时(周末 / 晚上)

普惠支持价:¥880 /人

扫码参与报名

本项目作为CSA行业人才赋能计划,以普惠形式开放,降低学习门槛,旨在帮助更多从业者加速增强AI+安全的能力和行动。

相关阅读


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:国际云安全联盟CSA 《公安三所副所长金波:从“生成”迈向“执行”,构建“4+1” 人工智能安全技术栈》

伊朗战争4月11日战况态势 网络安全文章

伊朗战争4月11日战况态势

文章总结: 文档报道2026年4月11日伊朗战争最新态势,美伊代表团在伊斯兰堡举行首次直接谈判,焦点为霍尔木兹海峡控制权僵局。美国宣称开始扫雷并建立新航道,伊朗
几个小程序挖掘渗透记录 网络安全文章

几个小程序挖掘渗透记录

文章总结: 本文记录了多个小程序渗透测试案例,重点披露支付逻辑漏洞(如低价购票、0元下单)、越权访问(收货地址泄露)及参数篡改等安全问题。关键发现包括未校验的订
评论:0   参与:  0