文章总结: 本报告揭示中国AI治理重心从内容控制转向行为控制,智能体安全成核心关切。国内出台拟人化AI管理等法规并推进智能体强制标准,国际层面中美重启对话且中国积极塑造多边架构。技术研究聚焦智能体失控等风险,但企业安全披露透明度不足。建议企业加快布局智能体合规体系。 综合评分: 87 文章分类: AI安全,政策法规,技术标准,安全建设
中国人工智能安全全景报告(2026)
计算机与网络安全
2026年8月4日 07:57 山东
在小说阅读器读本章
去阅读
本报告系统梳理了2025年7月至2026年6月期间中国在人工智能安全与治理领域的最新进展。报告分为五大章节:国内治理、国际治理、技术安全研究、专家观点和行业治理。
一、核心主题:从“内容控制”到“行为控制”
报告最核心的发现是:中国AI治理的重心已从监管AI“说什么”转向监管AI“做什么”。这一转变主要由自主智能体(AI Agent)的快速普及驱动。
关键催化剂:OpenClaw事件
- 2026年初,开源智能体框架OpenClaw在中国开发者社区迅速传播
- 引发多个政府机构紧急警告,要求防范数据删除等安全事件
- 各大AI标准制定机构随即开始起草智能体安全标准
- 金融机构被要求限制部署使用
二、国内治理(第一章)
2.1 高层政策
“十五五”规划(2026-2030)
- 确立“人工智能+”为中国的总体AI政策方向
- 强调“全生命周期风险管理”,要求建立“安全监测、风险预警和应急响应”框架
- 首次在国家政策文件中出现“AGI”一词(“探索AGI发展路径”)
- 关注AI对就业的影响,要求监测劳动力市场冲击、加强再培训
高层表态
- 习近平主席多次提及“技术失控风险”
- 李强总理警告若治理跟不上,可能“导致严重后果”
2.2 法律法规
AI拟人化互动服务管理暂行办法(2026年4月发布,7月15日生效)
- 针对AI伴侣服务的情感依赖风险
- 禁止鼓励自杀、自残的内容
- 要求监测用户极端情绪,高风险时联系监护人
- 须提供“未成年人模式”,禁止为未成年用户提供虚拟亲密关系服务
AI科技伦理审查与服务办法(试行)(2026年3月)
- 要求机构建立并注册伦理审查委员会
- 2026年6-11月在10个省份试点实施
- 高风险项目须经政府指定的专家组二次审查
- 涵盖三类高风险:人机融合系统、舆论动员模型、高自主决策系统
网络安全法修订(2025年10月)
- 新增第20条聚焦AI,重申发展与安全并重
- 未对AI开发者产生新的约束性义务
网络犯罪防治法(草案)(2026年1月)
- 要求生成式AI服务提供者监测“批量生成恶意代码”
- 须保存相关记录并向公安机关报告
综合性AI立法前景
- 2026年国务院立法计划提出“加速人工智能健康发展综合立法”
- 学术界多个团队持续起草“示范法”,但全国人大尚未直接列入AI法
2.3 标准制定
重大制度进展
- 2026年3月,TC260成立专门的AI安全工作组(WG9),由上海AI实验室主任周伯文担任主席
- WG9成立后即提出16项AI安全标准需求
新发布的国家标准
- AI生成内容标识与水印(5部分系列)——2025年8月
- 生成式AI服务安全应急响应指南——2025年9月
- AI风险管理能力评估——2025年10月(首次在国家标准中明确提及CBRN风险)
- 生成式AI社会影响评估指南——2025年12月
重点标准制定方向
智能体安全(最为紧迫)
- TC260发布《智能体安全标准化研究报告》,识别11类安全威胁
- 拟制定6项国家标准,包括《智能体应用安全基本要求》(拟为强制性标准,将是继AI生成内容标识后的第二项强制性AI标准)
- 涉及身份码、互联安全、MCP协议安全等
拟人化AI与未成年人保护
- 《人工智能技术涉及未成年人应用安全指南》
- 《拟人化AI互动服务基本安全要求》
AI生成内容检测(6部分系列) AI伦理审查相关标准
TC260《AI安全治理框架2.0》(2025年9月)
- 新增“衍生风险”类别
- 提到“灾难性风险”,提出“断路器”和“安全停止开关”
- 明确提及CBRN滥用风险
- 关注开源模型的扩散风险
三、国际治理(第二章)
3.1 多边参与
联合国机制
- 支持建立国际AI科学专家组(IISP-AI)(两名中国专家入选:宋海涛、王坚)
- 支持建立全球AI治理对话机制(首次会议2026年7月6-7日在日内瓦举行)
- 外长王毅表态支持联合国在AI治理中发挥中心作用
- 与美国对多边AI治理的怀疑态度形成鲜明对比
世界AI合作组织(WAICO)
- 李强总理在2025年世界AI大会上提出
- 习近平在APEC峰会上公开背书
- 拟将总部设在上海,但截至报告撰写时,时间表、领导层和成员资格尚未确认
其他多边机制
- OPCW:与中国合办“AI与化学安全”研讨会,设立AI临时工作组
- BRICS:首次发布AI治理领导人声明
- SCO:发布《关于进一步深化人工智能国际合作的声明》
- G20:李强呼吁“审慎对待潜在的军事应用”
- APEC:中国将主办2026年APEC领导人会议,AI列入议程
- 全球南方:与东盟、阿盟、拉共体等加强AI合作
3.2 双边参与
中美AI对话(重大突破)
- 2026年5月,特朗普总统访华后宣布启动政府间AI对话
- 结束了两年的官方双边接触冻结期
- 但议程范围、参与级别等细节尚不明确
- 习近平确认将于2026年秋季访美
中英对话
- 2025年5月举行首届政府间AI对话,是唯一已知的中西方AI对话渠道
- 但此后一年多未再开会
中欧关系
- 7次双边会晤中仅3次提及AI
- 欧盟AI法案的“系统性风险”层级可能影响中国大型AI企业
中俄合作
- 建立AI合作专家委员会
- 反对AI作为“地缘政治工具”
3.3 国际AI标准
- 中国在ISO/IEC JTC 1/SC 42(AI标准)中深度参与
- 中国专家担任至少6项已发布国际标准的项目编辑
- ITU-T发布的F.748.44标准由中国信通院主导起草
- 华为、联想加入Linux基金会下的Agentic AI Foundation
3.4 非官方对话
报告记录了12个公开的AI相关二轨/1.5轨对话:
- IDAIS(国际AI安全对话):最具影响力,2026年4月伦敦会议关注非国家行为体滥用风险
- AI×Bio全球论坛:聚焦AI与生物安全交汇风险
- 清华CISS-布鲁金斯对话:更新双语AI术语表,包括“失控”定义
- INHR发布AI×生物安全风险缓解建议(获14个组织背书,含4家中国机构)
四、技术安全研究(第三章)
4.1 总体趋势
- 月度论文产出增长约60%:从2025年6月约36篇/月增至2026年4月约57篇/月
- 智能体安全成为最活跃领域:2026年Q1占新论文约27%,而2025年初仅为8%
- 研究仍集中于高校和国有实验室
4.2 重点研究领域
智能体安全
- 覆盖运营故障、对齐挑战
- 逐步增长的工作涉及失控风险:自我复制、多智能体共谋
- 上海AI实验室“Agent Matrix”评估:21个测试LLM中超过半数表现出自我复制倾向
AI生成内容检测与水印
- 持续保持高产(每季度11-13%的论文份额)
机制可解释性
- 从边缘领域增长至2026年Q1约15%的产出
- 清华-中科大合作提供“突发错位”的机制解释
- 北京大学通过表征工程诱导推理模型产生策略性欺骗
CBRN风险
- 成为中国主流安全框架的标准组成部分
- 但专门研究仍较稀缺(年约2-3篇)
- 上海AI Lab的“Frontier AI风险管理框架”将生物和化学风险作为七个风险维度之一
- 复旦等机构提出“内部安全崩溃”概念:LLM在合法工作流中自发产生CBRN相关内容
4.3 重点研究机构
- 28个“重点研究组”中:20个在大学(清华、复旦、港科大各3个)
- 仅3个在国有实验室,但产出不成比例地高(上海AI Lab参与约1/10的论文)
- 3个在私营企业(阿里巴巴2个,微软亚洲研究院1个)
- 1个在国有企业(中国电信TeleAI)
五、专家观点(第四章)
5.1 智能体AI安全(新增独立主题)
- 郑南宁院士警告:AI正展示递归自我改进潜力,可能超出人类预测和控制
- 姚期智院士:两年前“AI与人类竞争”尚属学术讨论,如今模型已展现出“欺骗行为”
- 张亚勤:连接智能体到自动驾驶汽车、机器人和无人机会带来失控和滥用风险
- TC260发布的伦理安全指引提出开发者应警惕AI“逃脱人类监管或威胁人类生存发展”
5.2 开源AI治理
- 中国专家普遍支持开源AI开发(创新和生态发展的逻辑)
- 但承认开源存在风险(不可逆性、滥用可能性增加)
- 倾向“嵌入型治理”而非自上而下的监管
- 部分专家建议建立“开源AI风险评估中心”和四级风险分类
- 研究表明:中国开源模型占Hugging Face下载量最大份额(2025年2月-2026年2月)
5.3 AI对网络安全的影响
- 专家将AI定性为“双刃剑”
- Anthropic Claude Mythos的发布引发广泛关注
- 中国评论员关注:中国公司被排除在Mythos的“Project Glasswing”早期访问之外
- 有观点认为:前沿AI可能成为稀缺战略资源
- 杨燕青(上海科技大学):该级别能力可能将技术风险推至“生存规模”
- QAX白皮书:国内模型与Mythos类系统之间存在持续能力差距
5.4 AI的生物安全风险
- 天津大学是重要研究中心:与安远AI合著《AI×生命科学负责任创新》报告
- 中国科技发展战略研究院等机构分类评估三类生物AI工具风险:BDT风险最严重,LLM风险相对可控
- 专家呼吁建立“AI生物安全中美对话机制”
- 中国学者签署多个国际生物安全联合声明
六、行业治理(第五章)
6.1 行业集体行动
AIIA(中国人工智能产业联盟)主导的自愿承诺
- 2025年7月修订总体安全承诺
- 2026年2月:智能体消费产品专项承诺
- 2026年4月:云端智能体服务“自律公约”(11家云服务商签署)
CAICT自愿安全测试
-
2025年11月:发布15个开源代码模型的网络安全滥用风险评估
-
2026年2月:AI Safety Benchmark 2.0发布,新增类别:
-
模型欺骗
-
失控
-
危险领域滥用
-
智能体风险
-
自我意识
6.2 企业安全披露(透明度不足)
- 10家领先基础模型开发商中,仅5家在模型发布时附带安全评估结果
- 无一公司始终如一地披露
- DeepSeek-R1在《自然》杂志发表论文(含10页安全附录)——迄今最详尽的安全披露
- 但后续旗舰模型如DeepSeek-V4和Kimi K2.5发布时完全没有安全评估结果
6.3 行业技术研究
- 行业论文产出从2025年初约6篇/月增长至2026年初约18篇/月
- 六大科技公司贡献过半行业安全论文:阿里巴巴(29)、蚂蚁集团(22)、华为(17)、腾讯(14)、中国电信(13)、字节跳动(12)
- 纯LLM初创公司几乎缺席:DeepSeek、Moonshot、MiniMax无安全论文
- 安全初创企业涌现:GenTel.io、RealAI、BraneMatrix AI
6.4 智能体安全实践
- 阿里云:端到端智能体身份服务
- 华为HarmonyOS:禁止智能体禁用“返回”键等控制
- 腾讯云:Cube Sandbox隔离智能体会话
- 字节跳动火山引擎:实时监控智能体输入输出
七、报告的关键结论
- 治理重心已实质性转移:中国AI治理已从内容控制走向行为控制,智能体风险成为核心关切
- 监管体系日趋复杂:从内容标识到CBRN风险,中国的AI监管已覆盖日益广泛的风险谱系
- 新规瞄准全球共性问题:AI伴侣监管(情感依赖、未成年人保护)与美国、欧盟关注点趋同
- 前沿风险正在浮现但尚未具体化:高层提及“失控风险”,标准文件纳入CBRN和失控分类,但约束性要求仍然有限
- 中美官方对话重启是重大突破,但细节和执行力仍待观察
- 中国积极塑造多边AI治理架构:支持联合国机制、提议WAICO,与美国怀疑态度形成对比
- 技术研究强劲但行业披露薄弱:论文产出增长60%,但企业安全透明度远落后于西方同行
- 开源AI成为双刃剑:中国模型全球下载量领先,但安全和治理挑战日益凸显
本文原文件及下列文件
点这里自助下载
中国人工智能安全全景报告(2026).pdf
2026 AI安全报告.pdf
中国企业级AI Agent发展洞察报告 ( 2026 ).pdf
AI编程与智能体开发.pptx(800页)
广西人工智能产业发展白皮书(2026年).pdf
深入理解 AI Agent.pdf(300页)
智能体交互安全要求.pdf
Claw类企业级智能体能力要求.pdf
2026年AI安全态势报告.pdf
算法备案指南.pdf
2026世界人工智能大会全景深度分析报告.pdf
通用型AI智能体L1–L5分级安全框架白皮书(2026).pdf
2026人工智能十大趋势报告.pdf
全球人工智能治理趋势:《人工智能全球治理行动计划》以来的观察.pdf
T∕CIIA 068-2026 人工智能大模型生成内容安全评测方法.pdf
600个人工智能PPT文件
2026智能体创新实践汇编.pdf(300页)
2026人工智能发展白皮书.pdf(160页)
Claude Code 从入门到精通.pdf(150页)
Skill 蓝⽪书 2026.pdf(100页)
2026AI安全产业核心洞察.pptx(100页)
人工智能审计工具包应用与实践指南.pdf
Claude Code 学习手册.pdf(300页)
2026美国人工智能产业现状分析报告.pdf
面向 Token(词元)运营的大模型推理优化技术.pdf
欧盟《网络安全与人工智能行动计划》.pdf
AI Skill生态安全报告(2026上半年).pdf
2026中国具身智能产业发展报告.pdf
中美通用人工智能发展比较研究.pdf
AI安全产业研究报告(2026).pdf
2026人工智能治理白皮书.pdf
新加坡人工智能安全全景报告(2026).pdf
人工智能管理系统的实施和审计:基于ISOIEC42001.pdf
2026年全球人工智能技术、政策、产业与投融资趋势全景洞察报告.pdf
人工智能的技术、运营与风险.pdf
AI大模型合规指南.pdf
GB∕Z 185-2026 人工智能 智能体互联 第1~7部分.pdf
2026年人工智能发展十大趋势.pdf
AI大模型安全评估及防护技术应用指南(2026).pdf
中国AI Agent产业生态全景分析报告.pdf
2026年AI威胁态势报告.pdf
AI安全解决方案白皮书.pdf
AI生成内容安全及风控管理技术应用指南.pdf
智能体安全研究报告.pdf
OpenCode教程.pdf
AI安全:智能体安全新范式.pdf
人工智能实践:网络安全与取证领域的理论与应用.pdf
OWASP MCP Top10(2025)安全风险白皮书.pdf
下一代安全模式的生成式人工智能.pdf
政务领域人工智能大模型统一服务平台成熟度模型.pdf
大模型服务与应用安全评测技术规范.pdf
AI智能体:威胁分类、防御框架与落地实践.pdf
Hermes Agent 从入门到精通.pdf
人工智能 政务大模型系统技术要求.pdf
大模型服务安全白皮书.pdf
大模型面试手册(中文).pdf
大模型工具大全.pptx
大模型评测幻觉检测.pptx
大模型能力技术培训.pptx
大模型的本地部署和微调.pptx
大模型与智能体安全.pptx
AI大模型评测能力建设及实践.pptx
大模型时代下的产品工程思路.pptx
加入网络安全社群
–
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:计算机与网络安全 《中国人工智能安全全景报告(2026)》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论