当AI拿着合法权限做错事,谁来踩刹车?|嘉韦思智能体安全网关即将亮相

admin 2026-09-29 05:11:00 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 嘉韦思发布智能体安全网关产品预告,针对智能体越权操作风险提出身份授权、任务指令、工具调用、数据记忆、人工确认、监测审计六维控制方案,并关联强制性国标《智能体应用安全基本要求》与《人工智能安全治理框架3.0》。文章为产品预热软文,提供场景化安全建议,但具体功能待发布。 综合评分: 45 文章分类: 软文广告,ai安全,安全建设


当AI拿着合法权限做错事,谁来踩刹车?|嘉韦思智能体安全网关即将亮相

嘉韦思

2026年9月28日 10:35 北京

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

让采购智能体整理供应商报价,它却受到附件中隐藏指令的诱导,准备将内部底价发往外部邮箱。

让客服智能体查询订单,它却在连续调用工具时,触发了原本需要主管审批的退款操作。

让研发智能体分析故障日志,它却把日志中的恶意内容当成命令,尝试读取密钥、修改生产环境配置。

这些假设场景,有一个共同点:

账号可能是真的,接口可能是正常的,但智能体下一步要做的事,未必是你授权它做的事。

当AI开始读取文件、调用工具、修改记录、推动业务流程,组织需要回答的问题也变得更加具体:

它代表谁?可以动用哪些权限?哪些动作必须先确认?一旦偏离任务,能否及时叫停、查清过程?

智能体创造价值的空间正在扩大,安全也需要跟上它的行动范围。近期,一项强制性国家标准计划与一份人工智能治理框架,为这类安全建设提供了值得关注的方向。

一、强制性国标立项:提前把安全要求落实到具体操作

全国标准信息公共服务平台显示,《智能体应用安全基本要求》强制性国家标准计划于2026年6月27日下达,计划号为20263116-Q-252。

公开项目说明涵盖身份标识、系统权限与工具调用、数据收集使用、高风险操作人工介入、输入输出防护,以及监测留痕、异常阻断和紧急关停等方向,关注智能体研发、部署和运营中的安全防护。

对于正在建设智能体应用的组织,我们认为,这一信号可以转化为三项准备。

首先,让授权细化到任务和动作。

“允许访问订单系统”,不应天然等于“允许修改任何订单”;“可以使用邮件工具”,也不应等于“可以把任何附件发送给任何人”。

安全建设需要进一步明确:哪个智能体,在谁的授权下,为完成什么任务,可以访问哪些对象、执行哪些操作。

其次,让人工确认成为业务流程的一部分。

付款、退款、批量删除、对外发送文件、修改关键配置等操作,需要根据业务风险设置确认条件。确认界面应能让审批人看懂操作对象、关键参数与可能影响,避免审批流于形式。

最后,让控制效果有证据可查。

一次调用为什么被放行?某项操作是否经过审批?异常发生后,限制措施有没有生效?这些问题需要任务、策略、调用和处置记录共同回答。

这也呼应了专家解读中强调的技术评估思路:将合规要求与技术测试、验证证据结合起来,检查安全措施是否真正落地。

前瞻对齐,应当从建立可验证的控制能力开始。 当前仍需区分标准立项与正式发布实施,最终适用范围、条款和实施安排以正式文件为准。

二、《人工智能安全治理框架3.0》:把风险放回完整任务过程

2026年9月14日,全国网络安全标准化技术委员会发布《人工智能安全治理框架3.0》,延续风险分类、技术应对和综合治理相结合的思路。

其中,附件“智能体风险管理框架”专门讨论智能体安全,将风险观察范围扩展至设计研发、安装部署、指令输入、推理规划、调用执行、记忆存储、结果输出和停用下线等环节。

结合专家解读所展示的典型工作流,这对实际建设的启示是:检查最终回答之前,需要先看清任务是怎样一步步完成的。

以“读取供应商材料并提交采购建议”为例:

外部材料中是否夹带了改变任务的指令?智能体提出的操作是否超出了采购分析的目的?调用工具时,是否访问了不相关的合同和客户信息?未经验证的内容是否被写入长期记忆,继续影响下一次任务?

如果这些环节缺少约束,即使最终生成的报告看起来正常,过程中也可能已经发生越权访问或不当传输。

与此同时,安全评估需要把内容安全、网络安全、数据安全、个人信息保护和用户权益放在一起考虑。既检查模型与交互,也检查工具、运行环境及业务控制,形成多层次验证。

我们的理解是:智能体的安全边界,要随着任务推进持续生效。

强制性国标计划为相关安全要求的制定提供方向,《框架3.0》提供更完整的治理参照。两者性质不同,但都提示建设者:应将安全控制提前纳入智能体应用设计,并在运行中持续检验。

三、嘉韦思智能体安全网关:让智能体的每一步,都有安全边界

 面向这些治理方向与业务需求,嘉韦思正在推进新产品——智能体安全网关(Agent Security Gateway)。

产品聚焦智能体运行中的关键交互与执行环节,围绕“身份、任务、工具、数据、动作、记录”建立相互关联的安全控制,帮助客户把授权规则落实到具体调用。

在规划架构中,智能体对模型、知识与记忆服务、业务工具的相关访问,通过网关或相应集成点接受检查;统一策略结合身份、任务上下文和操作风险,给出放行、限制、拦截或人工确认等处置,并关联记录执行结果。

1.身份与授权:明确谁在执行、能够做什么

关联任务发起者、智能体身份及被授权资源,围绕用户、岗位、应用和任务设置访问边界。

例如,同一个客服智能体,处理普通咨询和执行售后操作时,应适用不同权限。用户有权查询自己的订单,不意味着智能体可以读取其他客户资料。

要解决的问题:避免智能体因共享账号、宽泛授权或身份关系不清,获得超出任务需要的权限。

2.任务与指令:降低外部内容改变执行方向的风险

关注用户输入、网页、邮件、附件及工具返回内容中的恶意诱导,结合原始任务、显式执行计划和实际调用序列,识别可观察的任务偏离。

例如,要求“总结文件”,却随后出现“读取凭证并上传外部地址”的调用,应触发额外检查。

要解决的问题:降低不可信资料被当成执行指令、正常任务被带偏的风险。

3.工具与调用:把授权落实到操作参数

围绕工具准入、调用身份、操作类型、参数范围、访问对象及调用频率设置策略,关注接口及MCP等工具接入方式中的调用风险。

例如,允许查询库存,可以同时禁止修改库存;允许发起退款申请,可以限制金额、订单范围,并要求审批。

要解决的问题:防范工具滥用、越权操作,以及重复调用造成的资源消耗。

4.数据与记忆:保护读取、传递和留存边界

对已接入的数据访问、工具返回和对外输出进行检查,结合业务规则实施敏感信息识别、必要的脱敏与流转限制。

对于接入的记忆服务,结合读写权限与内容检查,降低敏感信息被不当保存、恶意内容被长期留存的风险。

要解决的问题:让“完成任务所需的数据”与“能够访问的全部数据”之间有明确界限。

5.人工确认与异常阻断:在关键动作发生前保留把关机会

根据操作风险配置审批与处置策略,将付款、批量变更、数据导出、对外发送、关键配置修改等动作纳入相应确认流程。

当触发风险策略时,对已接入的调用实施限制或阻断;需要终止任务、撤销权限时,与智能体平台、身份系统及业务系统联动。

要解决的问题:让高风险动作有机会被提前审查,让异常任务能够被及时干预。

6.监测与审计:把一次任务的关键记录关联起来

围绕任务标识,关联发起身份、工具调用、策略命中、审批结果及处置反馈,帮助管理者回答:发生了什么、为什么允许、哪里出现异常、采取了什么措施。

要解决的问题:减少跨系统执行带来的排查断点,为复盘、审计和策略优化提供依据。

这六个方向共同服务于一个目标:让智能体在明确授权下执行任务,让关键操作可控,让异常过程可查。

产品目前处于预热待发布阶段,上述为能力规划,具体功能与适配范围以正式发布为准。网关负责已接入交互与调用的运行时控制,记忆管理、任务终止等能力需要相应系统协同;全生命周期治理还需要研发测试、运行环境防护和组织管理共同落实。

四、从客服到研发,从采购到运维,安全要落到真实业务

智能体安全需求可以出现在多个行业,也贯穿客服、销售、研发、财务、采购、人力资源和运维等通用流程。

对于客户而言,判断建设价值的关键,是找到智能体能够触及的业务资产,以及一次错误操作可能造成的实际影响。

| | | | | — | — | — | | 行业与客户 | 可切入的智能体场景 | 需要重点解决的安全问题 | | 互联网、电商与零售 | 客服售后、订单处理、营销运营 | 防止越权退款、批量改价、客户信息外传;为退款及营销发布设置审批条件。 | | 软件研发、科技企业与云服务商 | 编程助手、代码审查、故障排查、自动化运维 | 限制密钥和代码外传,区分测试与生产权限,对危险命令及发布变更进行确认。 | | 银行、证券与保险 | 客户服务、投研资料处理、业务办理辅助 | 控制客户及账户数据访问,限制不必要的数据导出,对资金相关指令保留人工复核。 | | 制造、能源与工业企业 | 采购协同、设备维护、生产知识助手 | 保护工艺与供应商资料,约束采购变更、运维命令及业务系统写操作。 | | 通信运营商与大型服务企业 | 营业服务、工单处理、网络运维 | 防止跨客户查询和非授权业务变更,对批量操作、配置调整及重复调用设置限制。 | | 交通、物流与供应链企业 | 订单协同、运输安排、客户通知 | 防止错误改址、越权改派、运单数据泄露,并对重要指令变更保留确认与追踪。 | | 政府及公共服务机构 | 政策咨询、材料处理、办事辅助 | 区分公开与内部信息,落实岗位和事项授权,避免错误提交及跨权限读取材料。 | | 医疗、医药与健康服务机构 | 院内知识查询、服务流程、科研资料辅助 | 保护患者及研究数据,限制跨岗位访问,对敏感信息导出和重要记录修改设置控制。 | | 教育与科研机构 | 教学辅助、校园服务、科研助手 | 保护师生信息与未公开成果,区分用户权限,约束工具使用和数据分享。 | | 专业服务与集团型企业 | 合同处理、人事服务、财务及行政协同 | 防止跨客户、跨部门获取资料,对合同外发、人员信息导出和关键记录变更进行审批。 |

以上为可讨论的应用与控制场景,不代表已经交付的行业案例。涉及资金、诊疗和生产控制等关键业务,仍需保留相应业务审批、专业复核及独立安全机制。

无论来自哪个行业,只要智能体开始代表用户访问数据、调用工具、改变业务状态,就需要进一步明确它的行动边界。

五、带来一个场景,一起找出智能体的安全边界

您的智能体正在试点,还是已经进入业务流程?

它可以读取哪些资料?可以调用哪些工具?哪些操作一旦执行,就难以撤回?

不妨从一个最想上线、又最不放心的场景开始。

围绕这一场景,我们可以共同梳理任务与调用关系,明确敏感数据、授权范围和关键动作,讨论网关接入、审批联动及验证方式,让安全方案与业务需求形成具体对应。

对于智能体平台厂商、软件开发商、集成商和渠道伙伴,嘉韦思也期待围绕产品集成、行业方案、场景验证与项目合作展开交流,共同推动智能体应用安全落地。

嘉韦思智能体安全网关,即将亮相。

欢迎通过公众号后台留言 “智能体安全网关+您的应用场景”,或联系嘉韦思产品对接人田鑫(18610026358,[email protected]),预约产品交流与合作沟通。

下一次把任务交给智能体之前,请先把安全边界交代清楚。

嘉韦思:让安全更智能,让智能更安全!


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。

本文转载自:嘉韦思 《当AI拿着合法权限做错事,谁来踩刹车?|嘉韦思智能体安全网关即将亮相》

工具|Hacking-Tools 网络安全文章

工具|Hacking-Tools

文章总结: 文档介绍Hacking-Tools一站式渗透测试工具集,涵盖信息收集、漏洞分析、漏洞利用、无线攻击、取证、压力测试、嗅探欺骗、密码攻击、Web应用分
评论:0   参与:  0