AI从“对话”到真正“上手干活”:如何守住Agent安全边界?"

admin 2026-11-04 00:11:39 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

AI从“对话”到真正“上手干活”:如何守住Agent安全边界?

走狗是狗哥
走狗是狗哥

安在

2026年11月3日 17:45
上海

去阅读

犹且记得,年初还在谈论概念的智能体,如今已经走进企业的办公终端、业务系统,开始替员工处理文件、调用接口、对接内部平台。

然而,效率提升的另一面,是挥之不去的安全焦虑:当AI从“回答问题”变成“执行操作”,一次误判就可能删掉重要文件,一次注入就可能带走敏感数据,传统的网络边界、权限体系,似乎正在被自主行动的Agent一点一点击穿。

10月30日,2026年腾讯全球数字生态大会期间,我们有幸与腾讯云安全总经理聂森、腾讯AI Agent安全负责人柯灵杰、腾讯云安全专家李滨三位专家,进行了一场关于AI Agent的深度探讨。

在这场深度交流里,一个核心脉络逐渐清晰:Agent安全从来不是“让模型更听话”的算法问题,而是一套从终端到云端、从权限到数据、从执行到审计的系统工程。指望模型靠自律守住安全底线,从一开始就走不通。

被打破的边界:

Agent时代的安全新命题

在过去的企业安全体系里,防护的逻辑很清晰:守住网络边界,管好账号权限,审计人的操作。

所有风险都围绕“人”和“确定性软件”展开:软件的功能是固定的,人的操作是可追溯的,攻击的入口是有限的。

但Agent出现之后,这套前提几乎同时失效了。

聂森用“攻强守弱”概括了当下的行业现状。大模型底座的能力以天为单位迭代,Agent能调用的工具、能触达的系统越来越多,但企业的传统安全基建带着沉重的历史包袱,很难同步跟上。

最本质的变化,是安全边界从“网络入口”收缩到了每一台终端的内部,现在员工电脑上的Agent本身,就可能成为风险的载体:

它能读写本地文件,能执行系统命令,能访问内网系统,甚至能带着员工的权限自主完成一整套操作。

柯灵杰把这个变化总结得更直白:AI时代,数据和指令已经失去了分隔线。

传统安全里,数据就是数据,指令就是指令,一段文本再危险,也很难自己变成可执行的操作。

但在Agent的世界里,一段藏在文档、网页、邮件里的文字,只要被模型读到,就可能被解析成指令,进而触发真实的操作。

这就是提示词注入最可怕的地方:它不需要利用系统漏洞,只需要“说服”模型,就能突破防线。

这也解释了为什么企业的安全建设会普遍落后于业务落地。

很多企业还在用管理传统软件的思路管Agent,只做接入鉴权、只看输出内容,却忽略了Agent在终端上的执行过程、权限使用和数据流转。

等到真正出现误删文件、数据外泄的事件时,才发现既拦不住,也查不清。

行业里有一种声音,认为目前还没有爆发大规模的Agent安全事件,所以安全建设不用太着急。

但在三位专家看来,这种想法恰恰是最大的风险。

柯灵杰直言,Agent安全的需求“极其迫切”。风险没有大规模爆发,不代表风险不存在,只是目前Agent的应用深度还在逐步提升,攻击方的手法也在演进。等到真正出现波及面广的安全事件时再补短板,企业付出的代价会大得多。

更值得警惕的是,Agent的风险不是单点的,而是链式的。

一个看似普通的文件读取操作,搭配一个外发动作,就可能造成数据泄露;一段看似正常的代码拉取,搭配一个上传指令,就可能造成核心资产外流。

这种多阶段、组合式的风险,很像传统安全里的APT攻击,每一步单独看都合规,合在一起就是完整的攻击链路。传统的单点检测规则,很难识别这种风险。

不能靠“说服”的安全:

为什么模型自律走不通

采访中,有记者抛出一个很本质的问题:为什么Agent安全不能靠模型自己判断,非要在系统和操作层面做控制?

柯灵杰的回答带着一点哲学意味:你是可以被说服的吗?如果你可以被说服,那模型就可以被说服。

这句话点破了很多人对AI安全的误解。

人们总以为,只要给模型加足够多的安全规则、做足够多的对齐训练,就能让模型拒绝所有危险请求。

但现实是,模型的判断永远存在被绕过的可能:多轮对话诱导、字符变形、编码绕过、上下文注入,攻击方总能找到新的话术,让模型“同意”执行高危操作。

就像人类社会发展了几千年,依然需要法律、制度、监管来约束人的行为,而不能指望每个人都靠道德自律。

这也是WorkBuddy整套安全体系最核心的设计原则:安全控制必须放在“模型输出之后、实际执行之前”,由系统机制强制生效,不依赖模型自身的判断。无论模型被什么话说服,只要操作越界,在执行层面就会被拦下来。

这套逻辑说起来简单,做起来却要穿透整个技术栈。

在模型层面,WorkBuddy依然做了三道防线:

系统提示内置安全策略,从源头给模型划清行为边界;

快速过滤层做精确匹配,毫秒级拦截已知的越狱和注入套路;

最后接入腾讯天御、信安的专业内容审核体系,做多模态的深度检测,甚至能把变形字符、编码内容归一化之后再审核,输出侧还用流式实时审核,生成过程中发现问题就立刻停止。

但所有这些内容层面的防护,都只是第一道关卡。真正的兜底,在执行层。

比如rm-rf、sudo这类高危命令,不管模型觉得合不合理,系统层默认前置询问,用户不确认就不能执行;

SSH密钥、云平台凭据等8类敏感路径,内置106条预设规则,读取就触发校验;

企业下发的安全策略是客户端底线,员工只能叠加更严格的配置,手动修改本地文件会触发重新拉取策略,根本绕不过去。

李滨补充说,很多人对沙箱的理解停留在“规则限制”,但沙箱更重要的价值是“隔离”。

它相当于给Agent套了一个盒子,所有文件读写、命令执行都在盒子里发生,工作目录以外的文件默认不可写,网络访问不能绕过代理,关键行为全部写入结构化审计日志。哪怕模型完全被攻击者控制,它的破坏力也被锁在沙箱边界之内。

这种“不相信模型、只相信系统”的思路,恰恰是Agent安全从“纸面合规”走向“真实有效”的关键。

很多同类产品把安全重心放在模型侧的内容过滤,却在执行层几乎不设防,一旦遇到进阶的注入攻击,防线就会形同虚设。

端云一体的防线:

把风险关进可控的盒子

既然执行层才是安全的核心,那一套完整的Agent防护体系应该怎么建?柯灵杰给出的答案是“端、云、网全方位布防”,少了任何一块,AI都能找到突破点。

在WorkBuddy的架构里,防护是沿着Agent的完整工作链路铺开的。

端侧是第一道防线,由科恩实验室主导的终端沙箱负责管住本地操作。

这套沙箱不是后来加进去的补丁,而是从产品设计之初就内嵌的底座。它针对Windows、Mac、Linux不同系统采用原生隔离机制,兼顾安全性和性能,沙箱里还内置了完整的工具链,保证AI产物在不同终端上都能跑出一致结果。

针对用户最担心的文件误删问题,沙箱做了多层兜底:

1、删除操作默认移入系统回收站,而不是直接永久删除;

2、每一轮修改文件前都会自动备份,而不是只在任务开始时备份一次;

3、一次删除或修改的文件数量超过阈值,任务会自动暂停等待用户确认;

4、如果真的出现问题,一轮任务产生的全部文件改动还可以整体回滚。

聂森坦言,在文件防删除这个方向上,WorkBuddy的实践深度在所有桌面Agent产品里处于前列。

云侧则是第二道防线,由云鼎实验室提供的AI安全网关负责管住数据进出。

所有进出WorkBuddy的数据,不管是模型侧的请求,还是用户的票据、隐私数据,都要经过网关的审计、拦截和风险分析。

比如企业配置了“合同不能外发”的策略,无论是用户直接发文件,还是通过模型间接带出内容,网关都能识别并拦截。

高风险的直接阻断,需要确认的就弹出窗口让用户二次确认,所有操作全流程留痕,事后可以追溯。

这种端云协同的设计,解决了两类最常见的风险:端侧管住“做什么”,防止Agent在本地乱改、乱删、乱执行;云侧管住“传什么”,防止敏感数据通过对话、工具调用流出企业边界。两者加起来,就构成了Agent运行全链路的防护闭环。

针对云端部署的ManagedAgents,这套逻辑同样成立。

云端沙箱做租户与容器级强隔离,内核加固,凭据不留在沙箱里;入站调用由AI安全网关做身份鉴权,出站调用MCP和自定义模型时也由网关代理防护,同时留存完整的访问与安全日志。

无论是桌面端的个人助手,还是云端的数字员工,安全的底层逻辑是一致的:先划边界,再做隔离,最后兜底恢复。

权限重构:

当AI继承了你的工位

企业落地Agent时最纠结的问题,莫过于安全和效率的平衡。

想让Agent多干活,就得给它足够的权限;权限给大了,又担心出问题。这个矛盾怎么解?

柯灵杰把这个问题拆成了两个维度。

第一个维度是安全手段会不会拖慢效率。他给出的答案很明确:WorkBuddy和iOA的整套安全审查,风险拦截都是几十到几百毫秒级,几乎不会影响Agent的运行速度;风险分析放在后台异步跑,不阻塞正常流程。也就是说,安全防护本身的性能损耗,用户几乎感知不到。

真正影响效率的,是第二个维度:权限管控限制了Agent的能力,导致很多事做不了。这是所有企业都会遇到的现实问题:

过去权限是赋予人、赋予岗位的,员工把自己的权限“借”给Agent之后,Agent相当于继承了这个岗位的全部权限,还会不断转授,很容易造成权限泛滥。如果企业为了安全一刀切收紧权限,Agent就会变得“不好用”,失去了提效的意义。

腾讯给出的解法,是重新定义人和Agent的身份边界,推出专门面向“人+AI”的NHI身份管理系统。

简单来说,就是不再让Agent直接复用员工的全部权限,而是根据具体任务,给Agent分配临时的、有限的子权限。

比如让Agent处理合同,就只给它读取和编辑合同目录的权限,不给外发权限;任务完成之后,权限立刻收回,同时对Agent做独立审计。

这种“一人多Agent、一任务一权限”的模式,本质上是把权限的粒度从“人”细化到了“任务”。

员工依然拥有自己的完整权限,但Agent能用到多少,由任务场景决定。这样既不会因为过度管控降低效率,也不会因为权限过大带来风险。

在企业侧,iOA还能做更底层的终端权限治理。

比如识别员工私自安装的未经审批的AI应用,也就是行业常说的“影子AI”;对终端做病毒和漏洞防护,避免Agent的运行环境被入侵后沦为攻击工具;结合设备合规状态、网络位置控制WorkBuddy的访问权限,甚至可以禁止个人版在内网登录,确保企业数据只在企业环境里流转。

很多企业容易陷入一个误区:觉得买了Agent产品,安全就全由厂商负责。

数据底线:

从“不用于训练”到“可用不可见”

采访现场,有记者带来了普通用户最朴素的疑问:财务人员怕公司数据被拿去训练模型,作家怕原创稿件被平台使用,所以不敢深度使用Agent,只能浅尝辄止。这个问题不解决,用户永远不会真正信任AI。

柯灵杰给出了非常明确的答复:WorkBuddy企业版不会用企业的数据训练模型;个人版也可以手动关闭数据收集选项。

如果企业还有疑虑,可以选择AICC机密计算能力:模型部署在硬件加密的服务器里,只和客户端双向通信,不跟任何其他服务器交互,对话数据除了客户端之外,任何第三方都获取不到。

对合规要求更高的企业,还有私有化部署版本,所有数据流转全部在企业内部完成。

这只是数据安全的第一层:划清使用边界。更深一层的防护,是让敏感信息根本不进入模型上下文。

WorkBuddy的DLP体系在三个入口做本地识别:对话输入框、工具返回结果、沙箱数据出口。识别手段有五种:关键词、正则、有效性校验、BPE拼接还原、熵值检测,连被换行拆开的密钥、高熵随机Token都能识别出来。

识别之后有三种处置策略:

1、低风险的允许放行;

2、业务必须用的敏感信息,加密之后以占位符形式进入上下文,到真正调用工具时再在本地解密,全程模型和服务端都看不到明文;

3、高风险的直接拒绝阻断。以APIKey为例,用户输入的是真实密钥,但进入Agent上下文的只是占位标识,模型用占位符做规划,实际调用时才在本地解密使用,服务端自始至终都拿不到真实凭据。

对数据可见性要求最高的场景,TC-AICC可信计算技术可以做到“可用不可见”。

推理过程在经过远程证明的可信执行环境里运行,数据从客户端发出就全程加密,只有到了可信环境内部才解密计算,计算完成后结果再加密回传,云服务商和运维人员都看不到明文。

密钥体系支持国密、RSA和客户自带密钥,每次请求派生独立数据密钥,还能抵御“先窃取、后解密”的长期威胁。

柯灵杰特别提到,腾讯的原则是“宁可不使用,也不滥用”。哪怕是用户主动开启了数据收集,像微信、企业微信聊天记录这类明确的敏感数据,也会被严格打标,绝对不会进入训练集。

数据安全这件事,不能靠用户自觉,必须由产品从底层机制上兜住底。

生态与溯源:

当风险变成组合式攻击

随着Agent生态越来越开放,第三方Skill、MCP连接器、自定义模型大量接入,新的风险也随之而来。

单个能力可能没问题,但多个能力组合起来,就可能产生新的风险。这是Agent安全进入深水区之后,必须面对的挑战。

柯灵杰举了一个很简单的例子:拉取代码本身是常见操作,上传文件也很常见,但把代码拉下来再上传到第三方,就变成了敏感操作。

这种组合式风险,靠单点规则很难发现,必须把整条链路的行为串起来分析。

聂森认为,这和传统安全里的APT攻击逻辑是一样的。攻击者分多步走,每一步都看起来正常,低速隐蔽,最终完成完整攻击。

应对这类风险,核心是要有足够全的输入数据。如果只能看到一个片段,自然拼不出全貌。

WorkBuddy和iOA的做法,是把Agent的完整运行轨迹,和操作系统层面的文件、进程、网络日志结合起来,靠EDR的异步检测逻辑做全链路分析。只要能看到完整的事件序列,就能识别出多阶段的攻击行为。

对第三方Skill本身,腾讯也建立了全生命周期的检测机制。

上架前要过静态检测和动态沙箱测试,静态做代码解析、规则匹配、威胁情报关联,动态就在沙箱里实际运行,捕获网络、文件等各类行为,覆盖恶意代码、数据安全、提示词安全等6大类19种风险。

上架之后还要持续做动态监测,一旦发现问题立刻下架。过去三个月,这套机制已经拦截了超过300个问题技能与专家上架。

至于多智能体协同的安全,柯灵杰也做了清晰的划分。

WorkBuddy内部的智能体之间协作,因为都在沙箱体系内,风险不会高于单个Agent。但如果是和外部不受管控的Agent协作,WorkBuddy只能为自己的智能体负责,管不了对方的行为。

这种情况下,企业就需要iOA这类全终端、全Agent的管控方案,从端、网、云三层做全覆盖防护,而不是只靠单个产品自身的安全能力。

很多人期待行业能出现统一的Agent安全协议,但现实是,目前市面上并不存在真正意义上的安全协议。大家常说的A2A只是通信协议,只规定了怎么对话,不规定怎么执行安全规则。

你通过协议告诉对方不要做高危操作,对方听不听、怎么理解“高危”,都是不确定的。安全协议或许是未来的方向,但至少在现阶段,企业不能把希望寄托在这上面。

落地之道:

企业Agent安全的第一步

采访的最后,绕不开一个最实际的问题:企业想做Agent安全建设,最先应该补齐什么能力?

聂森的回答很务实:安全体系不是一蹴而就的,它在持续演进,但传统安全多年沉淀的“事前、事中、事后”框架依然有效。

企业不用追求一步到位,先把基础的管控、治理、运行时防护、沙箱隔离搭起来,再随着业务深入逐步迭代。

具体到落地路径,其实可以沿着用户最关心的四类问题逐步推进。

首先解决“失控”的问题,先把沙箱用起来,划定Agent的可操作范围,高危操作做前置拦截,外部技能做准入校验;

然后解决“误删”的问题,开启自动备份和回收站机制,把可恢复做成默认能力;

再补上“追溯”能力,把审计日志接起来,确保出了问题能查清楚;

最后深化“数据防护”,做数据分级,配置敏感信息保护策略,高敏感场景上机密计算或者私有化部署。

李滨补充说,企业上线初期一定要收紧默认策略,而不是先放开再收紧。很多企业为了推广使用,先把权限开得很大,等出了问题再往回收,员工的使用习惯已经养成,阻力会大很多。

正确的做法是,先划清楚底线,再根据业务需求逐步放开权限,这样安全基线才不会失守。

日常运营层面,有几件事值得企业持续做。

一是用量巡检,异常的用量激增往往是账号被盗、脚本滥用或者Agent死循环的第一信号;

二是策略复核,定期清理临时放宽、长期未收回的权限;

三是员工培训,告诉大家不要把密钥、机密资料直接贴进对话,高危确认要认真看,AI产出对外使用前要人工复核;

四是应急预案,把恶意技能扩散、凭据泄露、Agent越权操作纳入安全事件演练,明确一键终止、凭据轮换、技能下架的流程。

从行业整体来看,Agent安全还处在快速发展的阶段。海内外的安全厂商都在快速推出一体化的Agent安全产品,整个生态都在摸索最优解。

腾讯的优势在于,既有WorkBuddy这样大规模落地的Agent产品,能接触到最新、最真实的威胁场景,又有二十多年积累的终端安全、沙箱、威胁情报能力,可以快速把实战经验转化成产品能力。

这种“场景打磨技术,技术支撑场景”的循环,让安全能力能跟着Agent业务一起快速迭代。

结语

当AI从“能对话”走向“能干活”,安全就不再是产品的附加项,而是这项技术能否进入企业核心业务的前置条件。

很多人谈论Agent安全时,总在纠结模型够不够聪明、对齐够不够充分,但这场采访传递出的信号很明确:

真正可靠的安全,从来不是靠说服模型实现的。它需要下沉到系统底层,贯穿数据、权限、执行、审计的每一个环节,用硬性的机制、隔离的环境、完整的追溯,给企业托住底线。

WorkBuddy这套“执行前拦截、全链路覆盖、默认即安全”的体系,本质上就是在找一个平衡点:让Agent能放开手脚干活,但又始终在可控的边界里。

Agent的浪潮才刚刚开始,安全的攻防博弈也会一直持续。但至少现在,我们已经找到了正确的方向:不迷信模型的自律,只相信系统的边界。

本次生态大会正式发布了《WorkBuddy企业版-安全白皮书》,扫描下方二维码:即可获取完整版白皮书。

**END

点击这里阅读原文**

    北信源自研信源密信筑牢涉密单位即时通信保密防线" 网络安全文章

    北信源自研信源密信筑牢涉密单位即时通信保密防线"

    本文介绍北信源信源密信高安全即时通信系统,针对涉密单位人员使用互联网工具处理涉密信息导致泄密的高发问题,提出通过私有化部署国产大模型,在内网提供图文识别、公文起草等能力,实现数据不出安全域、操作全程留痕,并通过国家保密科技测评中心检测,从技术层面封堵泄密通道。
    第七届大数据体系高峰论坛圆满收官,渊亭科技荣获“优秀参展单位”" 网络安全文章

    第七届大数据体系高峰论坛圆满收官,渊亭科技荣获“优秀参展单位”"

    渊亭科技作为军事智能厂商连续五届亮相大数据体系高峰论坛,并荣获优秀参展单位称号。活动由国防科技大学等机构主办,现场展示了天网本体智能情报工厂、CMAS多智能体协同决策平台等多款核心产品,广泛适用于博弈对抗、装备体系构建、仿真模拟、情报分析等军事应用场景。公司表示将继续深耕认知决策智能领域,推动技术创新与行业应用融合。
    评论:0   参与:  0