AI员工上岗前,必须立好这些规矩

admin 2026-11-17 11:45:58 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

AI员工上岗前,必须立好这些规矩

原创

老张话IT
老张话IT

布衣老张随笔

2026年11月14日 20:04
北京

去阅读

随着人工智能技术的飞速发展及各家企业对人工智能技术的渴望与实践,AI开始在不同的生产运营环节替人干活了,但问题是谁能管住它的手?

我想近期这三条新闻很多朋友估计都看了。Anthropic内部Slack被一个AI Agent扒了个底朝天;OpenAI建了个“控制室”,35秒掐断一次失控的智能体;Grok平台上3.5万个应用不用登录就能打开,泄露个人数据。

其实这三条新闻都表达了一个共识,AI不再只是聊天工具,它开始替人干活了。干活就要碰数据、调系统、发指令,每个环节都可能出事。这次就围绕这个主题写一下自己的想法。

9月,全国网络安全标准化技术委员会(TC260)发布了《人工智能安全治理框架3.0》。136页的文件里,最引关注的就是附件2智能体风险管理框架了。这算是官方第一次把“AI替人干活”的风险从头到尾捋了一遍。贯穿设计研发到停用下线,一共九个环节,每个环节都点了名。因篇幅有限,就挑选几个比较“要命”的讲讲。

一、给AI的文档里可能藏着别人的指令

框架原文写得很清楚,【提示注入攻击,是“将指令隐藏在外部文档、邮件、网页、日志、消息等载体中,诱导智能体偏离预设目标,执行越权操作”。】意思是说,当你让AI助手读一封邮件、总结一份网页资料,攻击者在里面埋了一句话,AI照做了。它分不清哪些是你的指令,哪些是外人塞的私货。AI越能干,这句话的杀伤力越大。

二、AI手里的工具,是别人的突破口

智能体干活靠调工具,比如发邮件、查数据库、删文件、付账单。框架在这块一口气列了七种风险:工具投毒、工具越权、身份伪造、工具劫持……Grok那次泄露就是活教材。AI生成的应用,登录代码把顺序写反了,先拉人进团队、再验证身份,等于谁都能进。

三、AI会记事,记错了就一直错

大家都知道智能体是有记忆的。框架专门点了“记忆污染”和“记忆窃取”:【恶意内容被写进AI的长期记忆,错误决策会一直延续;】AI记住的敏感数据,也可能被人越权翻走。所以不要轻易把企业的核心数据放进去。

四、AI“离职”也要交钥匙

这也是最容易被忽略的环节,停用后一定要下线。框架点名“服务残留”和“权限与凭证遗留”,智能体停用了,进程还挂着、密钥还存着,后台还在偷偷读写数据。跟员工离职不交门禁卡一个道理。

措施:

“合理设定智能体行为边界,对可能造成严重损害的操作配备人工审核。”(框架5.1.12)。说白了,就是删除文件、发送数据、修改配置这类动作,AI动手前必须有人点头。再配上最小权限原则,让智能体只拿干当前任务必需的权限,任务结束凭证即撤销,别给它一串万能钥匙。

个人建议:
盘点:一定要先盘点企业内都用了哪些AI,建了哪些应用、接了哪些系统?估计多数物业答不上来。
上锁:涉及真实数据的AI工具,权限默认“仅指定人可访问”,别信“链接没人知道”。
立规矩:高危操作清单化,AI执行前人工二次确认,审批异常默认拒绝。
      AI员工很好用,但它没有安全意识,出事背锅的还是你,所以你必须提前把规矩给他立起来。

备注:(《人工智能安全治理框架3.0》全文可在全国网安标委官网查阅,本文引用条款均出自原文)

评论:0   参与:  0