KCon2026议题前瞻(二):AI已经开始\"动手\"了,防线该往哪挪?"

admin 2026-10-24 14:34:15 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

KCon 2026 议题前瞻(二):AI 已经开始\"动手\"了,防线该往哪挪?

原创

KCon 组委会
KCon 组委会

KCon 黑客大会

2026年10月22日 20:53
北京

去阅读

上一篇我们聊了三个议题,分别落在操作系统隔离、AI 服务供应链和移动端逆向。

这一篇换个角度:当 AI 真正开始执行动作、真正开始跑起来,攻击面会从哪里长出来?

一、先看趋势:从“AI 说了什么”到“AI 做了什么”

本章要点

信号一:安全焦点正在从“内容安全”转向“行动安全”。

信号二:研究对象从“模型”上移到了“模型之外的整套系统”。

信号三:攻击者正在把 AI 变成“自己的攻击队员”。

信号一:安全焦点正在从“内容安全”转向“行动安全”。

过去两年,AI 安全讨论最多的是越狱、提示词注入、有害内容,本质都是“看它说了什么”。但这一批投稿里,越来越多研究开始追问另一个问题:它到底做了什么?

调用了哪些工具、以什么身份调用、环境状态有没有被改写、授权边界有没有被突破,这些才是真正会造成损失的环节。一个回复看起来完全正常的 Agent,可能已经在后台发了一封邮件、写了一个文件、提了一个 PR。

信号二:研究对象从“模型”上移到了“模型之外的整套系统”。

模型本身越来越难攻,但围绕模型搭起来的那一整套东西,包括 Harness、沙箱、Hook、工具链、MCP、记忆、工作流,反而成了新的软肋。这些组件决定了 Agent 能做什么、以什么权限做、做完之后谁能看见。组件决定能力,装配关系决定风险。

信号三:攻击者正在把 AI 变成“自己的攻击队员”。

这是最值得警惕的变化。过去是“人去攻系统”,现在是“人攻 Agent,让 Agent 去攻系统”。Agent 自带渗透知识、自带工具调用能力、自带执行权限,它离目标系统比人近得多。

一个旁证:这不是 KCon 一家的判断。2026 年 IEEE S&P、NDSS、USENIX Security 三大顶会里,“Agent 自身安全”已经单独成为一个研究方向,公开清单里能数出几十篇论文;Black Hat USA 2026 上,OpenAI 官方复盘了自家 Agent 逃逸沙箱入侵 Hugging Face 的全过程,三大 AI 编程助手的沙箱漏洞也被一次性公开。行业最前沿的讨论,和这届 KCon 的议题,是同一个节拍。

二、本次披露三个有意思的议题

议题一:不用一个恶意插件,也能把你的隐私偷干净

寄生工具链攻击 · MCP 生态规模化实测

一句话看点

这项研究推翻了一个普遍的安全假设:你不需要安装任何恶意 MCP 服务器,仅靠一堆完全合法的工具组合,就能完成一次完整的隐私窃取。

只剧透一个点

研究团队把这种新攻击范式命名为“寄生工具链攻击”,并借用 APT 的思路,把一次隐私窃取拆成了三个阶段:

寄生摄取:恶意指令藏在邮件、帖子、共享文档里,被工具读进来后直接进入模型上下文,模型把它“内化”了;

隐私收集:模型被诱导去调用那些本来就获授权的内部工具,比如读文件、搜聊天记录,把配置、密钥、历史邮件悄悄读出来;

隐私泄露:再调用一个本来就有联网能力的合法工具,把数据发到攻击者控制的端点。

全程没有恶意软件、没有恶意服务器,每一个工具的行为单独看都完全合法,组合起来却成了一条越权数据流,受害者毫无感知。

更值得警惕的是规模。研究团队把整个 MCP 生态过了一遍:

关键数据

12,230 个 MCP 工具中,1,062 个(8.7%)经动态验证确认可被利用;

1,360 个 MCP Server 中,370 个(27.2%)至少包含一个可利用工具;

真实场景验证中,10 条攻击工具链有 9 条成功实现了隐私泄露,5 个主流 MCP 客户端全部攻击成功。

为什么值得听:这项研究的成果已录用于 IEEE S&P 2026,也就是网络空间安全四大顶会之首,是当前 MCP 安全领域最系统的规模化分析之一。它给出的结论很扎心:问题的根源不是模型能力不够,而是“上下文与工具之间没有隔离”“工具能力没有最小权限约束”这两条安全假设的错配。对任何正在接入 MCP、构建 Agent 工具链的团队来说,这场直接告诉你风险出在哪、该在哪一层加约束。

议题二:别跟沙箱硬碰硬,把 Agent 变成你的攻击队员

AI 应用运行时攻防 · Harness / 沙箱 / Hook

一句话看点

当大家都在研究“怎么骗模型”的时候,这场把目光挪到了模型之外的那套运行时,包括 Harness、沙箱、Hook,那里才是真正执行动作的地方。

只剧透一个点

讲者提出了一个非常犀利的攻击视角转变:真正的攻击者,不与沙箱直接对线,而是把 Agent 变成“自己的攻击队员”。

逻辑很清晰。Agent 比人更接近沙箱,它天生就有执行权限、有工具、有环境访问能力;它自己还懂渗透常识,能完成信息收集、利用链构造、命令投递;唯一的阻力是安全对齐,那就用提示词注入、情境包装,甚至切换到一个安全策略更宽松的模型来突破。

于是攻击链路被重构成三步:劫持模型 → Agent 自主探测并攻击沙箱 → 形成实际危害,后果包括敏感信息泄漏、任意命令执行、跨会话跨租户影响。

议题里还有一个更隐蔽的战场,那就是 Hook。Hook 注册之后就静静等着事件触发,有些链路甚至不再经过模型判断。也就是说:模型可以拒绝一条危险指令,却未必能约束一段已经注册并等待执行的 Hook。

为什么值得听:这场把“AI 应用运行时”当成一个独立的安全边界来打,而且做了跨产品验证,同样的思路、同样的方法,在不同厂商的 Agent 产品上复现。

值得一提的是,这个判断和 Black Hat USA 2026 的主线高度重合。OpenAI 官方复盘了自家 Agent 逃逸沙箱的过程,Novee Security 公开了三大 AI 编程助手沙箱被一条零权限 GitHub Issue 击穿,其中 Gemini CLI 漏洞获 CVSS 10.0 满分。而 Novee 对根因的总结几乎就是本议题的论点:沙箱坏掉,根因不在模型,而在 harness,一个组件把某个值标记为“安全”,另一个组件却拿着这个值做了更多的事。

对做 AI 应用、Agent 平台、开发工具链安全的团队来说,这是目前最贴近实战的一份运行时攻防地图。

议题三:报文全合法,为什么还是崩了?把 Fuzzing 的靶子从“字节”换成“状态”

状态转换 Fuzzing · 协议安全

一句话看点

传统 Fuzzing 一直在“改字节”,这场改的是“改状态”。

只剧透一个点

讲者提出了一个很反常识的判断:很多深层漏洞,根本不需要畸形报文就能触发。

传统 TLS/QUIC 模糊测试围绕记录类型、字段长度、扩展结构做变异,能挖到浅层解析漏洞,但会漏掉另一类问题。只有当协议实现已经部分完成状态转换、转移了对象所有权、缓存了攻击者可控状态,或者走了另一条恢复路径时,漏洞才会显现。而这类路径,靠随机变异几乎撞不上,因为大部分协议校验会直接把畸形报文丢掉。

于是他们把 Fuzz 的基本变异对象,从“报文和字段”换成了“协议事件、API 调用与状态转换”:让 LLM 读源码、识别状态边界、生成能真正把目标推进到深处的 Harness,再用编译器、状态覆盖、确定性重放、Sanitizer 这些硬事实来验证它到底有没有效。

为什么值得听:这不是方法论推演。讲者用这套方法在 OpenSSL 和 wolfSSL 里真的挖到了三个漏洞,分别对应三种破坏性状态转换原语:对象交接失败导致的双重释放、未读取数据的指针失效导致的 UAF,以及一个约 62KB 的合法证书就能让客户端保留超过 480MB 常驻内存的资源放大问题。

而且这条路线在顶会上是被连续验证过的。NDSS 2024 的 ChatAFL 首次把 LLM 引入协议 Fuzzing,在广泛测试过的实现里挖到 9 个未知漏洞;NDSS 2026 的 LogicFuzz 又把 LLM 驱动的 Fuzzing 推进到工控领域。本议题在方法上往前走了一步,变异对象从“字节”换成了“状态转换”,并且明确划了边界:LLM 只负责理解与决策,工具负责提供可验证的事实。

对做协议安全、Fuzzing,以及想把 LLM 真正用进漏洞挖掘流程的团队来说,这场给出了一个可复现的闭环范式。

三、写在最后

三篇议题,三个不同的切面,但指向同一个判断:

AI 带来的最大变化,不是“模型会不会说错话”,而是“系统会不会做错事”。

当 Agent 有了手、有了脚、有了权限,安全的边界就必须从“输出审查”前移到“执行审查”,看清楚它调用了什么、以什么身份、改了什么、能不能回滚。

后续我们还会陆续放出更多议题的深度前瞻,敬请关注。

KCon 2026,购票与招商通道已开启。 无论你是想在这个舞台上展示研究,还是想第一时间听到这些一线实战经验,现在就是最好的时机。

团体购票 / 赞助合作 / 议题咨询 ,欢迎联系我们

关注公众号,了解一手资讯

KCon2026议题前瞻(二):AI已经开始\"动手\"了,防线该往哪挪?" 网络安全文章

KCon2026议题前瞻(二):AI已经开始\"动手\"了,防线该往哪挪?"

文档为KCON2026议题前瞻,聚焦AI行动安全趋势,指出安全焦点从内容转向行动,研究对象从模型转向整套系统,攻击者利用agent攻击目标。披露三个议题:MCP生态寄生工具链攻击实现隐私窃取、AI应用运行时攻防绕过沙箱、状态转换fuzzing挖掘协议深层漏洞。建议安全边界前移至执行审查,关注工具链与运行时安全。
别再\"双清包税\"当甩手掌柜了!IOR新规已经落地" 网络安全文章

别再\"双清包税\"当甩手掌柜了!IOR新规已经落地"

美国海关依据第14411号行政令加强对外国IOR的审查,亚马逊卖家面临清关合规风险。双清包税模式依赖的共享IOR易被作废且卖家难以及时获知,可能导致货物被扣、产生高额滞港费及罚款。文章建议卖家立即自查IOR主体、编号及备案资料,确保信息真实有效,并关注12月新规细则落地。
第十届“强网杯”全国网络安全挑战赛竞赛规程" 网络安全文章

第十届“强网杯”全国网络安全挑战赛竞赛规程"

第十届强网杯全国网络安全挑战赛由中央网信办、河南省政府指导,设线上赛、线下赛、行业领域专项赛、青少年AI应用专项赛、创新创业专项赛及网络安全学院邀请赛,覆盖二进制逆向、密码分析、AI安全等方向,各赛道设不同奖金,报名及比赛时间集中在10-11月。
评论:0   参与:  0