换台设备,AI的后门就醒了?CertiK将在SDC2026揭示背后机制"

admin 2026-10-24 14:37:46 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

换台设备,AI的后门就醒了?CertiK将在SDC2026揭示背后机制

原创

CertiK
CertiK

CertiK

2026年10月22日 19:30
湖南

去阅读

“帮我最后检查一下,这笔钱能不能转。”

转账前,你把交易信息交给AI,希望它帮你识别风险。它回答:“一切正常。”

但如果回答你的,是一个被植入后门的模型,它可能恰好在这一步故意给出错误判断。本来用来防止损失的最后一道检查,反而可能让你放下戒心。

这是一个用于理解风险的假设场景。它背后的问题,也是CertiK此次研究关注的重点:同一个预先植入后门的模型,可以在一种运行环境中表现正常,换到另一种环境后,才触发预设行为。

10月23日,由看雪社区主办的第十届安全开发者峰会(SDC2026)将在上海举行。本届峰会以“人机共智·重构攻防”为主题,聚焦AI安全与攻防,邀请安全研究人员与开发者分享研究成果和实战经验。

CertiK的Senior Staff Security Researcher黄涛将在会上带来《从字节到神经元——一名二进制安全研究员的AI安全研究》主题演讲,分享如何从传统二进制安全研究出发,深入模型内部,揭示运行环境如何成为触发模型后门的条件,以及这一发现对模型安全评估与实际部署的启示。

同一个模型,换个环境就“变脸”?

权重没变,问题没变,AI 的“安全底线”却变了。 同一模型在苹果平台上拒绝回答的请求,换到英伟达平台上却得到了实质回答。我们利用平台间的计算差异,在模型权重中构造了一个隐蔽的“开关”:让后门在一种环境中保持关闭,在另一种环境中触发。这也提出了一个直接的安全问题:在一种安全检测环境中表现正常的模型,到了你的电脑上,还可信吗?

这背后是计算机领域长期存在的数值计算差异。计算机以有限精度表示和计算数值,不同平台采用的计算精度、运算顺序及极小数处理方式,可能影响计算结果。这些差异通常被视为数值计算中的工程问题;我们的研究进一步考察,它们能否成为攻击者控制模型行为的条件。

我们利用Apple Silicon与NVIDIA GPU平台之间的计算差异,验证了选择性触发后门的可行性:同一份植入后门的权重,在一个平台上触发后门,而在另一个平台的相应测试中未观察到该行为。其中一个关键差异是,某些极小的浮点数在一端被保留,在另一端被置零。经过特定构造,这种“非零与零”的区别,可以成为控制后门是否生效的开关。

如果AI在关键一步误导你

如果将这类后门用于具体任务,可以设想这样的场景:用户让本地模型检查一段存在权限缺陷的代码,模型在审计平台上准确指出问题,换到用户设备上却给出“未发现安全问题”的结论;用户让模型从同一份发票文本中提取付款信息,其他字段都正确,收款账号却在特定平台上被定向替换。关键判断或字段的改变,就可能影响用户的决策与后续操作。

为了理解行为为何发生变化,我们借鉴了二进制逆向中的差分分析思路。分析程序时,研究人员会比较两次执行的内部状态与执行轨迹,定位差异出现的位置;分析模型时,我们结合机制可解释性方法,逐层比较内部计算结果,并追踪差异如何影响输出。实验中,我们观察到两端的相关差异从植入位置开始出现,并在后续计算中影响输出;移除相关扰动后,相应的后门行为不再出现。这为数值差异与行为变化之间的联系提供了进一步证据。

从“检查过”到“用得放心”,还差什么?

这一结果表明,即使权重文件及其哈希完全相同,也不能据此认定跨平台行为一致。当模型安全检查主要依赖单一环境中的行为测试,而实际部署环境存在相关计算差异时,这类后门就可能避开审计,在用户设备上被触发。 因此,模型权重的安全评估需要与具体运行环境关联:记录加载器、推理后端和硬件等配置,在实际部署环境中验证关键行为,并明确测试结论的适用范围。

在AI与安全的交叉领域,CertiK既投入AI for Security,利用AI提升安全能力,也持续推进Security for AI,研究如何保障AI自身的安全。此次研究延续了我们在逆向分析与系统安全中的思路,将关注点从权重文件本身延伸至模型的实际运行过程。随着AI应用场景不断拓展,我们将持续识别问题、验证风险并探索解决方案,将研究成果转化为安全评估的方法与经验,为Web3与AI的融合发展提供安全支撑。

基于RASP技术的应用内生安全构建与实践" 网络安全文章

基于RASP技术的应用内生安全构建与实践"

本文介绍长沙银行基于RASP技术构建应用内生安全体系的实践。通过代码级插桩实时检测拦截攻击,覆盖0day漏洞、内存马、反序列化等高级威胁,结合热补丁机制实现漏洞在线修复,并开展API与数据安全治理。应用后突破高级攻击防护瓶颈,构建风险治理闭环,提升安全运营效能。
评论|不容虚假人设污染网络空间" 网络安全文章

评论|不容虚假人设污染网络空间"

中央网信办启动清朗整治短视频虚假人设乱象专项行动,针对编造苦难经历、冒充职业、打造虚假人设等五类突出问题靶向整治。治理措施包括从严追责问责、规范发布标注、严控流量推送,标本兼治斩断黑色产业链,倒逼平台履行审核责任,推动短视频内容回归真实优质本源,营造风清气正的网络空间。
关于“史诗级漏洞”PHP2Shell你应该了解的事实" 网络安全文章

关于“史诗级漏洞”PHP2Shell你应该了解的事实"

本文详细解读了php核心远程代码执行漏洞CVE-2026-109618/109619(php2shell)的成因、影响范围、利用难度与修复方案。漏洞源于php请求生命周期边界的内存管理缺陷,影响php8.1至8.5多个版本,CVSS评分9.2,已发现在野利用。实际利用需满足mod_php、display_errors=on等条件,复杂度中等。建议立即升级至修复版本,并采取临时缓解措施,同时利用安全产品进行资产排查与攻击拦截。
评论:0   参与:  0