SDC2026议题预告 | 从字节到神经元： 一名二进制安全研究员的 AI 安全研究

SDC2026
SDC2026

看雪学苑

2026年10月14日 18:06
上海

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

从字节到神经元：
一名二进制安全研究员的 AI 安全研究

随着大语言模型的本地部署越来越普遍，用户开始在自己的电脑上组合模型权重、推理框架和硬件，让模型实际运行起来。我也希望借此逐步建立对 Security for AI 的系统认识：从传统软件漏洞研究出发，理解模型本身及其运行过程中的安全问题。

MLX 是我选择的切入点。它是苹果机器学习研究团队推出的开源计算框架，支持在 Apple Silicon 设备上进行模型训练和推理，与 Mac 上的本地模型部署直接相关。我沿用熟悉的漏洞研究方法，从模型加载环节入手，对比了 MLX 的 safetensors 读取实现与 Hugging Face Transformers 加载权重时使用的 safetensors 库。这个环节负责解析权重文件中的数据类型、张量形状等信息，将磁盘上的字节转换为模型推理时参与计算的权重。

对比发现，两套实现对同一个数据类型字段的解释并不一致，导致同一份权重文件加载后可能得到不同的数值。利用这一差异，我们首先做到了让模型在一条加载路径下正常工作，在另一条路径下产生异常输出。但此时，异常仍然不可控：我们能够让模型出错，却不能决定它如何出错，更无法让它稳定执行预先设定的行为。

为了从制造异常走到控制行为，我开始向模型内部追踪，分析权重中的数值差异如何在神经网络中传递和放大。研究由文件字节逐渐深入到神经元之间的计算，也让我理解了直接修改权重为什么容易破坏模型原有的能力。由此，思路转向了训练：让模型学会识别环境带来的数值差异，并将这种差异与特定行为关联起来，使原本不可控的扰动成为可控的触发条件。

沿着这一思路，研究进一步从软件加载差异延伸到硬件计算差异，最终实现了一个由运行环境触发的模型后门：同一份预先植入后门的权重，在审计环境中表现正常，换到另一种硬件环境后，才会稳定激活目标行为。两个环境使用的权重文件哈希完全一致，无需修改加载逻辑或推理代码，输入中也不需要特殊暗号。真正充当触发器的，是运行环境本身。

演讲嘉宾：黄涛

CertiK安全研究员，拥有15年攻防经验，研究领域横跨 iOS/macOS 漏洞挖掘、虚拟机逃逸与底层系统安全，近年聚焦于 AI 模型自身安全与机制可解释性。

听众收获

1. 理解模型权重加载流程及其解析差异，认识同一份权重文件在不同运行环境中产生不同行为的安全风险。

2. 了解环境触发式模型后门的完整研究过程，理解文件字节中的差异如何经由权重传入神经网络，从不可控异常演变为可控的后门行为。

3. 认识模型审计的边界：文件哈希一致，并不保证跨环境的行为安全；学习从二进制解析、权重加载到运行时计算的 AI 安全分析思路。

报名参会

来SDC现场解锁更多议题细节

球分享

球点赞

球在看

点击阅读原文，报名参会