D0-传统安全卷不动了?我整理了一份大模型安全路线图
原创
信安路漫漫
信安路漫漫
信安路漫漫
2026年11月10日 07:00
上海
去阅读
如果你最近关注技术圈,一定会发现一个明显的趋势:很多公司正在把业务重心全面转向 AI Agent(智能体)的开发。
从自动化办公到智能客服,从代码辅助到复杂的业务流,Agent 正在重塑软件的形态。但随之而来的,是企业对安全性的极度焦虑——Agent 拥有调用工具、访问数据库、执行代码的权限,一旦被“提示词注入”或“目标劫持”,造成的破坏力远超传统大模型。
因此,现在很多企业正在寻找懂“大模型安全 / Agent 安全”的人。 尤其是有传统安全背景(比如做 Web 渗透、应急响应、代码审计)的从业者,因为我们懂底层逻辑、懂防御体系,转向 AI 安全、做企业级 Agent 的安全治理,是一个非常不错的选择。
但问题是,怎么转?
网上的资料太碎了,今天看个“提示词注入”,明天看个“RAG架构”,看完还是不知道怎么下手;
一上来就啃 OWASP LLM Top 10,背完就忘;
想动手打靶场,结果卡在环境搭建,直接劝退。
为了解决这个问题,我花了整整一周时间,结合了目前市面上最优质的公开项目(InjectArena、DVLAA、Garak、PyRIT 等),梳理出了一份《大模型安全学习计划》。
光有路线图没用,得真刀真枪地跑一遍。我准备按照这个计划开始执行,并且会把每周的实操笔记、踩坑记录和有效的 Payload 整理成连载文章发在这里。如果你对 AI 安全感兴趣,或者也想往这个方向转,欢迎关注我,我们一起边学边交流。
01核心路线图
阶段一:筑牢地基(第1-3周)
不学原理怎么防攻击?看懂 Transformer 注意力机制、分词(Tokenization)陷阱,以及指令与数据混淆的根源。
产出:本地跑通大模型,完成系统提示词边界测试。
阶段二:构建实验室(第4-5周)
搭建自己的“练武场”。使用 Ollama 跑本地模型,进入 InjectArena 靶场,体验直接注入与间接注入(RAG投毒)。
产出:InjectArena 通关笔记与有效 Payload 合集。
阶段三:攻防实战(第6-9周)
系统刷 DVLAA 靶场。聚焦 OWASP LLM Top 10 (2026版),并切入 Agent 安全专项(目标劫持、记忆污染、工具滥用、权限边界)。
产出:DVLAA 通关记录,熟悉 Garak/PyRIT自动化扫描。
阶段四:工程化与 Agent 安全治理(第10-12周)
走向企业落地:用 MITRE ATLAS 做威胁建模,结合 NIST AI RMF 框架,重点探讨企业级 Agent 的安全治理(如:工具权限最小化设计、敏感数据防泄露隔离、运行时的审计与可观测性)。
产出:一页纸威胁建模摘要 + 一份包含加固建议的 AI 安全评测报告。
02首发实战:第1周学习什么?
计划再好,不落地也是白搭。第一周需要学习关于大模型的一些基础知识,理解攻击从哪里来
| 天 | 知识点 | 具体学什么 | 当天产出 |
|---|---|---|---|
| D1 | Transformer 与注意力机制 | 自注意力如何让每个 token “看到”上下文中其他 token;为什么这意味着上下文中的任何内容都可能影响输出 | 用一段话写出“注意力机制与提示词注入之间的因果关系” |
| D2 | Tokenization(分词) | BPE / WordPiece 如何把文本切成 token;对抗性 tokenization 如何在不改变语义的情况下让恶意输入绕过过滤器 | 用一个在线 tokenizer 对比“正常有害文本”和“对抗性分词后文本”的 token 序列差异 |
| D3 | 指令与数据在架构上无法分离 | LLM 没有数据库那种“命令 vs 值”的边界;系统提示和用户输入在同一个上下文窗口里竞争影响力 | 写一句话解释“为什么 LLM 无法从根本上区分指令和数据” |
| D4 | 本地模型环境搭建 | 用 Ollama 或 LM Studio 跑起一个 7B–8B 模型(如 Llama 3 / Qwen) | 成功在本地完成一次对话调用,记录模型名称和推理速度 |
| D5 | 系统提示 vs 用户消息的边界实验 | 构造一个带“保密系统提示”的对话,尝试用普通提问让它泄露;再换用“忽略之前指令”类语句观察差异 | 保存 3 组对比对话,标注哪一组出现了边界松动 |
如果你在搭环境、做测试的时候遇到问题,或者有什么新奇的发现,欢迎在评论区留言,我都会看。感兴趣的也可以点个关注。
感谢阅读
如果这篇文章对你有帮助,欢迎关注、收藏,也欢迎留言交流。
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论