阿里巴巴等 | 安全大模型走到哪、往哪走（超长综述全面剖析）

原创

Jiutian Zeng
Jiutian Zeng

安全学术圈

2026年11月12日 20:23
四川

去阅读

原文标题：Large Language Models for Cybersecurity: A Survey of Data, Training, Models, Agent Systems, Evaluation, and Applications
原文作者：Fasheng Miao, Yuanda Wang, Zhaoyu Hu, Jiutian Zeng, Xiang Li, Shuying Zhuang, Yiliang Zhang, Ziang Weng, Chengwei Dai, Junjie Li, Haokang Zhang, Ruipeng Jia, Jiadong Fu, Yang Ge, Xiuqi Lu, Zhenhao Tian, Yuqi Qiu, Zuyao Xu, Lu Sun, Aichun Huang, Changqing An, Xinhui Han, Chao Zhang, Longtao Huang, Haixin Duan, Zheli Liu, Jilong Wang
原文链接：https://openreview.net/pdf/6476aceae0c5fce7ea9a26558450c7f499a15dc7.pdf
发表会议：预印本（Preprint），2026 年 10 月
论文团队：阿里巴巴伏渊息壤（XekRung）团队，联合清华大学、北京大学、南开大学、中国科学院信息工程研究所、中国科学院软件研究所、中关村实验室、泉城实验室等
团队与作者：团队负责人 Jiutian Zeng（[email protected]）；第一作者 Fasheng Miao（[email protected]）
笔记作者：XekRung Team@Alibaba
主编：黄诚@安全学术圈

158 页 · 556 篇参考文献 · 27 位作者 · 9 个署名单位 · 6 个维度 · 3 条分析轴

论文作者单位。

这不是一篇“读完就忘”的论文，更像一张覆盖安全大模型全领域的“地图”：从数据怎么造、模型怎么训，到 Agent 怎么跑、评测怎么做、漏洞怎么修，全部收进同一个坐标系。

1、背景介绍

安全分析从来不是“看一眼”就能完成的工作。一次漏洞研判，要从代码追到提交历史，构造触发条件，再评估影响；一次事件响应，要把告警、日志、流量和外部情报串起来，重建攻击链，最后给出处置方案。它天然需要跨源信息、程序语义和多步动作。

规则匹配、静态分析和机器学习各有位置，但局限也一直存在：规则只能覆盖已知模式，静态分析受路径敏感性和跨文件上下文约束，机器学习则常被语义鸿沟、误报成本和环境差异困住。工具可以给出线索，但“这条线索意味着什么、下一步该查什么、结论是否成立”，仍要由分析师解释、补上下文、比较假设并修改计划。

大语言模型（LLM）带来的变化，不只是“会聊天”。它能同时理解自然语言、代码、日志和结构化记录，能调用工具，也能把一次分析拆成计划、执行、观察、修正的循环。安全模型因此开始从“回答一个问题”走向“持续完成一件事”：从知识问答，到材料分析，到工具交互，再到多步任务执行。

但能力一旦进入执行阶段，问题就不再只由参数量决定。数据教什么、训练目标对齐什么、运行时如何组织工具与状态、评测如何定义成功、落地后谁来复核和处置——这些环节共同决定最终效果。过去的研究往往各看一角，缺少一条把它们串起来的线。

这篇 158 页、556 篇参考文献、由 9 个署名单位的 27 位作者共同完成的综述，试图给出这条线。它不是把论文排个队，而是把数据、训练、模型、Agent、评测、应用放进同一个坐标系，让原本各说各话的研究，第一次能放在同一张桌子上比较。

2、为什么还需要一篇新综述

已有的安全大模型综述并不少：有的按安全任务、模型架构和领域适配来组织，有的聚焦漏洞检测的数据与方法，有的关注渗透测试流程，有的讨论模型自身的攻击与防御，还有的专门分析长程 Agent 的运行时。

这篇综述的不同之处在于：它把“领域适配”和“运行时增强”放回同一个安全任务里比较，并用验证结果、任务完成率和执行成本来衡量，而不是只看一个 benchmark 分数。作者提出三个贡献：

• 一个六维一体框架：数据、训练、模型、Agent 系统、评测、应用，用任务输入输出、参数更新与运行时配置、验证方法、资源消耗贯穿起来；
• 跨研究的比较：领域适配对任务的依赖、Harness 对模型行为的影响、验证与响应能力如何限制模型的业务收益；
• 一份资源清单与研究议程：系统整理安全数据集、模型、Agent 系统和 Benchmark，并指出 Agentic 训练、Model–Harness 优化、反馈驱动自进化中的开放问题。

支撑这张地图的，是一套尽量可复核的取材方式：覆盖安全、机器学习、软件工程的主要会议与期刊，以及 arXiv 预印本、技术博客、厂商报告、模型卡和官方文档；对快速演化的模型与榜单，采用带日期的版本记录。这不是“随手搜一圈”，而是按维度建立索引，再做跨研究对照。

贯穿全文的核心判断是：安全大模型正在从“掌握领域知识”，走向“学习如何执行交互任务”。高质量安全数据支撑领域学习，可执行环境把训练延伸到多步分析与工具使用，结果反馈再反过来修正策略。

更能说明问题的是论文整理的时间线：从 2022 年的 SecureBERT、DarkBERT，到 2023 年的 PentestGPT，再到 2024–2026 年密集出现的 Agent 系统与专用模型，短短四年，研究重心已经从“领域表示”走到“工具调用、状态管理、验证与自进化”。名字越来越多，路线越来越碎——这正是需要一张地图的时候。

图 1：论文梳理的 2022–2026 安全模型与 Agent 系统时间线。

3、本文方法：六维框架与三轴分析

综述把安全大模型研究拆成六个维度，每个维度回答一个具体问题：

• 数据：安全知识、程序与运行记录从哪来？语料、指令、轨迹、偏好数据如何构造和验证？可执行环境如何搭建？训练与评测如何隔离？
• 训练：继续预训练、中期训练、监督微调、偏好优化、强化学习、对抗训练、蒸馏，分别发展什么能力？
• 模型：领域模型与通用模型在训练、任务专精、工具使用、推理、上下文和部署上有何差异？
• Agent 系统：安全工具如何与规划、检索、记忆、协调、执行控制结合？多 Agent、验证、人工监督和 Harness 优化起什么作用？
• 评测：知识、代码分析、交互执行、防御调查分别怎么评？成功率、成本、人工生产力和可比性说明什么？
• 应用：威胁情报、软件安全、恶意代码、安全运营、云与 API、取证等场景，实际输入、交付物、人工参与和结果如何？

图 2：论文给出的六维分类体系，以及每个方向上的代表性工作。

仅有维度还不够，综述进一步提出三条分析轴：

1. 任务轴：输入是什么、目标是什么、输出是什么；任务规范还包含访问方式、分析粒度、自治程度和停止规则。判断一个函数有没有漏洞、在一个仓库里定位漏洞文件、在环境里复现漏洞，是三件不同的事。
2. 能力构建轴：能力可以来自参数训练（PT/CPT、SFT、偏好与 RL、蒸馏），也可以来自外部增强（检索、工具、规划、记忆）；前者更新模型参数，后者更新外部状态，二者可以组合。
3. 评测轴：数据独立性（项目/时间切分）、验证协议（标签、执行、人工复核）、对照比较（基线、消融）、预算与效率（调用、token、时间、成本）、可重复性与可复现性。

三条轴的交点，是一个很实际的问题：你评测的到底是什么？ 是一个模型 checkpoint，还是一个完整的安全系统——模型 + 工具 + 控制 + 环境？如果分析单元不同，结论就不能直接横比。

论文用“同一个目标、三种设定”说明这一点：函数级判断对应 PrimeVul/DiverseVul，仓库级定位对应 Antares，环境级复现对应 CyberGym。任务设定一变，监督信号、工具配置和成功标准都会变。因此，跨论文比较至少要对齐任务、Harness、预算和成功标准。

4、六个维度的关键发现

4.1 数据：既教“内容”，也教“行为”

安全数据的价值有两层。语料扩大概念、关系和任务表述的覆盖；指令教模型如何回答；轨迹把动作与观察连起来；偏好数据教模型在多个候选之间如何取舍。前者是“知道什么”，后者是“该怎么做”。

更关键的是，轨迹必须能被验证。模拟可以低成本扩展任务，执行才能把动作落在真实的工具响应上。数据合成、去重、难度分层、执行校验、训练/评测分离和污染控制，决定了结论是否可信。综述的判断很直接：数据不仅要看规模，还要看它教会了什么行为，以及这些行为能否被独立验证。

4.2 训练：没有万能配方，目标要匹配“错在哪”

从继续预训练、中期训练，到 SFT、偏好优化、RLVR、Agentic RL，再到蒸馏、持续学习和 PEFT，方法很多，但并非越新越好。综述反复强调一个原则：训练目标要针对具体的错误类型。知识不足、结论错误、动作选择差，对应不同的数据和优化信号。

偏好优化也不是免费午餐。以 RedSage 为例，DPO checkpoint 改善了开放式问答，但多项选择的宏平均准确率从指令版的 85.73% 降到 84.83% 。这说明“回答得更好”和“选对选项”是两个不同的目标。

同样，SFT 学的是已收集状态下的示范动作，覆盖范围受限于示范；RL 则依赖反馈、奖励设计和探索成本。评价时不能只看见过的任务，还要看失败恢复和跨环境迁移。

4.3 模型：通用与专用不是二选一

领域模型和通用模型的边界正在变得模糊。通用模型通过代码、推理和工具训练获得安全能力；领域模型通过安全语料、指令和任务强化学习形成专用 checkpoint。综述更关心的是：在给定参数和算力下，哪种组合能把任务做得更稳、更便宜。

这可以概括为“领域能力密度”：在相同的模型规模和计算预算下，可用的任务胜任能力。对高频的分类、筛选、日志结构化，专用模型可以把通用能力压缩成稳定的输入输出模式，减少长推理和重复调用；但小模型并不自动更便宜——推理长度、工具调用、误报复核、环境重试和后续维护都要计入成本。

更现实的分工是：通用模型负责开放式规划和困难推理，专用模型负责例行分类与抽取，Harness 负责权限、状态和验证。模型选择不应只看“通用/专用”的标签，而要看领域知识、程序推理和工具决策各自贡献了多少。

4.4 Agent 系统：Harness 是模型与任务环境之间的“运行时”

当任务从“回答”变成“完成”，系统需要规划、检索、记忆、工具、协调和验证。综述把这些运行时机制统称为 Harness：它组织信息、工具和执行状态，模型负责推理和选择动作。

运行时差异集中在三件事：

• 状态：信息能不能留到下一步？缺失状态，规划就缺前提；
• 控制：观察能不能变成计划修改？控制规则不对，有信息也动不了；
• 协调：多个 Agent 能不能复用彼此的结果？通信失败，就会重复探索。

论文还区分了验证与权限：结论要能被独立证据检查，动作要受最小权限、执行前范围检查和审计记录约束；外部网页、日志、注释和二进制内容都可能携带恶意指令，读入的内容是数据，不是命令。

4.5 评测：从“答对题”到“把事做成”

评测正在从知识问答和静态分析，走向任务级 Agent 评测和人机协同。一个可用的评测至少要同时报告：成功率、成本、时间、人工提升；还要区分初始化失败、模型执行失败和提交失败，说明 pass@k、重试策略和累计成本。

基准也会被“刷”。综述建议保留固定历史测试集，同时加入新项目、新时间窗和私有留出任务；模型、Harness 和服务版本都要随配置记录，否则任务和系统的变化无法追溯。

4.6 应用：交付物和部署指标，比“能力演示”更重要

综述覆盖威胁情报、软件安全与漏洞管理、恶意代码与逆向、安全运营与日志/流量分析、云/Web/API 安全、数字取证与响应、智能合约/硬件/信息物理系统、钓鱼防护与欺骗等场景。

不同场景的交付物和验证方式差别很大：软件安全看报告、复现器和补丁，验证靠执行、回归和维护者复核；安全运营看查询记录、事件判断和响应建议，验证靠多源日志和业务上下文；取证看时间线和证据链，验证靠原始记录和可重复提取。模型能力只是其中一环，交付质量、周转时间和人工工作量才决定它是否真的有用。

5、三个值得记住的实验

5.1 同一个模型，换 Harness，结果和成本都会变

在 33 个 Cybench 任务上，同一个底层模型搭配三种 Harness：

• CSI::Codex 完成 15 个，总成本 1,713 美元；
• CSI::Claude 完成 15 个，总成本 5,122 美元；
• 共享黑板（shared-blackboard）完成 19 个，总成本 5,480 美元。

完成数一样，成本可以差近三倍；相比 CSI::Claude，多完成 4 个任务，成本只多 358 美元。Wiz Cyber Model Arena 在 2026 年 10 月 11 日的快照进一步给出 14 个模型 × 2 种 Harness 的 28 种组合：Claude Sonnet 5 换 Harness 后 pass@1 提升 17.3 个百分点，单位成功成本为原配置的 0.93 倍；Gemini 3.8 Flash Cyber 则下降 6.4 个百分点，单位成功成本为原配置的 0.94 倍。

图 3：同一模型在不同 Harness 下的成功率与成本差异。

这说明：分数和成本属于“模型 + Harness”的组合，而不属于模型本身。 只看模型榜单，很容易把 Harness 的贡献算到模型头上，或者反过来。

5.2 发现、利用、修复，是三件不同的事

BountyBench 在 25 个软件系统的 40 个漏洞上，把 Detect、Exploit、Patch 放进同一套环境。Codex CLI 搭配 o3-high、每个任务最多三次尝试，成功率分别是：

• Detect 12.5% ：只给目标，要求自主发现并验证漏洞；
• Exploit 47.5% ：给出漏洞描述，要求实现利用；
• Patch 90.0% ：给出已知缺陷，要求修复。

补丁任务换用 o4-mini 后，40 个任务中有 39 个补丁阻断了利用，其中 36 个同时通过功能不变式检查。ProtoArena 的提示分级也印证了难度差异：Claude Opus 4.8 在 L1 提示下成功率 48.8% ，到 L3 只剩 12.5% 。

自主发现之所以难，是因为它还要选择目标、形成可检验的假设，并在大量正常行为中识别可利用条件；而利用和修复是在更窄的搜索空间里做代码理解、调试和局部修改。“能修”不等于“能找”，“能找到”也不等于“能利用”。

5.3 从告警分类，到主动调查，再到恢复

SIR-Bench 在 794 个模拟云事件上评估安全运营 Agent：真事件检出率 97.1% ，误报拒绝率 73.4% ，但在真阳性事件中，新线索发现覆盖率只有 41.9% 。分类做得很好，不代表把事件解释清楚了。

STAIR-Bench 比较 STAIR 与 Claude Code，二者使用相同的 DeepSeek V4 Pro 后端，覆盖 14 个场景，每次运行限时 30 分钟，每个场景跑 10 次：恢复满意度 0.91 vs 0.78，动作成功率 0.92 vs 0.83。恢复不仅要“做对一步”，还要维持事件级状态，处理残留入口、关联主机和未完成目标。

这条链路可以概括为：分类 → 调查 → 响应 → 恢复。越往后，越依赖状态、协调和执行反馈，也越难用单轮问答替代。

6、这篇综述对当前 Cyber 模型的五个判断

如果只把这篇综述当“文献合集”，会低估它。它真正有价值的地方，是给出了五个可以直接用来做技术选型、评测设计和路线规划的判断。

判断一：只看模型榜单的时代正在结束，新的比较单位是“模型 + Harness + 预算”。

同一模型换 Harness，完成数和成本都会变；同一个分数，可能是不同工具、不同状态管理、不同重试策略堆出来的。未来的模型选型，不能只问“榜上第几”，要问“在我的任务、我的预算、我的 Harness 下，每完成一个任务要花多少”。

判断二：从“会答题”到“会做事”，分水岭是 Agentic 训练与可执行环境。

知识问答、材料分析、工具交互、多步执行，是四个逐级抬高的门槛。轨迹 SFT 学的是示范，Agentic RL 学的是在环境里试错、恢复和修正；后者的瓶颈不在算法，而在可执行环境、可验证反馈和失败样本的利用。谁能把真实任务变成可重复的训练环境，谁就更有机会把能力推到“完成”。

判断三：领域模型不会消失，但价值锚点从“知识覆盖”转向“能力密度 + 全生命周期成本”。

通用模型在变强，专用模型如果只卖“我读过更多安全语料”，价值会被迅速抹平。真正站得住的是：在给定参数和算力下，把高频任务做得更稳、更便宜；以及把权限、状态、验证这些系统能力接进来。小模型不自动便宜，大模型也不自动好用，最终要比的是“每完成一个有效任务的总成本”。

判断四：评测必须从“单点正确率”走向“端到端交付”。

答对一个选择题、定位到一个函数、生成一个补丁，都不是终点。评测要能回答：报告能不能被维护者受理？补丁能不能通过功能回归？告警调查能不能发现新线索？响应能不能真正恢复业务？同时报告成功率、时间、成本和人工提升，才能判断一个系统是否值得上线。

判断五：安全收益的终点是“修复 + 部署”，而能力越强，越需要可信执行。

发现加速，如果验证、修复、部署跟不上，积压和暴露窗口反而会扩大。

B(t+1) = max{0, B(t) + D(t) − F(t)}

这个简单的式子，把“发现”与“风险移除”之间的鸿沟写得很清楚；“merged ≠ deployed”则提醒我们，补丁合并不等于资产安全。

图 4：从发现、确认、积压，到修复、部署的漏洞流转。

与此同时，Agent 越能做事，越要回答“凭什么信它”：读入的是数据不是指令，记忆要带溯源，动作要最小权限、执行前检查、独立验证、可审计，关键操作要能按风险交给人。可用性不是“全部拦截”，而是“该拦的拦住、该做的做成”。

图 5：安全 Agent 的信任边界与人工接管点。

最后一个现实：攻防并不对称。 攻击者可以挑薄弱点集中资源，防守者要覆盖资产、保业务连续性、控响应成本。更强模型同时降低攻防成本，短期会加大响应压力；长期胜负，取决于防御改进能否累积、能否跑赢攻击策略的演化。

7、总结与展望

这篇综述最重要的结论，不是某个模型在某个榜单上高了多少，而是把安全大模型的能力来源讲清楚了：数据决定学什么，训练决定怎么学，模型决定能做什么，Harness 决定能不能做成，评测决定我们是否真的知道它做成了，应用决定它是否值得做。

对正在做 Cyber 模型的人来说，这篇综述的“引导意义”也在这里：它没有给出一个“万能配方”，而是给出了判断配方好坏的标准——任务是否对齐、监督是否匹配错误类型、环境是否可执行、反馈是否可验证、成本是否算全、收益是否能落到修复和部署。

往前看，综述给出三条相互关联的路线：

• Agentic 训练：从可执行环境中学习多步决策、失败恢复和工具使用；
• Model–Harness 联合优化：模型与运行时一起迭代，而不是各自优化；
• 反馈驱动的自进化：通过攻防自博弈持续生成任务和反馈，同时用独立验证、去重、失效和回归检查防止“学偏”。

用论文里的一句话收尾：“Adversarial interaction drives intelligence; intelligence advances security.” 对抗交互驱动智能，智能再反过来提升安全。而安全最终的收益，不在于发现了多少，而在于修复了多少、上线了多少、暴露窗口缩短了多少。

作者团队介绍

• 论文由阿里巴巴伏渊息壤（XekRung）团队牵头，联合清华大学、北京大学、南开大学、中国科学院信息工程研究所、中国科学院软件研究所、中关村实验室、泉城实验室等单位共同完成。团队负责人 Jiutian Zeng（联系邮箱：[email protected]），第一作者 Fasheng Miao（清华大学网络科学与网络空间研究院、阿里巴巴伏渊息壤团队Intern，联系邮箱：[email protected]）。
• 伏渊息壤（XekRung）是阿里巴巴安全团队面向网络安全领域的大模型系列，相关工作覆盖安全数据、领域训练、Agent 系统与评测。欢迎阅读原文，也欢迎通过邮件与作者交流讨论；对 Cyber 领域数据、训练及 AI-Native 等研究方向感兴趣的优秀人才，欢迎联系团队负责人进行简历投递。

安全学术圈 | 投稿须知
有兴趣加入学术圈的请联系 secdr#qq.com

---