AI 安全基准测试越来越多，但没有任何一项能说明全部问题

数世咨询

2026年10月30日 16:00
河北

去阅读

*▍*以下正文内容基于英文原文编译，可能存在语义偏差，请以原文为准。

网络安全企业和基础模型开发商正在不断提升人工智能（AI）系统的性能与效率，但如何准确量化这些改进，仍然是一项挑战。

几乎每周都有厂商宣称，新模型的效率更高、Token 成本更低。然而，要判断这些模型的实际表现是否能够媲美同系列中用途更广泛的模型，仍然并不容易。对企业而言，关键启示是：应当根据自身的代码和工作流程测试模型，从而选择最符合业务需求的方案。

例如，专注于国家自主 AI 和网络防御的企业 Dream Group，利用 22 万份漏洞记录、威胁情报报告、检测规则及其他网络安全文档，训练了一个拥有 80 亿参数的模型。它属于当前规模较小的现代模型，目标是在网络安全任务中实现高效运行。

这个模型名为 中训练安全 Transformer（Mid-trained Security Transformer，MiST）。在 13 项网络安全任务中，它的平均表现有所提升。这些任务主要采用选择题和判断题的形式，考查漏洞分析及网络安全领域的相关知识。

Dream Group 的 AI 研究人员 Elad Ben Zaken 表示，研究结果表明，更强的安全能力并不一定需要更复杂的模型；更有针对性的训练，以及围绕模型构建更完善的软件系统，同样能够改善结果。

他表示：“通过专业化训练和更好的工作流程，模型在编码和安全任务上的效率预计还会持续提高。模型本身提供能力，而运行框架决定了它能够多有效地利用上下文和工具。无论是增加模型能力，还是增加配套组件，都可能推高成本，却不一定改善结果。”

Dream Group 并不是唯一一家致力于提高模型效率的企业。例如，Anthropic 在 9 月发布 Opus 5.5 时表示，与 Opus 5 相比，新模型在典型工作负载下的性能有所提升，成本则降低了 40%。

AI 安全基准测试种类繁多

然而，在网络安全任务中，几乎不存在所谓的“典型”场景。某个模型在一项基准测试中的表现，对希望借助 AI 生成安全代码，或有效发现企业攻击面的薄弱环节的组织而言，未必具有太大参考价值。在进攻性安全领域，研究人员正开发自己的基准测试，以衡量专门面向网络安全的模型的实际能力。

对于进攻性安全公司 XBOW，最重要的指标是模型发现和利用漏洞的能力。由于不同客户可能希望使用特定模型，该公司会自行构建运行框架，以便无论采用哪种模型，都能尽可能取得更好的结果。XBOW 的 AI 负责人 Albert Ziegler 表示，其他组织可能更希望利用 AI 分析防御侧的遥测数据和信号，以提高潜在攻击的检测能力；而 XBOW 的评估重点则是发现漏洞及漏洞利用链。

Ziegler 表示：“从最基本的层面来看，关键在于模型能否找到可利用的漏洞。这正是我们的核心工作，也是我们衡量模型价值的主要依据。当然，对其他公司来说，核心价值可能完全是另一回事。”

另一项基准测试 SEC-Bench Pro，旨在衡量 AI 智能体能否自主重新发现并触发浏览器引擎或 Linux 内核中已知的内存安全漏洞，但前提是研究人员已经指定漏洞的大致位置和类型。

这项指标由伊利诺伊大学厄巴纳-香槟分校的一个研究团队开发。测试结果显示，Codex 和 GPT-5.5 目前表现领先，整体解题成功率为 58%。

测试还发现，开放权重模型往往表现不佳。例如，GLM-5 在 344 个测试案例中仅成功完成了 13 个。

另一些指标则评估 AI 模型在完整攻击链中的黑客能力。例如，政府承包商 Booz Allen 发布了 网络武器指数（Cyber Weapons Index，CWI），综合评估模型发现和利用漏洞的能力，以及对目标执行攻击的实际效果。

该指数的最新版本中，OpenAI 的 GPT-6 Astra 以 80.5 分位居榜首，略高于 Claude Mythos 的 80 分。

Booz Allen 高级副总裁兼 AI 负责人 Eric Syphard 表示：“CWI 为评估进攻性网络能力提供了一种基于实证的方法：让模型在统一的企业网络环境中接受测试，并依据网络证据对其实际完成的操作进行评分，而不是依赖模型自述自己能够做什么。没有任何单一指标能够涵盖所有安全风险。评估必须围绕待测能力进行设计，并清楚说明测试方法、环境和成功标准。”

与此同时，英国 AI 安全研究所（AI Security Institute，AISI）持续对 AI 模型完成一条包含 32 个步骤的攻击链的能力进行基准测试。截至目前，只有两个模型能够完成这一任务：Anthropic 的 Claude Mythos Preview 和 OpenAI 的 GPT-5.5。

在自己的研究中，Dream Group 的研究人员还发现，通过专家精心整理的核心知识数据库，也就是“种子语料库”，可以生成面向特定领域的合成训练数据，从而避免专业模型训练过度依赖通用知识数据库。

最新的 MiST-8B 和 MiST-30B-A3B 模型，使用了 13 种不同的测试数据集进行评估。其中包括 1,072 道有关 MITRE ATT&CK 的选择题（SECURE-MAET），以及 870 道判断题，用于判断特定代码是否存在漏洞（PrimeVul P-C）。

安全基准测试有价值，但内部测试更重要

总体而言，AI 模型涉及的各种特征、能力和问题，很难通过一套全面的基准测试进行衡量。无论是进攻性安全指标，还是防御能力评估，都在快速发展；相比之下，安全性等其他领域的评估更加困难。

英国 AI 安全研究所发现，能力最强的一些模型往往也会执行非预期操作。例如，OpenAI 的 GPT Astra 曾实施未经授权的供应链攻击。不过，目前对模型整体安全性的评估，仍更多依赖个别案例，而非全面、系统的测试。

XBOW 的 Ziegler 表示，要建立一个能够衡量模型执行非预期操作可能性的指标，难度非常大。

他说：“要对模型造成危害的可能性进行基准测试，极其困难。你对模型运行某个测试案例 1,000 次，它一次危害行为都没有发生；但到了第 1,001 次，它却把数据库删掉了。那么，此前 1,000 次的良好表现，就会被这一次彻底推翻。”

此外，Sonar 是一家提供 AI 代码验证与治理工具的公司。该公司总经理兼 AI 研究人员 Joe Tyler 指出，模型更新并不意味着安全性一定更高，安全能力也不一定更强。

Sonar 会定期将最新的大语言模型（LLM）送入测试流程，围绕一系列基准指标生成评分，评估范围包括认知复杂度，以及模型生成的代码中出现漏洞的情况。随后，公司会将结果发布在其“代码质量与安全 LLM 排行榜”上。

Tyler 表示，这类排名可以帮助企业大致了解不同模型的表现，但在评估大语言模型的安全能力时，它们只能作为起点。企业应当根据自身情况，定制相应的测试流程。

他说：“应该从具体任务以及那些绝不能接受的失败开始，而不是想当然地认为最新模型就是正确选择。公开基准测试有助于缩小候选范围，但最终决策必须基于能够反映企业自身代码和工作流程的评估。”

此外，大多数企业在选择模型时，还会受到自身已采用的技术平台的限制。因此，安全团队不一定应当把重点放在挑选某个特定模型上，而应寻找能够提高效率、扩大安全覆盖范围并加快响应速度的 AI 服务。

XBOW 首席信息安全官 Nico Waisman 表示，攻击者正在采用 AI，这意味着企业将面临更多漏洞，以及更短的漏洞利用时间。因此，企业应投资于能够帮助安全团队加快工作、自动化重复任务并缩短漏洞修复周期的工具和流程。他强调，企业应关注 AI 解决方案带来的实际影响，而不是模型在基准测试中的原始分数。

Waisman 表示：“归根结底，我不会根据 AI 安全工具使用了哪个模型，或者演示效果有多惊艳来评估它。我会关注可衡量的实际结果：它是否帮助你发现了真实风险？是否降低了你的风险暴露程度？是否显著提高了团队的工作效率？安全预算就应该投入到这些方面。”

\* 注：图片均来源于网络，无法联系到版权持有者。如有侵权，请与后台联系，做删除处理。

— 【 THE END 】—