单模型“全能”是统计幻觉：Mythos标记6202个漏洞只修了75个，而MDASH用100个Agent做到了单模型做不到的事

原创

klsec.com
klsec.com

昆仑AI安全实验室

2026年10月30日 00:00
广东

去阅读

2026年5月，微软的MDASH在CyberGym基准上拿到88.45%，Anthropic的Mythos Preview是83.1%，OpenAI的GPT-5.5是81.8%。

差距只有5个百分点。但Synack的分析师在拆解这个结果时说了一句比分数重要得多的话：“Mythos标记了6202个高危漏洞，其中只有75个被修补。瓶颈从来不是修复能力，是‘有多少发现能被人证明’。”

MDASH和Mythos用的是同一类模型。区别只有一个：MDASH把超过100个Agent编排成了一条“扫描→辩论→证明”的流水线，而Mythos是单模型在Agent框架里跑。

Synack的结论很直接：“Orchestration is the variable.”

单模型的“全能”是一种统计意义上的幻觉。它在某些任务上表现很好，但它的能力边界不是“它能不能做”，而是“它能不能稳定地、可证明地做”。而多Agent交叉验证解决的，恰恰是后面那个问题。

一、单模型的三个结构性缺陷：漏报、不稳定、无法证明

先看数据，再看逻辑。

Appen在2026年6月用21个前沿模型跑了141个人工验证的漏洞。表现最好的Claude Opus 4.8召回率是62.4%，意味着近38%的专家确认漏洞被漏掉了。没有任何一个模型超过70%。

这不是“模型不够聪明”的问题。这是单次推理的固有方差。Snyk的VulnBench数据更刺眼：近50%的LLM-only漏洞报告，在5次完全相同的扫描中只出现了1次。同一个模型、同一份代码、同一个Prompt，跑5次，一半的“发现”只出现一次。

这意味着什么？意味着如果你只跑一次单模型，你拿到的那份报告，有一半的结论经不起“再跑一次”的检验。它可能是一个真实的漏洞，也可能是一个采样噪声。你无法区分。

第三个缺陷更致命：无法证明。单模型可以告诉你“这里可能有一个SQL注入”，但它经常无法把“可能”变成“确定”。Mythos标记了6202个高危漏洞，但只有75个被修补——不是剩下6127个都是误报，而是没有人（包括Mythos自己）能证明剩下的那些是真的。证明一个发现，需要构造PoC、验证可达性、排除误报。单模型在一次推理里做不完这些事，做完了也未必可信。

单模型擅长“提出假设”，不擅长“证伪假设”。而安全工作的核心，恰恰是证伪。

二、多Agent交叉验证的三种核心架构：辩论、对抗、流水线

多Agent不是“把同一个问题问10个模型然后投票”。那只是把单次推理的方差平均掉，解决不了“无法证明”的问题。有效的多Agent架构，核心在于角色分离和上下文隔离。

架构一：MDASH的“审计→辩论→证明”流水线。

MDASH的100多个Agent被组织成三个明确阶段：第一组“审计Agent”扫描代码、标记候选漏洞；第二组“辩论Agent”对每一个发现进行交叉验证，判断它是否真实、是否可利用；第三组“证明Agent”构造PoC，确认漏洞能被触发。

关键设计是辩论阶段的多Agent家族。不同Agent用不同的模型、不同的分析视角去审视同一个发现。一个Agent说“这是注入”，另一个Agent的任务是找出它为什么不是——不可达的代码路径、被上游校验拦截的输入、只在测试环境生效的配置。只有经过辩论存活下来的发现，才进入证明阶段。

这个架构把“误报过滤”从“模型判断”变成了“流程约束”。模型仍然会犯错，但流程保证了一个模型的错误不会被另一个模型原样背书。

架构二：Hunter/Skeptic/Referee的对抗式三角。

这是Claude Code生态里被广泛使用的bug-hunt模式。三个Agent在完全隔离的上下文中运行：Hunter的任务是“尽可能多地报告问题”，偏向过度报告；Skeptic的任务是“尽可能多地推翻问题”，偏向过度否定；Referee的任务是“根据证据裁决”。

隔离是关键。三个Agent之间不共享上下文，“no agent sees what any other agent wants to hear”。这消除了确认偏差——Hunter不知道Skeptic会怎么反驳，Skeptic不知道Hunter的原始意图，Referee只看到双方提交的证据。

Anthropic自己在2026年7月也承认了这个模式的有效性：Claude最初标记了数百个潜在问题，其中包含“幻觉漏洞”（看起来危险但实际不可达或逻辑上不可能的代码）。Anthropic的解法是“用一个Claude实例去尝试推翻另一个Claude实例的发现”。

架构三：Refute-or-Promote的阶段门禁。

这个模式把“证伪”做成了准入条件，而不是可选项。候选发现在每一个阶段都必须经过一次“对抗性击杀”——如果没有任何Agent能成功证伪它，它才被提升到下一阶段；任何一个Agent成功证伪，它就被杀死。

这个设计的精妙之处在于：它不要求Agent“判断这个漏洞是不是真的”，它要求Agent“尝试证明这个漏洞是假的”。 证伪比证实更容易，也更可靠。一个Agent找不到证伪证据，比一个Agent声称“我确认这是真的”，可信度高得多。

三、实战数据：交叉验证把误报率打到了什么程度

理论讲完了，看数字。

VulAgent用“假设验证”驱动的多Agent架构，准确率平均提升6.6个百分点，误报率相对近期LLM基线降低36%。

AuditGPT把LLM和静态分析编排在一起，将CodeQL的误报率至少降低56.3%，同时达到57.4%的PoC验证覆盖率。

Checkmarx的混合引擎在三层扫描过滤后，误报减少60%，F1分数达到0.74，是其他工具和模型的3倍以上。

奇安信在2026年国家级AI赋能网络安全测试中的方案更直接：“通过专用模型初筛、智能体深审与调用链验证三路交叉校验，坚持‘证据优先’，证伪数量多于确认数量，确保每条结论可复核、可追溯。”

ARTEMIS在ICLR 2026的对照实验里，和10位专业渗透测试员在同一个真实生产网络（约8000台主机）中测试。ARTEMIS以9个有效漏洞、82%有效提交率拿下总榜第二，压过10人中的9人。但同时暴露了它的短板：高假阳率、不会操作GUI。

这个“但是”很重要。多Agent交叉验证降低的是“提交前的误报率”，不是“生成阶段的假阳性率”。 ARTEMIS生成了大量候选，82%的有效提交率意味着18%的提交仍然有问题。但如果没有交叉验证，这个数字会高得多。

另一个值得看的信号来自HackerOne的Agentic PTaaS：约88%的准确率、低误报率，对比的是他们的基准测试套件。这不是“完美”，但在工程上已经进入了“可以让人去复核”的区间。

四、为什么“单模型全能”在统计上不成立

回到Appen的数据：21个前沿模型，没有一个召回率超过70%。这不是“还没有足够强的模型”的问题，是单次推理的固有上限。

一个模型在一次前向传播中，只能沿着一条推理路径走。它看到了一段代码，判断“这里有注入”，然后输出。它没有机会“换一个视角再看一遍”，没有机会“假设自己错了然后去找反证”，没有机会“让另一个模型来挑战自己”。

多Agent交叉验证做的事情，本质上是在推理层面引入采样和对抗。同一个问题，用不同的上下文、不同的角色、不同的模型去看，命中的漏洞集合是部分重叠的。重叠的部分是高置信度的，不重叠的部分是需要进一步验证的。“部分重叠”本身就是一种信号——一个发现被三个独立Agent都标记了，它的先验概率远高于被一个Agent标记的发现。

这就是为什么MDASH用同一类模型，只是换了一种编排方式，就能在CyberGym上超过单模型5个百分点。5个百分点看起来不大，但在“证明”这个环节上的差距，远远大于5个百分点。 Mythos标记了6202个，修了75个；MDASH的流水线里，“证明”是必须经过的第三阶段，不是可选项。

五、局限性：多Agent不是万能药

必须说清楚三件事。

第一，成本。 MDASH用了100多个Agent，token消耗是单模型的几十倍。Synack在分析中专门把“orchestration and its token cost”列为需要评估的五个问题之一。不是所有场景都值得用100个Agent去审一个代码库。

第二，编排质量决定上限。 MDASH和Mythos用的是同一类模型，差距来自编排。这意味着多Agent系统的效果，取决于编排设计者的水平。一个糟糕的编排——比如让三个Agent共享上下文、或者让同一个模型扮演三个角色——不会比单模型更好。Hunter/Skeptic/Referee的隔离设计，MDASH的辩论阶段多模型家族，这些细节才是效果来源。

第三，它仍然不能替代人。 ARTEMIS的82%有效提交率是“AI自主提交”的数据，但在真实SRC和红队场景里，人的判断仍然是最后一关。多Agent交叉验证把“需要人复核的候选”从100个压缩到10个，但它没有把10个压缩到0个。它的价值是让人的时间花在更少、更可能真实的发现上，而不是替代人的判断。

写在最后

杀毒引擎从来不只用一家。不是因为某一家引擎“不够强”，是因为任何单一引擎的误报和漏报模式都是可预测的。两个独立引擎都标记的样本，恶意概率远高于一个引擎标记的样本；两个引擎结论冲突的样本，需要人工介入。

多Agent交叉验证的逻辑完全一样。单模型的“全能”是一种统计幻觉——它在平均意义上表现不错，但你在单次运行中拿到的，是一个方差极大的采样。 多Agent用角色分离、上下文隔离、对抗性证伪，把这个方差压下来，把“可能”变成“可证明”。

MDASH比Mythos高5个百分点，不是因为它用了更强的模型。是因为它在“证明”这个环节上，没有给幻觉留后门。

严正声明

本文所述所有多Agent架构、基准数据和漏洞案例，仅用于已获得明确书面授权的安全测试、代码审计、红队演练和教育研究场景。MDASH、Mythos、ARTEMIS等系统的测试结果来自公开基准和厂商披露，实际效果因代码库、模型配置和编排设计而异。VulAgent、AuditGPT、Refute-or-Promote等方法论论文的引用仅用于技术分析，不构成对任何工具的推荐。未授权扫描、测试、攻击行为违反《中华人民共和国网络安全法》第27条及《刑法》第285条，将承担法律责任。技术无罪，边界是法律。