AI挖洞最大的瓶颈，不是模型不够聪明，而是它根本不知道“什么时候该停”

原创

www.klsec.com
www.klsec.com

昆仑AI安全实验室

2026年10月31日 01:05
广东

去阅读

2026年8月，一个安全研究员在dev.to上记录了他构建自主漏洞挖掘Agent的过程。测试全部通过，日志全绿。他把Agent对准一个真实靶机——一个运行着已知后门FTP服务的端口，老路径每次都能弹Shell的那种。

十六次迭代之后，日志里只有一行：“Nothing worked on port 21.” 零Shell。

模型选对了目标，正确识别了有漏洞的服务，判断完全正确。问题出在下游：确认器依赖一个nonce令牌来证明漏洞利用“真的执行了命令”，但真实的攻击路径从未生成那个nonce。漏洞利用触发了，生成了nonce绑定的证明，但确认器没有东西可以检查——没有token进去，就没有确认出来。而测试之所以全绿，是因为测试喂给确认器的是一个硬编码的uid=0(root)字符串，那个断言在nonce硬化之前是对的，硬化之后再也没有被更新过。

这个故事精确地描述了2026年AI挖洞的真正瓶颈。不是“找不到”，是找不到“停”的理由，也找不到“确认”的路径。

一、基准分数在涨，但“完成”的定义在崩塌

2026年10月，360的图龙锋在CyberGym上刷到99.4%的漏洞复现成功率，1507个任务三轮评测全部在99.27%以上。同月，Ostorlab Neutron在同一个基准上拿到97.1%。XBOW的商业系统在104个Web应用挑战上自报85%，声称28分钟完成了一个20年经验渗透测试员一周的工作量。

这些数字看起来在说同一件事：AI挖洞的能力在逼近甚至超越人类。

但“复现已知漏洞”和“决定什么时候停止搜索”是两种完全不同的能力。CyberGym的任务是“给定一个已知存在的漏洞，证明你能利用它”。真实渗透测试的任务是“在一个未知的环境中，判断哪里值得继续挖、哪里应该放弃、什么时候手里的证据已经足够支撑结论”。前者的停止条件是外部给定的——漏洞就在那里，找到并利用它就结束。后者的停止条件必须由Agent自己生成，而AI在这一步上，几乎没有可靠的机制。

Vulnetic.ai在一篇分析里把这个问题说得很清楚：人类渗透测试通常在三种情况下结束——时间窗口到了、授权范围覆盖得够充分了、或者团队手里的证据足以解释风险。这不意味着每一条路径都被穷尽了，而是测试者基于人类注意力的成本做出了“哪里值得再花一小时、哪里太投机不值得继续”的判断。AI改变了这个成本结构，但也因此改变了停止条件本身。当一次尝试的成本从“计费小时”变成“token”，探索一条路径的门槛降低了，一个线索不需要“看起来立刻有希望”才值得测试，只要它“可信、在授权范围内、且安全”就够了。

问题在于：当探索变得廉价，“完成”的标准必须变得更高，而不是更低。 Vulnetic的结论是，一个严肃的AI渗透测试应该能够展示“尝试了什么、Agent在哪里停止、哪些路径失败了、哪些路径产生了杠杆、以及不确定性仍然存在于哪里”。但2026年绝大多数AI挖洞系统，能展示的只有“找到了什么”，展示不了“为什么停在这里”。

二、三重失效：为什么AI的“停止”是不可靠的

“不知道什么时候该停”不是一个单一的缺陷，是三个层面的同时失效。

第一层：认识论失效——AI无法区分“我找到了”和“我编造了”

LLM被优化的是“看起来合理”，不是“事实上正确”。这在安全任务上造成的后果比在通用任务上严重得多。

2026年6月发表的一项大规模校准研究，评估了GPT-4o-mini、Gemini-2.0-Flash和Qwen3-Coder-Next在安全任务上的置信度校准。结论是：过度自信在所有被评估的模型中普遍存在。更关键的是，在受控基准上表现尚可的校准机制，在真实的仓库级场景中显著恶化，增加了“高置信度的脆弱输出”的风险。换句话说，模型在简单任务上能相对准确地知道自己“知不知道”，但在真实代码库的复杂度面前，这个能力会退化。

Refute-or-Promote论文记录了一个更刺眼的案例。在一个31天的漏洞发现活动中，他们的流水线在约171个候选漏洞里杀掉了79%才推进到披露阶段。但最有教学意义的失败是：十名专职审核者一致认可了OpenSSL CMS模块中一个根本不存在的Bleichenbacher填充预言机。这个假阳性最终被一个单一的实证测试杀死，而这个测试之前没有人想到要跑。论文的结论很直接：“对抗性框架本身是不够的”——更好的辩论、更多的Agent、更聪明的Prompt，都杀不死一个所有Agent都“相信”的幻觉。唯一可靠的停止信号来自外部实证，而不是内部共识。

第二层：工程学失效——Agent没有一个“牙齿”来咬住自己

feinterview那篇文章的作者在复盘“零Shell”事件之后，重新设计了Agent的终止逻辑。他列出的“牙齿”很具体：

• 迭代预算：最多跑多少轮。
• 墙钟截止时间：最多跑多久。
• 终止开关：外部可以随时叫停。
• 停顿检测器：信念状态停止变化时停止——如果Agent不再学到新东西，继续跑只是在重复自己。

还加了一个重复守卫：如果策略重新发出一个已经试过的动作，不重新运行它，直接计为一次重复。以及一个适应度分数：记录每次重新规划产生的新动作是“真正新颖的”还是“旧动作的重新排列”，用新颖/总数的比值来衡量模型是否真的在适应。

这些机制解决的问题是：Agent不知道“够了”是什么意思，所以你需要从外部给它一个“不允许继续”的约束。 但大多数AI挖洞系统没有这些“牙齿”。它们要么跑到预算耗尽，要么跑到模型自己“觉得”可以了。前者浪费钱，后者不可信。

第三层：经济学失效——token曲线没有拐点，所以“停”没有自然信号

英国AI安全研究所（AISI）2026年的评估给出了一个关键数据：漏洞发现性能随token预算线性增长，在每次尝试1亿token的范围内，没有可见的边际递减。

这意味着什么？意味着在Agent的视角里，“再多试一次”永远是有正期望值的。不存在一个“再挖也挖不出东西了”的自然拐点，至少在前沿模型的能力范围内不存在。搜索曲线一直在爬，所以“停止”永远是一个外部施加的经济决策，而不是Agent自己能从数据中推断出来的结论。

AISI的另一个数据更直观：Mythos Preview解决“The Last Ones”——一个AISI估计需要20人类小时的32步企业网络模拟——花了3次尝试中的3次成功，每次尝试的成本约为12,500美元。这个成本结构下，“什么时候停”不是一个技术问题，是一个预算分配问题。Breunig对此的总结被AgentPatterns.ai引用为“proof-of-work”类比：要硬化一个系统，防御方需要在漏洞发现上花费比攻击者更多的token。当攻击者和防御方搜索同一个表面，谁资助更长的搜索，谁先找到更多漏洞。

所以“不知道什么时候该停”的另一面是：在token经济学下，“停”的决定权不应该在Agent手里，因为Agent的优化目标（发现更多）和部署者的优化目标（在给定预算内最大化可信发现）并不总是一致。

三、2026年的基准分数为什么掩盖了这个问题

CyberGym的99.4%、XBOW的85%、ExploitBench的54.4%——这些数字衡量的是在已知漏洞存在的前提下，Agent能不能复现/利用它。它们的停止条件是“找到并证明那个已经知道在那里的东西”。

但真实的安全评估中，Agent面对的是一个开放搜索空间。它不知道漏洞在哪里、有多少、哪些值得追。在这个空间里，“完成”不是一个可验证的二元事件，而是一个需要被构造和论证的判断。Vulnetic.ai的观察切中了要害：AI渗透测试正在从“chat era”（人给目标、人定义范围、人引导过程）向API化演进，在这个演进中，操作员的角色从“执行者”变成了“定义安全范围、控制升级、解读攻击链、验证影响、以及决定‘坚持’什么时候变成了‘浪费’”的人。

这不是说Agent不能辅助“停止”决策。它可以提供覆盖率台账、信念状态的变化曲线、重复率、新颖性比值——这些都是有用的信号。但最终按下“停止”的那个动作，在2026年的技术条件下，仍然需要人类来判断。腾讯云鼎实验室在2026年10月的分析中把这个判断写进了L5级自主系统的定义里：“两边的L5都没有到达，而且卡住的都不是算力或算法——是责任归属、停止机制与可审计的安全论证。”

四、工程化的“停止”框架：不是等更强的模型，是建更硬的约束

如果你在构建或使用AI挖洞系统，2026年可以落地的“停止”设计不是“让模型更聪明地知道自己什么时候该停”。是从外部把停止条件工程化。

第一，把“完成”从模型的语言里拿走。 不要让Agent说“我完成了”。让它输出“覆盖率台账”和“未覆盖清单”。一个模块被标记为“已覆盖”，不是因为模型觉得够了，是因为这个模块的每一个入口点都被至少一个测试用例触达过、每一个Sink都被至少一次追踪过、每一条失败的利用路径都被记录过。覆盖率是可核对的产物，不是模型的自评。

第二，用“证伪”而不是“证实”作为推进条件。 Refute-or-Promote的经验是：候选发现必须经过一次“对抗性击杀”——没有任何Agent能成功证伪它，它才被提升。任何一个Agent成功证伪，它就被杀死。证伪比证实更容易，也更可靠。一个Agent找不到证伪证据，比一个Agent声称“我确认这是真的”，可信度高得多。

第三，把预算曲线作为停止信号，而不是把“没有新发现”作为停止信号。 AISI的数据说明搜索曲线不会自然平缓。所以停止条件应该设在经济层面：单位token的“可信新发现”产出率低于一个预设阈值时停止，而不是等到Agent自己“觉得”没有新东西了。这个阈值是部署者定义的，不是模型推断的。

第四，保留一个不可绕过的外部实证门。 feinterview的教训是：测试全绿不等于真实有效。确认器必须检查模型无法控制的证据——一个nonce、一个带外回调、一个沙箱内的执行副作用。如果确认器可以被模型生成的字符串满足，它就不是确认器，是回音壁。

写在最后

2026年AI挖洞的能力曲线仍然在爬。CyberGym的99.4%是真实的，XBOW的28分钟对比一周也是真实的。但这些数字回答的是“能不能找到”，不是“知不知道该停”。

真正卡住自主渗透系统的，是“停止”从来不是一个模型能力问题，是一个认识论、工程学和经济学同时作用的问题。模型无法可靠地区分“我找到了”和“我编造了”，Agent没有内在机制来约束自己的搜索，token曲线在可见范围内没有自然拐点。这三件事加在一起，意味着“什么时候停”的答案不在模型内部。

单模型的“全能”是统计幻觉，而“知道什么时候该停”是另一个层面的幻觉——它假设Agent有一个足够可靠的内部信号来告诉自己“够了”。2026年的现实是，这个信号不存在。你需要从外部把它建出来。

停止不是一个等待更聪明模型来解决的技术问题。停止是一个治理问题：谁定义“完成”、谁持有预算、谁有权按下终止开关、谁对“停在这里”的结论负责。把这些事情交给一个不知道“停”是什么意思的Agent，才是AI挖洞在2026年真正危险的地方。

严正声明

本文所述所有基准数据、漏洞案例及停止机制设计，仅用于已获得明确书面授权的安全测试、代码审计、红队演练和安全研究场景。CyberGym、XBOW等基准的分数来自公开披露，实际效果因模型配置、任务类型和评估方法而异。AISI的token预算数据来自受控合成环境，不应直接外推为真实企业环境的成本模型。未授权扫描、测试、攻击行为违反《中华人民共和国网络安全法》第27条及《刑法》第285条，将承担法律责任。技术无罪，边界是法律。