文章总结： 文章指出传统恶意软件检测因攻击者伪装而失效。作者提出基于NoveltySearch的新范式，将检测从二元分类转变为发现异常。通过构建正常行为空间并评估新颖性梯度，系统累积异常证据而非依赖标签。该方法适用于高级威胁发现，可与现有系统并行，提供可解释的异常度，为对抗复杂攻击提供了新思路。 综合评分： 87 文章分类： 恶意软件,AI安全,解决方案

从“检测恶意”到“发现异常”：基于 Novelty Search 的威胁检测新范式

原创

jishuzhain jishuzhain

OnionSec

2026年1月31日 16:58 广东

一年前有个想法，当初仅仅只是简单记录了粗糙的文字，随着对威胁检测领域地不断思考，基于认知优先与跨领域理论反证推导的思路持续对当初自己的想法进行了进一步的扩展与论证，记得2023年初自己一开始不知道威胁检测是如何实现的，也不知道它最终能真正做出效果所需要的路径是什么，我就想呀想，失败一次又得到一些经验。我现在明确得到的要诀还是基于哲学完备的前提下针对特定问题的解法所提出的想法可以天马行空甚至于脑洞大开，但是要快速实践去验证。我有这个动作还是因为有不断地思考练习，形成自己的习惯。本文不是工程落地的最佳实践指导，千万不要对号入座。

一提到威胁检测就会过分关注检出率，就像考试一样，分数明明白白可以实现排名。比如我以前一上来就是关注检出率，直接关注恶意性，我要一次性就能检出恶意软件且误报率极低。一次次的尝试最终的结果一定是失败的，以下是我对失败原因的深度思考，失败原因的本质如下：

绝大多数真实系统中，“正常”本身不可定义、不可收敛、不可稳定。今天看到的主流威胁检测表面上是检测恶意，实际上是在受控条件下，用异常或相似性替代“正常”。正常行为是时间依赖的、环境依赖的、个体依赖的，“正常”本质上是：人 + 业务 + 时间 + 历史 + 机器 的函数。这意味着没有全局正常模型，仅依赖AI算法的威胁检测系统仅仅只是一个子集，现实情况是根本没有办法完整模拟出所有的全局正常的弥合函数，那必定100%无法分割出“正常”与“恶意”的明显边界，不完美的结果意味着肯定存在无法避免的误报，直接用于实时威胁检测的情况下随着时间推移肯定会出现误报隐患。

威胁检测的难度可以分类为容易的、一般的、困难的，容易的应当基于传统路径实现覆盖（主流杀毒软件一直在持续投入的事项），一般的可以付出一些成本后使用先进方法实现覆盖，至于困难的，在实现问题抽象建模以及哲学完备后我会优先选择本文提到的思路进行实践指导，更多地将其应用于高级威胁发现或者主动狩猎APT型恶意软件，对实时性要求偏低可以有更多的资源用于实验。

在当前主流的恶意软件检测体系中，无论是基于特征的杀毒引擎、基于规则的检测系统，还是近年来被广泛讨论的 AI / 深度学习检测模型，其核心建模方式几乎高度一致：

——将恶意软件检测问题视为一个“分类问题”。

然而，在真实的对抗环境中，这种建模方式正在系统性失效。攻击者不再追求功能创新，而是以“最大限度接近正常”为目标，通过混淆、虚拟化、语义保持变换等手段，使样本在统计分布上不断向良性样本靠拢。最终的结果是：模型越来越复杂，但确定性却越来越低。

本文尝试跳出“是否恶意”的二元判断框架，借鉴 Novelty Search（新颖性搜索）算法的核心思想，从认知机制、统计建模和工程可落地性三个层面，系统性地重构威胁检测问题的定义方式。

一、人脑是如何判断“这是恶意的”？

在实际分析工作中，经验丰富的分析人员往往并不是通过“是否命中某条规则”来判断恶意性，而是基于长期积累的经验形成一种近似直觉的判断：

“这个文件看起来不对劲。”

这种判断并非玄学，而是高度依赖以下三点：

1. 对“正常行为”的深度内化；

2. 对历史恶意样本的相似性记忆；

3. 在特定上下文中对概率的偏向性判断。

换句话说，人脑并不是先判断恶意，而是先排除正常。

二、为什么工业界很少“从正常出发”？

一个常见的疑问是：既然正常行为更稳定，为什么威胁检测系统不直接以正常性建模为核心？

答案并不在于“不可行”，而在于“历史工程路径依赖”。

正常行为空间是高维、开放且不断演化的；而恶意样本在统计上往往更加结构化，更容易被标注、被训练、被评估。

但这是一种工程妥协，而不是理论最优解。

三、Novelty Search 的核心思想

Novelty Search 最早提出于进化计算领域，其目标并非寻找最优解，而是持续探索“与已知不同的解”。

这一思想与恶意软件检测存在天然的契合点：

我们真正关心的，并不是“它是否属于某个已知家族”，

而是“它是否显著偏离了我们对正常世界的认知”。

四、从分类问题到发现问题

在新的建模范式下，恶意检测不再是一个输出标签的函数，而是一个持续累积证据的过程：

1.构建正常性数据

通过历史良性样本，构建稳定、低维、可解释的正常行为空间（人脑并不存储“正常全集”，人脑只存储“危险模式的压缩表示”）。

2.新颖性梯度评估

任何未知文件都被视为对该流形的扰动，其“异常程度”是连续量，而非二值。

3.概率偏向累积

当一个样本在多个独立视角下持续表现为高新颖性（这里定义为不合理性），其被归类为恶意的后验概率迅速上升。

五、这种方法为什么有可能是“可落地的”？

与黑盒 AI 模型不同，该体系具备以下工程优势：

• 不依赖精确标签；

• 可与现有规则、模型、沙箱并行部署；

• 输出的是“异常证据”，而非不可解释的分数。

六、结语

恶意软件检测的核心难题，从来不是“模型不够复杂”，而是“问题被错误建模”。当我们不再执着于“是否恶意”，而是专注于“是否异常”，恶意样本反而会自然地浮现出来。这或许不是一条最热闹的道路，但极有可能是一条更接近问题本质的道路。

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：OnionSec jishuzhain jishuzhain《从“检测恶意”到“发现异常”：基于 Novelty Search 的威胁检测新范式》