AI能发现威胁,企业为何不敢让它自动处置?

admin 2026-11-19 00:42:58 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

AI能发现威胁,企业为何不敢让它自动处置?

数世咨询

2026年11月18日 16:00
河北

去阅读

*▍*以下正文内容基于英文原文编译,可能存在语义偏差,请以原文为准。

随着人工智能在网络安全运营中的应用不断深入,越来越多的企业开始利用AI识别威胁、分析异常行为,并辅助安全团队作出响应决策。

然而,当AI从辅助分析走向自主执行时,企业的态度却明显更加谨慎。

安全自动化厂商Tines在其《Security Hype Check》调查中发现,尽管91%的受访者计划在2027年进一步提高AI的自主性,但目前只有9%表示,AI已经在其安全工作流程中实现深度集成,并能够自主执行部分决策。

调查还显示,64%的受访者使用AI进行威胁检测或异常识别,而只有26%将AI用于威胁遏制,例如隔离受感染主机、禁用可疑账户等操作。

这意味着,在此次调查样本中,AI用于威胁检测的比例约为用于威胁遏制的2.5倍。

需要注意的是,此次调查仅涉及70名安全负责人及从业者,结果反映的是受访者的使用情况,并不能直接代表整个网络安全行业。

AI判断正确,也不意味着可以直接执行

为什么企业愿意相信AI的检测结果,却不愿让AI自主处置威胁?

本文通过一个支付系统的案例解释了其中的风险。

假设企业安全运营中心(SOC)发现,一个负责支付处理的服务账户出现可疑活动。AI智能体分析后认为,该账户可能已经遭到入侵,因此建议立即禁用。

从安全角度来看,这项建议可能完全正确。

但问题在于,如果该账户承担着关键支付业务,直接禁用它也可能导致支付服务中断,使客户无法完成交易。

这就产生了一个重要区别:

AI能够准确判断安全威胁,并不意味着它已经获得了采取相应处置措施的业务授权。

企业必须事先明确,在什么情况下允许AI立即执行隔离、封禁等操作,什么情况下必须经过人工审批,以及企业能够接受多大程度的业务中断。

阻碍AI自主处置的主要问题集中在三个方面:

一、企业尚未明确AI可以造成多大程度的业务中断

在上述支付账户案例中,安全团队首先需要了解该账户支持哪些业务流程、由谁负责管理,以及禁用账户后可能产生哪些连锁影响。

单纯的安全风险评分无法回答这些问题。

例如,同样是禁用一个可疑账户,可能只是暂停某项后台任务,也可能直接导致客户无法完成支付。

因此,企业需要由安全团队和业务负责人共同制定明确的处置规则,确定哪些风险可以立即采取措施,哪些操作需要人工批准。

这些规则还必须覆盖证据不充分、审批人员无法联系等特殊情况。

尤其需要避免的是,将审批人员没有回应视为默认同意。

本文强调,相关限制应当通过AI智能体的权限配置和执行控制机制落实,而不能仅依靠模型自身判断。

即使AI对威胁判断具有很高的置信度,也不能由模型自行决定企业应当承受多大的业务损失。

二、AI能够解释自己的决定,却未必能够证明操作合规

Tines调查发现,23%的受访者将审计过程中难以解释AI决策,视为扩大AI自主权限的主要障碍。这也是调查中最常见的障碍。

假设AI智能体禁用了支付账户,随后企业支付服务出现故障。

在事后调查中,AI可能给出一段看似合理的解释:账户行为符合凭据泄露的特征,因此有必要立即采取遏制措施。

但这种解释并不能证明,AI的操作符合企业既定的安全策略。

要完成真正有效的审计,企业需要保存AI执行操作时的原始证据,包括:

  • AI作出判断时掌握了哪些证据,以及证据的来源和时效性。
  • AI执行操作时依据的是哪个版本的安全策略。
  • 相关操作是否获得了必要的审批。
  • AI实际请求执行了什么操作,系统最终又执行了什么。
  • 安全处置是否真正达到预期效果。

例如,AI通过API成功提交了禁用账户的请求,并不意味着该账户的所有访问权限都已经被切断。

企业还需要确认现有会话是否仍然有效,以及相关访问是否真正受到阻止。

本文指出,AI生成的操作总结可以帮助审计人员理解事件经过,但不能替代执行过程中实际记录的证据。

此外,企业还必须明确异常事件由谁负责调查,以及在发现AI越权操作时,由谁暂停其自主执行权限。

如果AI准确识别了攻击,却在未经授权的情况下采取了行动,那么问题就不再是检测能力不足,而是安全治理机制失效。

三、撤销AI操作容易,恢复业务却可能非常困难

本文提出的第三个问题,是企业对错误处置后果的担忧。

在技术层面,重新启用一个被禁用的账户可能只需要几秒钟。

但如果账户禁用已经导致支付业务中断,恢复正常运营可能需要更长时间。

例如,失败的交易可能需要重新核对,重复重试可能造成重复交易,部分客户也可能因为支付失败而放弃购买。

因此,一项在技术上可以撤销的操作,并不意味着其造成的业务损失也能够完全恢复。

在赋予AI自主处置权限之前,企业应当针对关键业务开展多种场景测试,包括真实入侵、误报、账户信息过期、审批人员无法联系,以及处置措施仅部分成功等情况。

测试不仅要验证AI能否成功执行操作,还要确认当执行条件不满足时,AI是否能够停止行动或升级交由人工处理。

企业还应与业务负责人共同演练恢复流程,明确谁有权终止AI的后续操作,以及如何在不重新引入安全风险的情况下恢复业务。

衡量恢复效果时,也不能仅以账户重新启用作为终点,而应当确认相关业务已经真正恢复正常。

企业如何让AI从辅助检测走向自主处置?

本文认为,企业对AI自主处置持谨慎态度,并不意味着缺乏技术创新意愿。

除审计可解释性问题外,预算和监管合规要求也是重要障碍,两者在此次调查中各占22%。

但更根本的问题在于,企业是否已经建立能够支持AI自主执行的管理和控制机制。

在允许AI智能体自主采取安全措施之前,首席信息安全官(CISO)至少需要回答四个问题:

  1. 业务影响: 相关账户或系统支持哪些业务,由谁负责?
  2. 执行授权: 哪一项安全策略允许AI采取干预措施?
  3. 结果验证: 如何确认AI执行的安全处置真正生效?
  4. 恢复责任: 如果处置造成业务中断,需要多长时间恢复,由谁负责?

对于前文提到的支付账户,企业最终可能决定立即禁用,也可能要求人工审批。

究竟采取哪种方式,不能仅由AI模型的判断置信度决定,而应当依据企业事先制定的安全响应策略。

本文强调,AI可以帮助安全团队评估威胁,但是否允许AI执行处置,必须由明确的授权规则决定。

随着AI智能体在安全运营中的应用不断深入,企业需要解决的已不仅是如何提高威胁检测准确率,还包括如何建立可执行的权限边界、可追溯的审计记录,以及能够应对错误决策的业务恢复机制。

只有将这些要求纳入安全运营流程,企业才能在提高自动化效率的同时,控制AI自主处置可能带来的业务风险。

\* 注:图片均来源于网络,无法联系到版权持有者。如有侵权,请与后台联系,做删除处理。

— 【 THE END 】—

AI能发现威胁,企业为何不敢让它自动处置? 网络安全文章

AI能发现威胁,企业为何不敢让它自动处置?

企业虽然愿意利用AI进行威胁检测,但对其自主处置威胁持谨慎态度,主要担忧包括业务中断风险、操作合规性问题以及错误处置的恢复难度。文章通过支付系统案例阐述了AI自主处置的风险,并提出了企业如何让AI从辅助检测走向自主处置的建议。
解读|以中国之治探索回应智能时代之问——《人工智能安全治理框架3.0》解读 网络安全文章

解读|以中国之治探索回应智能时代之问——《人工智能安全治理框架3.0》解读

《人工智能安全治理框架3.0》发布,旨在回应人工智能时代的安全治理挑战,强调以人为本、向上向善的价值主线,将人类最终控制作为治理底线,并拓展治理范围至智能体、具身智能等技术的规划、决策、行为安全。框架关注风险跃迁,包括载体、空间和主体跃迁,并提出了相应的治理机制和措施。
评论:0   参与:  0