文章总结: Gartner《守护智能体市场指南》指出,随着AI智能体自主性增强,其风险已超人工管控能力,守护智能体(专门监控、管控、防护其他AI智能体的独立智能体)成为关键治理工具。当前市场处于早期阶段,主要提供监控与状态管理功能,实时干预能力有限;建议企业启动跨部门AI智能体盘点计划,优先采用独立于AI平台的守护智能体解决方案以实现跨云治理,并针对守护智能体本身实施元治理控制。预测到2029年,守护智能体将替代近半数现有AI安全系统。 综合评分: 92 文章分类: AI安全,安全运营,解决方案,安全建设,威胁情报
Gartner 守护智能体(Guardian Agents)市场指南
原创
Gartner Gartner
安全行者老霍
2026年3月23日 09:00 北京
作者:Avivah Litan, Daryl Plummer, Carlton Sapp, Dionisio Zumerle, Tom Coshow, Max Goss, Lauren Kornutick
发布时间:2026年2月25日
编号:G00836388
守护智能体负责监督AI智能体,帮助确保智能体的行为符合目标和边界。它们会监控并阻止正从一组服务演变为能够在跨平台环境中执行策略的自主智能体的高风险行为。AI领导者可借助本指南了解市场及供应商情况。
(守护智能体是专门监控、管控、防护、审计其他 AI 智能体的一类独立智能体,负责:
AI Agent 行为合规
权限控制与越权检测
操作可视化与审计
风险拦截(如恶意调用、数据泄露、越权操作))
1.概述
1.1 关键发现
- AI智能体引入了超出人工审查能力的新风险,但由于组织结构分散以及存在持续发现难题,大多数企业尚未做好应对准备。
- 提供AI 智能体开发及其他 IT 和安全平台的供应商正在整合守护智能体(Guardian Agent)功能供用户使用,同时数十家初创企业和专业供应商也提供针对特定领域问题的守护智能体解决方案。
- 企业需要独立的守护智能体保护来管理跨云和托管环境、信息存储库以及多重身份系统的智能体,并执行其特定的可接受使用政策。
- 守护智能体技术仍处于初级阶段,主要侧重于监控和状态管理,在线拦截或修复能力非常有限,但发展迅速。由于缺乏标准接口,跨AI智能体平台的集成具有挑战性。
1.2 建议
- 启动跨部门计划,系统性地发现、盘点、映射并管理组织内所有AI 智能体(无论是否经授权)。利用业界领先的守护智能体供应商提供的 AI 发现解决方案。
- 立即试用新兴的守护智能体,以在安全监管日益自主的AI 系统方面积累早期专业知识,并随着这些工具演变为成熟的、全面自动化的 AI 智能体监管者,从而确保持久的竞争优势。
- 投资于新兴的守护智能体监督机制,以协助持续进行AI智能体的发现、访问管理、合规验证、监控和优化。
- 优先采用独立于AI智能体平台的守护智能体解决方案,以确保跨云治理、全面的企业信息治理,并避免供应商锁定。独立解决方案应与嵌入AI智能体平台中的守护智能体解决方案集成并互补,以实现最佳覆盖范围和效果。
- 针对守护智能体本身实施元治理控制,以缓解其自身出现异常或破坏性行为的风险。
- 战略规划假设
到2029年,在超过70%的企业中,守护智能体将导致近一半用于保护AI智能体活动的现有风险与安全系统变得不再必要。
到2027年,超过70%的AI智能体身份提供商将在授予和限定访问权限时,对智能体交互数据的敏感性进行分类。
到2028年,至少80%的未经授权的人工智能智能体交易将源于企业内部违反有关信息过度共享、不当使用或误导性人工智能行为的政策,而非恶意攻击。
- 市场定义
Gartner将守护智能体定义为AI TRiSM框架中人工智能治理与人工智能运行时控制的融合,旨在支持自动化、可信赖且安全的 AI智能体活动及其结果。守护智能体利用基于人工智能的确定性评估机制,对AI智能体及其与工具、数据、API和人类的交互进行监督。它们正从一组由人类指导的自动化监督服务,演变为能够制定并执行行动计划、重定向或阻止操作以符合预期智能体目标的半自主或完全自主智能体。
企业对AI 智能体的采用正在加速,其发展速度已超过治理政策控制措施的成熟度。随着 AI 智能体变得越来越自主并嵌入关键工作流,运营失败和违规的风险也在加剧。
守护智能体:
- 提供先进的监督服务,对组织中使用的AI 智能体进行实时、自动化和自适应的保障监督与支持。
- 为其监管的AI 智能体提供情境感知和智能,使其能够在智能体预设意图的范围内采取行动。
- 持续审查、观察或调整智能体的活动和输出,以确保符合使用规范、防止数据泄露、规避第三方风险,并保障安全、安全性和合规性–在必要时支持人工或AI 跟进,或进行自动化干预。
- 与其他守护智能体共存并集成,融合能力以实现最佳效果。例如,它们在智能体身份与访问管理、信息治理等必须进行集成决策的领域中运行。
尽管大多数AI 智能体平台供应商都提供自己的守护智能体功能,但企业仍需部署独立的自有守护智能体以支持:
- 跨云和托管环境。一旦AI 智能体在其他云服务提供商的云环境或本地环境中运行或进行任务委托,任何云服务提供商都无法单方面对其运行时进行控制。
- 供应商的安全防护措施和控制机制通常仅限于其自身的云边界之内。
- 跨云策略扩展目前依赖于自愿参与的合作关系和SDK。
- 这些自愿参与机制通过显式注册和共享协议,提供有限的、基于自愿的跨云治理。
- 如果没有此类自愿参与机制,跨云智能体之间的交互将完全处于无治理状态。没有任何一家供应商能够单独填补这一治理缺口。
- 跨平台身份与访问管理。企业需要识别所有智能体,无论其创建时使用的注册表或方法如何。
- 跨平台信息治理。企业需要对接并保护跨多个平台和环境的所有信息。
只有一个中立、可信的守护智能体层,其中多个守护智能体执行独立但集成的监督职能,才能在所有提供商之间强制执行路由。因此,守护智能体充当了缺失的通用执行机制。
3.1. 必备功能
AI可视性和可追溯性必须基于以下功能:
- AI智能体目录功能对组织网络内的所有智能体(包括已注册、未注册、官方、自定义、第三方、影子或流氓智能体)进行盘点。它对风险进行评分并随时间推移进行追踪。它存储元数据(智能体卡片),详细记录身份、能力、交互端点(如 API、网关)、身份验证要求及其他细节,以实现跨平台的智能体发现、互操作性和安全协作。
- 映射图:可视化或结构化映射图展示了AI 智能体在其整个生命周期中如何与人类工作流、系统、工具及其他智能体集成。这些映射图突出了连接关系、数据流、风险及依赖关系,从而支持治理、合规性检查以及对智能体泛滥的管理。
- 所有权映射:所有权映射追踪每个AI 智能体及其相关成果的人工和机器所有者,明确设计、维护和产出的责任归属。它完整记录从创建到部署的全流程,从而实现责任追溯、合规审计和治理控制。
- 审计追踪:全面且防篡改的日志记录涉及AI 智能体及其相关成果的每项变更、交互和决策。审计追踪支持取证分析、法规合规、责任追溯,并能检测未经授权的修改或安全事件。
持续保障与评估必须基于以下功能:
- AI智能体状态管理:状态管理聚合生命周期元数据,提供智能体安全、合规及运行健康状况的实时感知。它与检查工具集成以实现动态执行,从而支持持续风险管理和异常修复。
运行时检查与执行必须基于以下功能:
- 智能体对齐:智能体对齐确保AI 智能体的行动和输出符合既定的意图、目标及治理政策,从而防止意外行为。当出现偏差时,持续评估会触发警报或进行干预,从而支持信任建立和安全扩展。
- 异常检测:异常检测利用基于规则或机器学习的方法,对可疑或异常的AI 智能体活动(如工具使用异常或行为变化)进行标记。高可信度的异常会触发自动封锁和警报,有助于在造成影响前防止危害并捕捉威胁。
- 运行时自适应:将实时威胁情报、内部数据变化和外部信号动态融合为丰富的上下文信息流,以实现主动的运行时检测和自适应自动化响应。
3.2. 常见功能
AI可视性和可追溯性的常见功能包括:
- AI智能体身份发现:自动发现功能会扫描所有环境,以识别 AI 智能体、其数字身份、凭据和访问权限。此过程可揭示未受管制的智能体、孤立凭证及过度权限,从而支持最小权限原则的执行并符合 AI 治理标准。
- AI智能体数据映射与来源追踪:将连接至 AI 智能体的数据源、管道及流进行编目并可视化呈现,同时追踪数据访问与随时间推移的转换情况。这有助于执行数据策略、检测高风险使用行为、与治理工具集成,并支持监管审计追踪。
持续保障与评估的常见功能:
- AI智能体安全测试:通过自动化扫描、红队攻击和行为模糊测试(即使用随机输入进行压力测试),识别并缓解 AI 智能体及其生态系统中的漏洞。这些措施可防范提示注入、工具滥用和不安全输出等攻击,确保部署更值得信赖。
- AI智能体的风险与控制验证:通过定期评估检查输出偏差、数据泄露、目标错位及高风险行为,验证其是否符合风险阈值和控制目标。这有助于发现可能危害组织的偏离或隐蔽活动。
- AI智能体合规报告:生成报告以证明 AI 智能体符合监管标准、风险框架和组织政策,涵盖资产清单、风险、数据溯源及控制措施。自动化报告功能既支持审计、治理和高管监督,又可减少人工工作量。
运行时检查与强制执行的常见功能:
- 自动阻断:实时防护机制可检测并立即阻断AI智能体中的高风险或异常行为,例如未经授权的操作或权限提升。借助高级分析和策略防护措施,系统能够实现自动阻断,最大限度减少运营中断,从而提供主动的威胁防范。
- 自动修复:针对检测到的异常或安全事件,自动执行纠正措施–例如撤销权限或隔离智能体。系统会随着时间的推移不断优化这些响应,从而减少人工干预并提高韧性。
- 持续合规监控:将AI 智能体的活动和数据流与法规及政策进行比对,实时检测违规行为。系统可触发警报、执行控制措施并生成可供审计的日志,确保符合监管要求并实现主动风险管理。
《守护智能体市场指南》未涵盖的内容:
本市场指南排除了未在以下三个必备类别中均提供原生守护智能体控制功能的供应商(详见市场定义):
- AI可视化与可追溯性
- 持续保障与评估
- 运行时检查与执行
- 市场概述
守护智能体市场尚处于早期阶段,大多数工具仍处于开发阶段且部署范围有限。如市场定义所述,守护智能体正从一组由人工指导的自动化AI智能体监督服务,演变为半自主或完全自主的智能体。
尽管市场尚处于非常早期的阶段,但供应商的解决方案正在快速推进,以满足组织和可扩展性的需求。到2027年,专注于不同领域和任务的多种守护智能体将共存并集成,以确保企业AI智能体的行为和性能安全。
4.1. 当前市场格局
目前,守护智能体的部署主要处于原型或试点阶段,尽管一些先进的组织已经开始使用其早期版本来监督AI智能体。当前大多数守护智能体工具通过可观测性和评估网关支持被动监控–提供智能体活动的可视性,但实时干预和修复能力有限。能够实时执行策略或纠正措施的完全自主型守护智能体,目前主要局限于研究和概念验证阶段。尽管如此,随着企业追求可扩展的自动化监管,并采用能匹配AI智能体快速行动节奏的解决方案,创新步伐正在加快。
请参阅下图1,了解新兴守护智能体作为半自主或全自主智能体的功能,其结合了状态评估与运行时干预及修复;另请参阅注 8,了解守护智能体所采用的评估方法概要。需注意,哨兵(Sentinels)在运行时为行动者(Operatives)提供环境背景、状态评估和态势感知,以识别风险与威胁并确定响应优先级。
图1:守护智能体:运行时自适应
4.2. 新兴的交付与集成模型
随着供应商产品线的扩展,多种交付模型仍在成熟过程中,其中许多仍处于实验阶段(有关交付模型的更多信息,请参阅“市场定义”)。图2 展示了使用 AI 网关集成守护智能体的一个示例:
- AI/MCP网关:用于监控智能体流量并执行策略的集中式系统
- 嵌入式/内联运行时模块:智能体平台内的可观测性和策略模块,例如AI智能体管理平台(参见注释2)或LLM智能体
- 独立监督平台:用于聚合和分析智能体日志的工具
- 编排层扩展:用于多智能体工作流监督的插件
- 混合边缘-云模型:在边缘硬件和远程云资源之间进行分布式监督(随着AI 智能体活动和生态系统日益以终端为中心,该模型的重要性日益凸显)
- 协调机制:用于统一监督和策略执行的标准、API及钩子(hooks)
图2:守护智能体与 AI 网关的集成示例
4.3. DIY 方法
具备技术能力的团队可以利用开源框架、调整监控工具、构建自定义策略引擎,并应用与模型无关的封装程序来管理智能体。这些方法需要深厚的专业知识和大量资源,因此更适合拥有强大内部团队的组织。(参见关于DIY工具的注释 3。)
4.4. 供应商格局
市场上有众多供应商,服务于不同的企业买家和AI TRiSM(信任、风险与安全管理)控制需求。这些供应商细分领域往往存在交叉或重叠,例如“AI 智能体开发与治理平台”有时会与 AI 风险与安全专家合作,以增强其守护智能体功能。智能体身份供应商通常与信息治理供应商合作,提供数据分类背景信息,从而为智能体身份和权限决策提供更充分的依据。关于守护智能体供应商类别的分析,请参阅下文的“市场分析”部分。
4.5. 企业需要独立的守护智能体
一个中立、可信的守护智能体层,其中多个守护智能体执行独立但集成的监督职能,可强制执行跨所有提供商的路由。因此,守护智能体充当了缺失的通用执行机制。
大多数AI智能体平台供应商都提供自己的守护智能体功能,但企业还需拥有独立的守护智能体以支持:
- 跨云和托管环境。
- 跨平台身份与访问管理。
- 跨平台信息治理。
(有关此架构要求的更多详情,请参阅链接中的市场定义,图3 也对此进行了说明。)
在AI 智能体系统中,真正重要的是守护智能体的封装能力–而非托管它们的平台–因为这些轻量级、高性能的智能体可以嵌入任何系统,使小型、敏捷的能力成为未来架构和系统的核心特征。
图3 展示了独立守护智能体如何与嵌入在 AI 智能体平台中的第一方守护智能体相辅相成。
图3:守护智能体跨平台与云端监督智能体
- 市场趋势
守护智能体支出:到2028 年,随着企业在日益复杂的多智能体环境中优先考虑治理、安全、风险管理和合规性,组织将把智能体型 AI 总支出的 5% 至 7% 用于守护智能体(包括嵌入式平台解决方案和独立监督层),而目前这一比例还不到 1%。
平台扩展与多智能体生态系统治理:AI智能体开发与治理平台正在扩展功能,以支持本地、基于自愿加入的守护智能体治理,以及多云、多智能体系统的互操作性。这些进展有助于在混合部署环境中整合治理控制措施,并加速企业对AI智能体的采用,但这取决于外部环境中托管系统的自愿加入协议。
短期内的市场整合与平台统一:随着大型安全和网络供应商持续收购具备守护智能体能力且专注于AI TRiSM的初创企业,并将相关控制措施嵌入统一平台,守护智能体市场将经历快速整合。这种整合将减少生态系统的碎片化,并使收购方能够占据更大的市场份额。近期的一系列收购,例如Palo Alto Networks收购Protect AI以及Check Point在2025年收购Lakera,都体现了将专业治理工具整合到更广泛的安全平台中的这一趋势。
然而,这一趋势将被独立守护智能体所掩盖–这些智能体在守护智能体功能上超越现有平台,并最终取代当前用于保护AI智能体的许多安全系统。各平台将竭力收购顶尖的独立守护智能体,但少数独立供应商将保持独立,从而占据通用治理市场的主导份额。
企业对独立守护智能体的采用:组织将越来越多地在嵌入式平台工具之上部署企业自有守护智能体层。这些具备特定领域专业知识的独立智能体将横跨多云、IAM(身份与访问管理)及数据环境,提供统一监管,并缓解信息孤岛和供应商锁定的风险。这一趋势支持多智能体系统向“可验证的负责任自主性”迈进,其中独立监督者通过执行规则并生成审计日志,防止分布式环境中的恶意行为。
保护守护智能体:随着企业部署守护智能体,实施强有力的元治理控制措施变得至关重要,以防止因守护智能体本身导致的协调失控、安全漏洞和运营风险。如果没有此类独立的保障措施,监督智能体可能会无意中引入新的错误、漏洞或合规挑战。请参阅注释4,了解有助于确保守护智能体安全且受限运行的缓解措施。这种分层方法(通常称为“深度防御”)正日益受到重视,旨在避免过度依赖任何单一监督机制,并确保守护智能体本身始终处于受限且可审计的状态。
守护智能体与身份和访问管理能力的深度集成:守护技术正日益与现有的企业智能体身份和访问管理系统集成,但其重点也将从静态身份凭证转向实时行为监控。在缺乏全球智能体注册表的情况下,组织将优先考虑先进的智能体特征分析和异常检测能力,并在缺乏声明的智能体身份时依赖元数据进行指纹识别,以应对特权提升、授权绕过和未经授权的数据访问等日益加剧的威胁。Guardian智能体将利用智能体身份注册表中的信息来丰富其自身的智能体标识符,这些标识符通常基于发现的元数据和指纹。新兴框架将 AI 智能体视为需要持续行为监控和即时访问控制的高权限非人类身份,以弥补传统 IAM 系统的漏洞。
集成式智能体IAM 与信息治理:一个关键趋势是智能体身份、凭证和访问管理(ICAM)与信息治理的融合。随着具有前瞻性的组织将身份与数据治理作为集成能力进行管理,二者之间的传统界限正在逐渐缩小。Guardian 智能体是实现这一整合的核心,通过确保强健的身份与数据控制来应对新兴威胁和潜在的数据泄露风险。这种融合源于对数据中心化策略的需求,该策略需同时管理人类和智能体的访问权限,并利用数据活动监控等工具来检测与敏感信息相关的风险行为。到2027年,超过70%的人工智能智能体身份提供商将在授予和限定访问权限时,对智能体交互的数据敏感性进行分类。
守护智能体在多智能体系统中的集成:守护智能体是跨平台和多智能体系统信任、风险及安全架构的基础。它们与零信任框架以及更广泛的安全与治理平台的集成,能够应对由恶意行为者或无心之失导致的“失控AI”以及供应链攻击等漏洞,从而增强企业的风险缓解能力。守护智能体需要理解单个智能体的具体目标意图,以及多个智能体在跨多个托管环境的网络中交互时所追求的集体目标。各项行动及其结果必须与AI智能体网络的集体目标和意图保持一致。
独立守护智能体将在2029年前颠覆传统安全体系:到2029年,在超过70%的企业中,独立守护智能体将使当前用于保护AI智能体活动的现有安全系统中近半数变得不再必要。这一预测反映了智能体型AI生态系统的快速成熟。在该生态系统中,自主守护智能体本身原生支持智能体身份管理、动态数据分类与敏感性映射、智能体权限的实时监控与清理,并能清晰掌握每个智能体可能访问或影响的敏感数据或系统,进行情境化风险评估及运行时自适应–持续将威胁情报与内外部信号融合,生成用于检测和响应的丰富信息流。
凭借这种自包含的智能,独立的守护智能体能够提供原生保护,将确定性方法(显式策略引擎、基于规则的防护栏和可验证的控制措施)与人工智能驱动的推理相结合,在运行时监控、约束和优化每个智能体的操作,而无需依赖外部系统进行数据分类、身份管理及其他安全功能。这将使许多当前的安全层变得多余。
应对集成与通信挑战:智能体的普及正推动对高级网关和编排工具的需求。守护智能体需要安全、标准化的多智能体通信,预计未来12至24个月内集成成熟度将显著提升。企业调查显示,多智能体工作流的编排工具正取得快速进展,既能实现安全的任务委派与协调,又能减少混合部署中的碎片化问题
监管与政策驱动因素:围绕透明度和算法防护措施的监管要求日益严格,使得部署强大的守护智能体成为合规的必要条件,特别是在受监管的行业中。这些要求正在塑造全球科技政策,并推动企业采用先进的治理解决方案。例如,华尔街的金融机构将采用供应商提供的新兴守护智能体,这些智能体会监控员工在Zoom等会议平台上的对话,并生成智能体来代表人类采取行动。加利福尼亚州的前沿AI透明度要求(2026年生效)以及《欧盟AI法案》的高风险系统义务(将于2026年前分阶段实施)等法律,都要求加强监督、风险评估和事件报告,这些要求与敏感领域中守护智能体的能力直接契合。
- 市场分析
守护智能体市场–涵盖用于自主AI智能体的监督、安全与治理的技术–正进入加速增长阶段,其发展动力源于各行业对智能体式AI的快速采用。预计到2030年,守护智能体解决方案将至少占智能体式AI市场的6%,年价值将超过30亿美元;而随着更广泛的AI智能体行业自2025年起以46.3%的复合年增长率(CAGR)发展,其总规模将接近526.2亿美元。详见Markets and Markets市场报告。
这一扩张源于企业对自主智能体带来的新风险日益关注,包括异常行为、不利的业务结果、权限提升和数据泄露,这些风险正促使组织投资于强大的监督和治理层。
AI智能体根本无法确保按预期执行指令–这使得它们不可靠且无法依赖。请使用守护代理来提供必要的信任、风险和安全能力,并防范异常行为及新型网络威胁带来的不良后果。同时,务必确保对“守护代理”本身进行守护。
—来源:Gartner(2026年2月)
2026年塑造市场的主要动态包括:
采用加速:根据2025年6月开展的《2026年Gartner首席信息官与技术高管调查》,17%的受访首席信息官表示其企业已部署AI智能体,另有42%计划在一年内部署。这将迫使企业采用守护智能体解决方案来缓解风险,特别是在多智能体环境中。
向主动治理转型:市场正从被动的安全模型向主动治理演进,融入零信任框架,并侧重于行为监控而非静态控制。
组织管理结构的变革:AI智能体需要明确的组织问责机制和AI负责人,以及新的跨企业团队流程和工具,以实现有效的运行时部署。这确保所有相关方通力合作,达成满足其不同需求的统一AI成果。
Gartner观察到未来三年将推动TRiSM和守护智能体监督团队发展的五大组织趋势,其特征是采用混合结构,包括集中式AI领导层、分散式单元以及向AI负责人进行虚线汇报:
- 在AI负责人的领导下,将出现集中式或混合式AI团队,负责管理AI的各个方面,包括技术控制。
- 业务部门对确保部署的AI智能体满足业务目标并符合具体目标有着强烈的既得利益。
- 安全与风险管理职能与相关的IT软件工程及质量保证团队融合整合,并向AI工程环节左移(shift left),以管理技术控制措施。
- 信息治理孤岛中的裂痕浮出水面,导致跨组织保护AI使用和生成的信息亟需采取统一方法。
- 法律和合规人员要求企业AI应用必须满足监管和法律要求。
- 市场碎片化:守护智能体市场高度碎片化,反映了在AI快速发展的背景下,解决方案重点和买家需求的多样性,同时敏捷的初创企业与根基深厚的企业巨头之间的融合日益加深。
关于守护智能体的新兴用例,请参见注释5。
6.1. 主要解决方案提供商细分领域
守护智能体市场根据买家的具体挑战和需求进行细分,同时也取决于对买家而言最易获取且最实用的采用方式–无论是选择专业的新供应商,还是利用正在扩展守护智能体功能的成熟企业平台。此外,敏捷初创企业与传统供应商之间的重叠、竞争和合作日益增多。
- 智能体安全与风险专家:在供应链治理、安全态势管理、威胁检测、运行时保护、安全代码生成和/或面向客户的数字渠道保护领域具有创新能力的解决方案,旨在应对访问滥用、提示注入、智能体劫持和工具漏洞利用等高级风险。这些解决方案适合寻求前沿且灵活防御机制的组织。
- 业务对齐与结果优化者:这类解决方案将智能体行为与业务目标相协调,强调结果优化和意图验证,以确保智能体在预设的战略、战术和合规边界内创造价值。它们吸引了AI智能体系统的业务负责人。
- IT/安全平台供应商:成熟的企业级供应商正在将守护功能嵌入现有工作流,为自动化和分析提供可靠的大规模保护。
- AI智能体开发与治理平台:基于云的平台,支持企业智能体的全生命周期管理,并集成守护智能体功能,包括监控、策略执行和合规工具。
- 身份管理供应商:专注于智能体身份和凭证治理的供应商,应用零信任原则管理智能体访问,并防止授权绕过等滥用行为。这些供应商正开始整合信息治理能力,以实现一体化管理(参见注9)。
- AI内容治理:专注于治理 AI 生成的内容和输出,以确保准确性、合规性、品牌一致性、道德标准及风险缓解的供应商,包括扫描、审核和重写工具。
评估标准
- 当客户需要采取主动、敏捷且专业的信任、风险和安全措施来应对与AI 智能体相关的新兴复杂威胁和不可预测行为时,应考虑选择最佳的守护智能体控制供应商。这些供应商提供先进功能,例如实时运行时检查、动态策略执行、智能体行为与用户意图的对齐,以及自动化的风险暴露和安全态势管理,使其特别适合必须在快速演变的威胁环境中迅速适应的组织。
- 相反,对于优先考虑稳定性、与现有IT 系统的广泛集成以及成本整合的组织而言,传统供应商–其特点是建立了信任关系和集成生态系统——可能仍然是更优选择。然而,对于面临最新兴且复杂多变的AI智能体风险与威胁的组织而言,传统供应商无法通过现代控制措施快速更新,可能会导致防护体系中出现关键漏洞。为解决这一问题,传统供应商通常会与敏捷的初创企业合作,以弥补自身创新滞后的不足,具体方式包括直接集成,或在其市场中提供第三方守护智能体服务。
归根结底,选择何种解决方案必须基于详尽的风险评估、对组织需求的清晰梳理,以及对供应商创新路线图和实际性能证据的全面审查。随着守护智能体市场的整合与演进,今天主动进行供应商筛选的客户,将更能有效规避风险,保障其AI智能体–进而保障整个企业–免受未来风险的威胁。
图4:守护智能体供应商选择决策树
有关选择监护智能体提供商的决策框架,请参见注释6 中的表 2。
采用集成式、灵活的监护解决方案(将嵌入式与独立监督相结合)的组织,将最有可能获得竞争优势,并充分发挥自主系统的生产力潜力。
然而,包括不断演变的威胁和治理缺口在内的持续性挑战,要求采取警惕且具有适应性的策略,以释放智能体式人工智能的潜在价值。
- 代表性供应商
本市场指南所列供应商并非详尽无遗。本节帮助读者更深入地了解市场及其产品。
下文按类别列出了代表性供应商,具体内容如“市场分析”部分所述。各供应商提供的守护智能体解决方案各异且分散。请优先确定您的需求,并将您的功能需求与“市场定义”中列出的守护智能体能力进行对照,以此评估产品满足这些需求的能力。
请注意,本市场指南排除了未在所有三个必备功能类别(参见“市场定义”)中提供原生守护智能体控制功能的供应商。因此,未包含那些通过与其他方合作来补充原生产品以完善其控制范围的供应商。此处的示例供应商包括OneTrust、Credo AI 和 Cranium,以及前沿 AI 模型提供商和超大规模云服务商,如 Anthropic、AWS 和 Azure OpenAI(参见注 7)。
7.1 供应商选择
| 分类 | 描述 | 代表厂商 | | — | — | — | | 风险与安全专家 | 专注于AI / 智能体专属安全、态势管理、威胁检测与运行时防护的新兴厂商。 | Aiceberg, Airrived, Alice, Apiiro, Capsule Security, CHEQ, Dtex, Galene.ai, Geordie, Holistic AI, Knostic, Lumia Security, NeuralTrust, Noma Security, Onyx Security, Opsin, Pillar, Portal26, Singulr AI, Straiker, Sun Security, Varonis, Vijil, Virtue AI, Xeris, Zenity | | 业务对齐与结果优化器 | 聚焦业务目标,使智能体输出与创建者及组织意图保持一致的初创厂商。 | Avon.ai, ChatSee, Wayfound | | 智能体身份管理 | 通过零信任策略与治理,为 AI 智能体提供身份与访问管理的厂商。 | Astrix Security, BeyondTrust, Delinea, Entro Security, Microsoft Entra, Okta, Orchid Security, Palo Alto Networks (CyberArk), PlainID, Silverfort | | IT / 安全平台厂商 | 已有的企业级工作流、IT 服务或安全管理平台,集成守护智能体能力,保障业务流程中 AI 智能体安全使用。 | Cato Networks (AIM), Crowdstrike, IBM (Watsonx governance), Palo Alto Networks (Protect AI), Sentinel One (Prompt Security), ServiceNow | | AI 智能体开发与治理平台 | 具备治理层的云 / 数据平台,用于开发、部署、安全监管自定义 AI 智能体,提供实时监控、策略执行、内容安全、可观测性与合规能力,支持安全规模化自治智能体。 | AgilePoint, Airia, AWS (Bedrock Guardrails), Databricks (Mosaic AI Gateway & Guardrails), Google Cloud (Vertex AI Agent Builder + guardrails & monitoring), Microsoft (Azure AI Content Safety + Agent 365), Salesforce (Agentforce) | | AI 内容治理 | 专注于对 AI 生成内容进行合规、品牌一致性、伦理标准与风险管控的厂商,包括内容扫描、审核与改写工具。 | Bynder, Fujitsu, Markup.AI | | 参见注释 9 | | |
表1:代表性供应商
- 市场建议
守护智能体市场呈现碎片化且发展迅速,这使得组织难以识别必要的能力和合适的供应商。没有任何单一供应商(包括微软、谷歌或AWS 等主要超大规模云服务商)能够提供完整的解决方案。
- Gartner建议聚焦于四个关键要求,并根据供应商满足这些要求的能力进行评估:智能体发现、身份与访问管理、信息治理以及策略执行。对所有智能体(无论是否受授权)的可见性是至关重要的起点。
- 超大规模云服务商虽提供治理控制措施,但这些措施通常仅限于其自身生态系统,可能无法有效管理第三方智能体。组织应借助独立供应商来补充超大规模云服务商的控制措施,并注意与现有IT 和安全平台合作伙伴之间的潜在重叠。随着 AI 智能体的激增,仅靠传统控制措施已无法应对日益增长的风险,守护智能体正变得至关重要。
- 在选择供应商时,企业应进行全面的风险评估,审视创新路线图,并优先参考基于实证的案例研究。与现有平台的集成能力以及适应市场变化的灵活性至关重要,尤其在当前供应商整合趋势持续的背景下。
- 最后,企业必须在成本与创新能力之间取得平衡,既要考虑当前支出,也要兼顾长期信任、风险及安全需求。遵循这些建议,企业能够更好地应对复杂的AI智能体安全格局,并确保获得强有力的保护。
注释
注1:Gartner的初步市场覆盖
本市场指南提供了Gartner对该市场的初步覆盖,重点在于市场定义、市场存在的理由以及市场动态。
注2:AI智能体管理平台(AMPs)
AI智能体管理平台(AMPs)提供了一个统一的界面,用于安全地管理、监控、治理、获取、组织AI智能体及其配套工具集,并对其进行分析。AMPs的关键组件之一是能够观察和约束 AI 智能体的活动。将守护智能体集成到 AMP 中是跨企业管理 AI 智能体的重要组成部分。有关 AMP 功能和架构的更多详细信息,请参阅《AI 供应商竞赛:AI 智能体管理平台:AI 领域最具价值的资产》。
注3:示例 DIY 工具和框架
图5:示例 DIY 工具和框架
注4:守护智能体的元治理
借鉴领先的人工智能治理实践,Gartner确定了五项关键控制措施,以确保守护智能体保持安全、可靠,并与组织目标保持一致:
- 基于上下文的访问控制:将守护智能体视为IAM 系统中的独立服务实体,分配精细化且具有上下文感知能力的角色,并根据数据敏感度和操作上下文动态调整权限。这可强制执行最小权限原则,并防止未经授权的访问或权限滥用。
- 输入与输出过滤:部署输入净化和输出过滤机制,以防范提示注入攻击并确保符合内容政策。这可最大限度降低数据篡改、泄露或监督失偏的风险。
- 任务执行控制与沙箱隔离:将守护智能体的操作限制在沙箱环境中,并采用白名单API、速率限制、干运行(dry-run,不实际下发指令、不真执行危险操作)模拟及回滚功能。这些控制措施可防止监督智能体干扰关键流程或越权操作。
- 持续可观测性:对关键指标(如干预频率和行为异常)实施实时监控,并集成警报以实现快速响应。这确保能及时检测并纠正智能体行为中的任何偏差。
- 日志记录、可追溯性与可审计性:为审计和合规目的,保留所有守护智能体操作和决策的不可篡改且带时间戳的日志。这为监督活动提供了完整的可追溯性和问责机制。
通过采用这些控制措施,组织既能最大化守护智能体的效益,又能确保其监督系统保持可信、透明,并完全符合企业治理要求。
注5:守护智能体的新兴用例
守护智能体负责监督半自主或全自主AI 系统,以确保其合规性、安全性和可靠性。以下列举了部分新兴用例。
针对每种用例,将部署特定领域的守护智能体,并在每个主要领域下运行更细粒度的子领域智能体。这些智能体将整合为高性能的监督能力,旨在利用定制的技术控制和评估手段,以低延迟、高效且准确的方式监督其他智能体,从而确保有效的实时治理。
- 个人助理保障:守护智能体负责监督处理研究、日程安排、业务拓展与运营以及个人助理等任务的多功能生产力AI智能体,实时监控输入/输出以确保智能体活动符合目标,同时防止数据泄露、偏见或不准确,并确保合规与伦理标准。通过干预未经授权的数据共享或虚构信息等风险,从而增强用户信任。
- 开发者生态系统与代码生成监管:监管AI 智能体的开发环境,包括集成开发环境(IDE)、所用技能、MCP 服务器状态,以及 IDE 智能体与已安装 MCP 服务器之间的交互。监管 AI 智能体的代码生成过程,致力于确保生成的代码安全可靠,涵盖威胁预防、实时检测与数据检查,以及漏洞和缺陷的阻断与修复,并确保符合安全规范和最佳实践。
- 行业特定应用:监督各行业专项运营中的AI智能体,例如CRM系统、供应链与物流、医疗诊断及金融服务。
- 内容审查与治理:监督AI智能体在内容及输出创建与管理流程中的运作,对AI生成的输出进行扫描、审核并执行标准,以确保准确性、品牌一致性、伦理准则、合规性,并降低虚假信息、幻觉、不准确或偏见等风险。
- 通信治理:在数字通信与协作平台(例如使用与Zoom等统一通信与协作平台集成的工具)中监督AI智能体,针对AI智能体的行为提供状态管理、实时风险检测、阻断及补救措施,以防止违规、确保记录保存,并在受监管环境中特别标记异常情况。
注6:供应商选择决策框架
| 评估维度 | 最佳专精厂商(Best-of-breed niche provider) | 传统厂商(Incumbent vendor) | 说明 | | — | — | — | — | | 创新与功能集 | 提供先进、专业化的功能,例如:带风险评分的智能体目录、智能体意图对齐、动态运行时控制等。 | 提供传统、稳定的功能,仅做偶发性更新。 | 专精厂商能快速适配新兴风险与威胁,并提供主动防御措施;传统厂商在创新上通常相对滞后。(参见:基于 TRiSM 治理 AI:可信、风险与安全技术框架;AI 厂商竞争:AI TRiSM 产品成功的基础) | | 集成与易用性 | 专为与现代 AI 架构轻松集成而设计,并提供完善的客户落地支持服务。 | 与遗留系统深度集成,拥有广泛、成熟的安全生态体系。 | 希望快速部署、获得专业化支持的客户更倾向于专精厂商。(参见:理性 AI 要求服务商以可验证价值为基础) | | 风险管理与主动防御能力 | 通过自动化暴露面管理与持续监控,主动缓解新兴的 AI 专属风险。 | 提供稳定的风险控制能力,但在应对新型 AI 威胁时缺乏敏捷性。 | 实时智能体意图强制对齐、限制智能体自主行为、威胁检测等主动控制,对快速变化的环境至关重要。(参见:新兴技术:AI 厂商竞争:通过自动化暴露管理与零信任实现面向未来的 MDR) | | 经济性考量 | 定价可能偏高,但专业化方案通常能带来更快的投资回报(ROI)。 | 常与其他服务捆绑销售,具备成本优势,但存在供应商锁定风险。 | 评估总拥有成本(TCO)至关重要,尤其在需要快速创新的场景下。(参见:理性 AI 要求服务商以可验证价值为基础) | | 企业规模与生态 | 适合需要高敏捷性、快速创新、专业化安全控制的组织。 | 适合依赖现有广泛安全生态、与成熟厂商长期合作的企业。 | 大型企业可能因标准化集成与稳定支持更偏好传统厂商;但守护智能体快速演进的需求,更偏向专精解决方案。(参见:AI 可信、风险与安全管理市场指南) |
表2.供应商选择决策框架
注7:超大规模云服务商与AI智能体开发及治理平台
AI智能体开发及治理平台涵盖了广泛的供应商类别,从超大规模云服务商(微软、谷歌、AWS)到AI数据平台(Snowflake、Databricks等),再到提供智能体构建、编排、管理和治理功能的AI编排初创公司(如Airia)。
尽管这些解决方案在来源和用例方面各不相同(例如,M365和谷歌作为生产力平台,Snowflake和Databricks作为大数据分析解决方案),但它们的共同点在于专注于为AI智能体的活动提供安全的边界。其战略目标是成为管理这一代人中最重要的新型IT基础设施–AI智能体的首选供应商。
随着Agent 365(目前处于预览阶段)的推出,微软正在这一领域大力推进。其承诺是:只要将您的智能体(原生或第三方)注册到 Microsoft Entra ID,您就能受益于更广泛的微软平台(Purview、Entra、Defender 等)所提供的安全和治理控制。
然而,此处存在锁定风险,因为供应商不仅会为这些智能体提供模型访问和构建工具,还将提供管理层。Gartner尚未看到证据表明,超大规模AI治理解决方案能够像管理自身智能体那样,以同等水平全面管理在该环境外创建的第三方智能体。此外,竞争对手的AI供应商也不太可能将AI智能体的管理工作外包给竞争对手,这将导致覆盖范围出现缺口。
因此,Gartner认为,组织必须确保其守护智能体在不同平台上均能高效运行,并通过独立的AI安全与治理供应商,对现有的智能体开发和治理平台进行补充。
注8:守护智能体采用的评估方法
为了获得最准确的结果,守护智能体在评估智能体交互风险时,应首先采用最有效的确定性评估方法(通常也是成本最低的方法),然后再借助大语言模型(LLM)或小语言模型(SLM)进行判断。在实践中,这意味着守护智能体的运行时评估应按以下步骤进行:
- 首先使用预先设定的规则,
- 随后通过统计分析和上下文评估进行行为监控,
- 只有在前述方法的初步评估结果不明确时,才转而使用大语言模型(LLM)和小语言模型(SLM)。
然而,在某些情况下,守护智能体的评估会直接跳转至LLM 或 SLM 进行判断,例如以下场景(有关此主题的更多内容,请参阅《未来的守护者:CIO 如何利用守护智能体实现可信赖且安全的 AI》):
复杂情境:当意图涉及细微差别或模糊性时(例如,用于培训演示的“创建钓鱼邮件”与恶意活动),需要借助LLM评估来解读超出简单规则范围的情境。
风险指标:若确定性步骤无法串联线索,则预先存在的元数据(如用户被标记行为的历史记录或高风险交易,例如“向未验证账户转账”)将触发LLM 审查。
紧急程度与影响:高风险案例(例如“在生产服务器上执行代码”),若存在造成损害或中断的潜在可能,将绕过确定性检查,直接进行LLM 分析。
确定性能力不足:若基础过滤器(例如关键词匹配)无法全面判断意图、规模或下游影响等全貌,守护智能体将升级至LLM 进行处理。
效率权衡:当前期情报(如系统警报)表明必须进行更深入审查时,直接调用LLM 比重复执行简单检查更能节省时间。
此外,请参阅《OWASP智能体可观测性标准》,了解可观测性领域不断演进的行业标准。
注9:身份管理与信息治理
一种新兴趋势是,智能体IAM 与信息治理正变得紧密相连,应作为集成功能进行监管。将智能体 IAM 与信息治理整合,使组织能够对身份和数据使用建立统一的监管。这种方法不仅确保 AI 智能体经过适当的身份验证和授权,还确保其活动可审计,并符合 NIST 标准和零信任框架等监管要求。
具有前瞻性的组织已意识到,孤立处理身份与数据治理的做法已不再足够。通过整合这些职能,它们可以简化合规流程、提高运营效率,并为人类与AI驱动的交互提供一个更可预测且安全的环境。这种集成策略被越来越视为管理多智能体生态系统中复杂信任关系和数据流的关键。
随着组织逐步推进身份管理与信息治理的整合,对能够促进这种融合的强大解决方案的需求也日益重要。
表1(供应商表)列举了身份管理类别中部分技术供应商的示例,这些供应商正逐步整合更强大的信息治理能力,以支持集成化方法和智能体安全保障。这通常是通过与专注于数据分类、敏感数据发现、访问上下文、权限管理以及防止敏感数据暴露给 AI 智能体/副驾驶/大型语言模型(LLMs)的信息治理供应商建立合作伙伴关系来实现的。信息治理解决方案同样可以与本表中其他类别的通用智能体(GA)供应商进行集成。
这些信息治理功能是重要的“附加组件”,可保护企业免受向AI系统过度共享敏感数据等风险的侵害。在信息治理类别中,能够与智能体身份及其他通用AI解决方案互补的典型供应商包括Cyera、Bigeye、Concentric AI、Touchdown和Collibra。
此外,尽管这些供应商最初–且目前主要–仍作为信息治理或数据安全平台运营,但大多数正积极向专门的AI及智能体特定功能领域扩张,以直接应对AI智能体采用率的激增。其业务扩展涵盖智能体发现与清点、上下文风险映射(将每个智能体与其可访问的具体敏感数据、身份、权限及信息关联起来)以及实时运行时强制执行等不断演进的能力。
https://www.gartner.com/doc/reprints?id=1-2MVVE4GN&ct=260219
(完)
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:安全行者老霍 Gartner Gartner《Gartner 守护智能体(Guardian Agents)市场指南》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。








评论