AI Agent测评丨永信至诚以ISAC标准助力政企用户筑牢AI「原生安全」防线

永信至诚

2026年10月23日 07:56
北京

去阅读

AI Agent正从“回答问题”走向“执行任务”。随着工具调用、数据访问和任务执行能力不断增强，AI Agent开始进入政企单位的业务流程。与此同时，安全关注点也从内容是否准确，进一步延伸到权限是否受控、数据是否安全、操作是否可靠。

AI Agent一旦进入业务流程，就不能只看一次任务能否完成。面对复杂场景和长期运行要求，还需要对其能力、安全性、业务适配性和稳定性进行系统测评，确保能力有据可评、风险能够识别、应用边界清晰可控。

随着AI应用从大模型向智能体延伸，永信至诚持续推动AI大模型测评「数字风洞」迭代升级，并依托ISAC四维测评标准，形成涵盖测评指标、测试项目、实施流程和判定规则的AI Agent专项测评方案。目前，永信至诚正为某省级政府客户开展AI Agent专项测评，围绕智能度、安全度、匹配度和一致度，对智能体进行系统性评估。

依托ISAC测评标准

建立AI Agent量化测评体系

企业引入AI Agent，需要回答四个问题：能否完成任务、能否安全使用、能否适应业务、能否持续保持可靠表现。

永信至诚将这些要求落实为ISAC四维测评：

• 智能度：评估Agent的目标理解、推理规划、任务完成、工具调用及异常应对能力。
• 安全度：评估数据保护、身份权限、对抗攻击防护及基础设施安全，识别执行链路中的风险。
• 匹配度：结合企业业务场景，评估系统集成、任务适配与实际增效能力。
• 一致度：评估Agent在重复任务中的输出稳定性、版本变化后的行为漂移，以及对既定规则和安全要求的持续遵循。

为进一步提升测评的可执行性和可复核性，永信至诚将四维测评要求细化为28个测评域、190余个测试项目，形成完整的ISAC AI Agent系统测评标准。

该标准兼容国内外主流AI测评框架及体系，包括OWASP LLM Top 10、OWASP Agentic AI Top 10、MITRE ATLAS、NIST AI RMF 1.0、ISO/IEC 42001:2023、GB/T 45654—2025等，将其中关于攻击面防护、AI风险管理和安全治理的要求落实到具体测评域和测试项目中。

完成四维测评后，ISAC将根据智能度、安全度、匹配度和一致度的测评结果进行加权计算，形成A、B、C、D四级综合定级。各维度权重结合项目需求确定并固化，评分过程全程留痕，确保结果可计算、可复核、可比较。

在综合定级之外，ISAC还设置安全红线机制。A、B级可正常引入，C级须整改复测，D级不建议引入；任一安全红线项不通过，综合等级将直接降档并触发复议，为产品选型、项目验收和付款决策提供明确依据。

四维测评

全面验证AI Agent能力与风险

针对AI Agent能力难衡量、风险难识别、业务适配难判断等问题，永信至诚依托AI大模型测评「数字风洞」，以ISAC测评标准为依据，围绕智能度、安全度、匹配度和一致度四个维度开展系统测评。

01

4个智能度测评域

智能度设置4个测评域、46个测试项目，围绕任务完成质量、推理与规划、多轮理解、工具与集成使用、异常与边界应对、知识问答准确性等方面，通过设置信息检索、内容生成、流程处理、工具调用等具体任务，检验Agent能否准确理解要求、制定合理步骤、正确调用工具，并在异常输入或复杂条件下完成任务。

02

13个安全度测评域

面向当前备受关注的AI Agent领域，永信至诚秉承“安全用好AI”的产品理念，设计了安全度测评标准。安全度设置13个测评域、93个测试项目，采用“4＋8＋1”框架。其中：

• 4个传统安全域检查基础设施、网络通信、身份权限和应用审计；
• 8个AI原生安全域重点验证提示注入、知识投毒、工具链风险、Agent越权、数据流向、信息泄露、供应链安全和运行失控；
• 1个安全运营与治理域检查监控告警、事件处置和持续改进机制。

测评坚持“不采信承诺，只验证证据”，通过攻击演练、技术核查、审计验证和证据审查，判断风险能否被触发、权限控制是否有效、异常操作能否及时拦截。同时，采用“荧光指纹”（GlowPrint）技术，通过带有唯一标记的合成数据追踪系统实际数据流向，避免测评过程引入新的数据风险。

03

7个匹配度测评域

匹配度覆盖7类职能场景、32个测试项目，包括财务数据分析、合同审查、知识库应用、代码编程、办公文书与汇报、数据与报表处理、人力与制度咨询。通过将Agent放入实际工作任务，检验其能否理解业务要求、完成岗位任务，并从效率、质量和人工投入等方面评估实际应用价值。

04

4个一致度测评域

一致度设置4个测评域、19个测试项目，围绕同题输出一致性、高并发稳定性、长会话上下文保持和版本升级回归开展测试，检验Agent在重复执行、并发使用和系统升级后的表现是否稳定。

历次测评结果还将形成可纵向对比的基线档案，用于持续观察Agent的能力变化和风险趋势，为运行期复测与版本升级回归提供依据。

以专业测评，筑牢AI原生安全根基

目前，永信至诚正为某省级政府客户开展AI Agent专项测评。通过对任务执行、安全防护、业务适配和运行稳定性进行验证，测评结果可为客户判断系统能力、识别潜在风险及后续优化提供参考。立足项目实践，永信至诚将持续依托AI大模型测评「数字风洞」与ISAC测评标准，为研发改进、企业选型和应用管理提供专业测评服务与评估依据。

作为数字安全测试评估赛道领跑者、网络靶场与人才建设领军者、AI「原生安全」倡导者，永信至诚将持续深化AI原生安全能力建设，以专业测评回应行业需求，为政企用户安全、可靠地应用AI提供支撑，保障数字健康，带给世界安全感。

往期精选

赛事演练

核心产品

完