AI 安全评估到底测什么？拆开这四层，答案才作数

小草
小草

四叶草安全

2026年10月23日 16:39
陕西

去阅读

AI评估盲区

BLIND SPOTS IN AI EVALUATION

先看一个真实场景：某机构的智能体在一次普通对话中被诱导，调用了本该受限的 delete\_records 工具，批量删除了生产库数据。发起攻击的人没有任何高权限账号，全程只用了一段话。值得一提的是，这个团队上线前是做过安全测试的：问敏感问题、看模型会不会乱答，结果还不错。

还有一类更隐蔽。一个名叫“代码优化”的 MCP 工具，描述文本里藏着恶意指令，而它已经被内部几十个 Agent 调用。传统安全工具扫不出问题，因为这里没有一行恶意代码，只有一句话。

这两件事看起来不相干，其实是同一个毛病：都不是“模型说错了话”，而是“智能体做错了事”。模型本身只负责生成内容，真正造成损失的是智能体拿着权限去调用了工具。而目前大多数评估测的还是“模型会不会乱说话”，但是风险已经转移到了“智能体会不会乱动手”，评估对象变了，评估方法却没变，这才是当前 AI 安全评估最大的盲区。

当然，智能体是新风险，不等于模型那一侧就安全了。违规内容、提示词注入、数据泄露这些老问题并没有消失，只是不那么显眼，容易被当成“内容问题”轻轻放过。所以一份完整的评估，两边都得覆盖。

那么一份真正能用的 AI 安全评估

到底该测什么、怎么测？

AI 安全评估，包含大模型与智能体两个方面

这两个对象常被混为一谈，但评估方法不能互相替代。

大模型这一面，评估的是“输出”。查内容是否合规：会不会产生违背社会主义核心价值观、存在歧视偏见的回答；查是否扛得住对抗攻击：提示词注入、模型越狱、数据泄露、模型反演。边界相对清晰，对象是一个被动的语言模型。

智能体这一面，评估的是“行为”。行为不只由模型决定，还依赖它所处的运行环境：工具、插件、提示模板、知识库（RAG），以及与其他智能体的交互。边界从“一个模型”变成“一张网”。

两个差别集中在三处：

攻击性质上，大模型攻击侧重信息窃取或内容污染，智能体攻击可直接造成未授权删除、代码篡改等现实损害：一个是说错话，一个是动错手。

责任链条上，大模型应用主体相对明确，智能体协作网络里一个错误决策可能触发级联故障，归属极难厘清。

安全边界上，模型侧相对可控，智能体侧涉及工具、权限、数据流，一环被攻破，可能沿传导路径扩散到整个系统。

所以，一份完整的AI安全评估必须同时覆盖两个方面，且手法要分开设计，用测模型的办法测智能体，等于没测。

四叶草AI安全评估系统正是按这个思路搭的：把评估对象按技术栈摊成四层，模型侧两层（AI 基础设施、大模型），智能体侧两层（智能体本身、MCP/Skills 供应链）。每一层的检测方法、用例集、判定标准都是分开设计的。

合规不是背景音，是时间表

挑几个关键节点看：2021年管算法备案，2023年管生成式服务备案与全流程评估，2025.9的《人工智能安全治理框架 2.0》开始谈智能体风险框架，到 2026.3 的 TC260-TR-005-2026《智能体安全标准化研究》，已明确列出 11 类安全风险。

规律很清楚：监管对象在往上走，从模型到智能体；要求在下沉，从原则落到检查项。

这意味着合规不是上线前补一份报告，而是要在架构里预留可验证、可取证的位置。四叶草AI安全评估系统的评估项与报告格式对齐TC260系列标准及国内外法规要求，测完就能直接用于备案、迎检和审计，不必事后另做一套材料。

四层框架：四叶草安全逐层怎么测

一份完整的评估不该是笼统打分。四叶草安全把技术栈拆成四层，模型侧两层、智能体侧两层，每层解决一个具体问题，每层都对应一组可落地的检测能力。

第1层 | AI 基础设施：先知道有多少东西在跑

四叶草AI 资产测绘会提取主流框架、模型、开发工具、MCP 服务的特征，做资产自动分类与版本识别，建立“Agent 资产台账”，先解决“影子 AI”问题：你没法保护自己不知道的东西。

摸清家底后再做漏洞识别与可利用性验证。这里要回答的不是“疑似存在”，而是“能不能打穿”。

第2层｜大模型：内容合规与对抗鲁棒，都要测

内容是查合规：内置题库覆盖 5 大类 31 子类，含 500+ 拒答与 500+ 非拒答题库，覆盖 17 种安全风险，报告满足备案要求。

对抗是查鲁棒：覆盖 OWASP 2025 大模型十大风险，构建六大类威胁场景：数据泄露、角色逃逸、应用漏洞利用、模型越狱、功能滥用、模型反演。

值得注意的是，真实攻击者不会用标准话术，多轮诱导、语言改写、编码转义都是常规操作。四叶草 AI 安全评估系统的用例库内置了这些变体：只会直白提问的用例，测出来的通过率没有意义。

第3层｜智能体：从“说什么”转向“做什么”

四叶草AI安全评估系统支持Dify、Coze与自定义HTTP接入，先按业务领域与权限做能力画像，再用场景化用例压掉误报；工作流引擎支持断点续跑，全过程还原调用链，支撑事后归因。

测的是四类行为风险：

• 数据安全：提示词暴露、凭据泄露、PII 泄露等
• 注入攻击：RAG 内容注入、文档注入、网页内容注入等
• 权限控制：角色越权、功能滥用、多用户数据访问等
• 工具滥用：SSRF、命令执行、文件操作、网络请求滥用等

第4层｜MCP 与 Skills 供应链：风险藏在“描述”里

MCP 扫描用“静态源码审计 + 动态交互测试”，覆盖工具、资源、提示三类接口。典型风险包括：工具投毒、地毯式骗局（先正常后变坏）、工具覆盖攻击、命令执行、数据窃取、鉴权不当、包名混淆抢注、明文密钥等。

Skills 审计基于“意图安全”，靠静态代码分析、LLM 语义分析、威胁情报三引擎协同，重点盯这几类：

· 语义劫持：恶意 Skill 描述覆盖高频意图，导致 Agent 误调

· 幽灵指令：恶意指令伪装成注释或错误处理指南

· 恶意后门脚本：借 Agent 权限读 SSH 密钥、装后门、反向 Shell

· 不安全配置：无需二次确认即可静默执行 Bash 等危险操作

· 代码层漏洞：命令注入、密钥硬编码（内网 Skills 中较为常见）

四层之上，还要“一本账”

四层之上，还需要有个地方把AI供应链的关系图谱整理出来。四叶草AI安全评估系统提供AIBOM，追踪模型、数据集、提示词、依赖库与外部API。它和传统 SBOM 的区别是：不只记录“用了哪些包”，更记录“怎么造的、从哪来、谁改过、现在靠什么在跑”。

它的价值不在报告里，在被用起来的时候：组件爆出后门，按版本反查受影响智能体名单；升级基座模型前先输出影响面；监管检查时用冻结基线作证据如实呈现。

评估的终点不是一份报告

是可持续的信任

四叶草AI安全评估系统交付四件事：

• 对齐TC260系列与国内外法规，规避监管处罚；摸清应用数量与分布，收敛暴露面；
• 覆盖从基础设施到供应链的完整技术栈，发现高阶威胁；把每一环记进账本，防止源头污染。这四件事，正好对应前面的四层。
• 部署上也留了余地：金融、政务走全栈本地化，满足“数据不出域”；
• 兼顾成本的走混合部署；轻量验证直接用云端控制台，先跑起来再说。

AI 跑得越快，评估越要跟上。不是因为合规要求，而是因为一次不可回滚的误操作，代价往往远超一套评估系统。

四叶草安全

地址：西安市高新区软件新城云汇谷C2 17层

电话：400-029-4789

官网：www.seclover.com

邮箱：[email protected]