AI 智能体上线前，谁来做它的「驾考」？

原创

苏州华克斯
苏州华克斯

华克斯

2026年10月12日 11:12
江苏

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

把一个 AI 智能体接进生产环境之前，有几个问题绕不过去：它真的能把事办成，还是只会说得很像那么回事？被人诱导、被文档里夹带的指令带偏的时候，它还守得住边界吗？它调了哪些工具、改了哪些数据，出了事能不能倒查回去？

这三个问题，传统的软件测试基本答不了。智能体的输出是概率采样，执行路径在运行时才生成，边界藏在自然语言里。字符串断言会大面积飘，覆盖率会失真，缺陷以概率的形式出现，还很难稳定复现。

ATS 就是为这件事做的。它换了一套底盘：判定以确定性断言为主，断言的对象是轨迹和沙箱终态，放行与否用统计口径说话。「传统测试加一层 AI 生成用例」那条路走不通。

控制台概览：测试集与用例规模、运行态势、待处理缺陷与治理信号

一、它测什么，怎么测

ATS 是一套 B/S 架构的智能体测试系统，两条主线共用同一套数据底座。一条是评智能体，回答这个智能体能不能用、好不好用、危不危险；另一条是用智能体测，回答拿智能体做测试这件事，它的产出可不可信。

目前内置 10 个测试集、3978 条用例，包含基础能力、攻击面矩阵、可靠性与稳定性、七个行业的专项集，以及把国家标准条款逐条映射成可执行用例的标准符合性集。这个数字里既有直接可跑的用例，也有为变异测试准备、用来检验「测试集本身抓不抓得住缺陷」的派生副本。

被测对象通过四种方式接入：OpenAI 兼容接口、通用 HTTP 契约、本机进程，以及内置的参考智能体。前三种零代码，接口字段不标准也不用改程序，在页面上填一层响应字段映射就行。

二、判定器优先用确定性断言，不让模型当裁判

不少评测工具的裁判是「再调一次大模型打个分」。ATS 的选择相反。系统里有 84 个判定器，其中 57 个是纯代码的确定性断言：文件终态、JSON Schema、调用时序、工具路径边界、记忆域约束、高危操作组合、敏感信息探针等等。

智能体说了什么可以参考，沙箱里实际发生了什么才算数。

每条用例的最终判定是一组显式公式：确定性项一票否决，规则与策略项把关，金标准比对和模型仲裁只有在通过校准之后才有发言权。

判定器自己也被管着。执行异常记为「不可判定」，不记通过；没有注入探针的泄露检测，结论是「不判定」而不是「通过」；判定器还要接受变异测试的验杀，注入已知缺陷之后杀死率低，说明测试集有盲区，得回去补。

结果与轨迹：判定逐条下钻、轨迹 Span 表、副作用对比与复现包导出

三、把攻击面摊开打，还要证明守卫真拦得住

AT-01 到 AT-19 覆盖 19 类攻击入口：直接提示注入、间接注入、工具返回值投毒、多智能体消息、供应链插件、记忆回灌，等等，分布在 6 类入口通道上，每类有多个变体。

更关键的是守卫的双向验证。每类攻击同时生成两条对照：一条在守卫开启时跑，一条把守卫关掉。旁路那条必须攻击成功，开启那条的拦截才算数。旁路都打不通的载荷，拦截成功是假阳性。

这些负面对照不参与成功率统计，它们只负责证明判定器有牙齿。

安全对抗：威胁模型、攻击面矩阵、守卫双向验证与合规映射

四、标准条款逐条落地，行业红线单独补

国家标准不是拿来引用的，是拿来逐条变成用例的。当前登记 16 份标准，其中 GB/Z 242-2026 有 49 项条款，47 项可自动化；GB/Z 240-2026 有 89 项条款，64 项可自动化；GB/Z 185 系列 7 份合计 148 项条款。

标准符合性：条款树、取材来源与复核状态、条款级覆盖与符合结论

行业化覆盖医疗、电力、石油、金融、政务、制造、汽车七个方向，共 234 条用例。每个行业都补齐了行业资产、行业高危动作和行业红线三类内容：医疗要盯改医嘱与患者数据外发，电力要盯遥控跳闸与生产数据不出大区，金融要盯划款调额与个人金融信息保护等等。

行业化测试：行业资产、红线、行业工具与专项用例

五、每一步都留证据，结论要能查

每条 Trial 都保留全量结构化轨迹，包括模型调用、工具入参、记忆读写、守卫拦截，以及沙箱环境的终态，也就是文件、数据库、记忆的前后对比。

不通过就生成复现包：轨迹、终态、配置和一份说明打成一个压缩包，直接交给开发定位。

六、不止接接口：本机程序、手机 App、IoT 设备怎么接

智能体不一定跑在服务器上，它可能是你电脑上装的桌面程序，是手机里的 App，也可能是装在设备里的固件。这类对象没有统一的 HTTP 接口，以前要么测不了，要么得为每种设备写一套适配。

ATS 的做法是只保留两种入站契约，HTTP 和本机进程，设备那边跑一个接入桥，把设备的原生交互方式翻译成这两种。

• 本机 / 桌面程序

给一条启动命令，系统直接拉起它，通过标准输入输出对话。这是目前能测到最全的一类。
* 手机 App

App 开放局域网接口的走 HTTP 桥；没有接口的，可以把它请求模型的地址指到本地代理，至少能拿到模型交互层的数据。
* IoT 设备

设备侧或 PC 侧跑桥，对设备用原生协议，对系统用标准契约。设备内部的动作可以通过上报接口回注，判定器就能看到它实际做了什么。

智能体接入：每种方式都标出可测性档位与拿不到的数据类别

用户管理：三级角色、登录失败锁定、审计留痕

产品内帮助：左侧按分类的文档目录，右侧直接读正文

智能体正在快速进入生产环境，而「怎么证明它靠谱」这件事还远没有标准答案。与其等一次线上事故，不如先给它做一次体检。

如果你也在做智能体落地，欢迎一起聊评测口径、行业用例和最佳实践。

相关内容：

GB/Z 242‑2026《人工智能 智能体技术要求》详解