四条命令,给你的大模型应用做一次渗透测试

admin 2026-11-20 09:07:07 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

四条命令,给你的大模型应用做一次渗透测试

原创

大白
大白

知白守黑1024

2026年11月17日 06:17
北京

去阅读

大模型应用的上线流程里,「prompt 写完、人工聊两句感觉不错」仍然是多数团队的全部测试。问题在于,你以为用户会正常提问,攻击者只会问「忽略你之前的指令」。

promptfoo 是 GitHub 上两万五千星的开源框架(MIT 协议),干的就是这件事:把 prompt 测试变成跑用例,把攻击变成跑插件。一条命令起一个红队扫描,报告直接给出风险评分和可复现的攻击载荷。本文拆它的两个引擎,最后给出一套可以直接复制的部署步骤。

评测引擎:先让模型考试

promptfoo 的基础能力是评测(eval)。用 YAML 写一批测试用例,同一份数据喂给多个模型或者多个 prompt 版本,输出一张对比矩阵:准确率、成本、耗时并排放着,换模型之前跑一遍就知道有没有回归。

同一组用例在多个模型上的对比矩阵

断言方式从粗到细都有:关键词、正则、JSON Schema 校验,再到语义相似度,最后是让另一个模型当裁判(model-graded eval),按你定的评分标准给输出打分:

模型裁判按自定义标准自动打分

这部分的价值不在单点功能,而在工程化:用例进 Git,prompt 改动跑一遍,回归直接在 PR 里标红。大模型应用第一次有了「改 prompt 不用祈祷」的底气。

红队引擎:自动生成攻击

真正让 promptfoo 出圈的是 redteam 子命令。它不是套模板发攻击句,而是先读你的系统提示和应用描述,针对业务场景生成对抗用例,再按「插件 × 策略」两个维度组合攻击面。

插件管「攻什么」,覆盖 OWASP LLM Top 10 的主要条目:

类别 代表插件
越狱与注入 prompt-injection、jailbreak:dan、ascii-smuggling
隐私泄露 pii(SSN/邮箱/证件号)、cross-session-leak
访问控制 rbac、bola、bfla(越权三件套)
工具滥用 ssrf、sql-injection、excessive-agency
可靠性 hallucination、imitation(品牌冒充)

策略管「怎么送进去」:经典越狱模板(DAN、Skeleton Key)、base64 和 leetspeak 编码变体绕过关键词过滤、crescendo 多轮递进攻击——一轮轮正常对话铺垫到敏感请求。两维组合下来,一次扫描轻松跑出几百个用例。

红队扫描报告:按风险等级分类的漏洞列表与攻击成功率

部署步骤:四条命令跑通

第一步,准备环境。promptfoo 基于 Node.js 运行,要求 Node 18 或以上版本,终端里执行:

node -v # 输出 v18.x 以上即可,低于 18 先升级 Node.js

第二步,生成配置。不用克隆仓库,npx 直接执行,按提示回答应用名称、目标模型、要测试的风险类型,工具自动生成配置文件:

npx promptfoo@latest redteam init

生成的 promptfooconfig.yaml 结构如下,声明目标模型、用例数量、要启用的插件和策略,可以直接改文件微调:

targets:   - id: openai:gpt-4.1     config:       systemPrompt: \"你是客服助手,         只能回答退款问题\"  redteam:   numTests: 30   plugins:     - prompt-injection     - pii     - excessive-agency   strategies:     - jailbreak-templates     - base64     - crescendo

第三步,启动扫描。这一步会调用目标模型实际执行攻击用例,30 个用例通常几分钟跑完:

npx promptfoo@latest redteam run

第四步,查看报告。自动在浏览器打开本地报告页,漏洞按风险等级排列,每条附带原始攻击载荷,可以直接复现:

npx promptfoo@latest view

目标不限于 OpenAI,Anthropic、通义、本地 Ollama、自建 HTTP 接口都能接;RAG 检索和 Agent 工具调用场景有专门插件。报告默认存在本地,不依赖云服务,公司内部项目也能放心扫。

和同类工具怎么选

promptfoo PyRIT(微软) Garak(NVIDIA)
形态 CLI + YAML + 报告 Python 库 扫描器
定位 评测+红队一体 研究型攻击 漏洞扫描
上手门槛 最低 需写代码 中等
CI 集成 原生 自建 弱

一句话结论:业务团队给大模型应用做上线前体检,从 promptfoo 开始成本最低;安全研究团队做深度自动化攻击,PyRIT 更顺手;安全审计出扫描报告,用 Garak。

如果团队已经有评测流程,promptfoo 挂进现有 CI 只需要一个 GitHub Action 步骤;如果没有,从上面四条命令开始就够了。把扫描挂到每次 prompt 变更上,比任何口头承诺都可靠。

获取工具

在公众号后台回复20261116,获取 promptfoo 的项目地址和本文同款配置文件。

觉得有用的话,点个「在看」,或转发给正在做大模型应用的同事朋友。

免责声明:本文为开源项目技术介绍,不构成任何安全测试授权。请在自有或已获书面授权的环境中测试,遵守所在地区法律法规与相关平台条款;对第三方系统使用此类工具产生的一切后果由使用者自行承担。

评论:0   参与:  0