四条命令,给你的大模型应用做一次渗透测试
原创
大白
大白
知白守黑1024
2026年11月17日 06:17
北京
去阅读
大模型应用的上线流程里,「prompt 写完、人工聊两句感觉不错」仍然是多数团队的全部测试。问题在于,你以为用户会正常提问,攻击者只会问「忽略你之前的指令」。
promptfoo 是 GitHub 上两万五千星的开源框架(MIT 协议),干的就是这件事:把 prompt 测试变成跑用例,把攻击变成跑插件。一条命令起一个红队扫描,报告直接给出风险评分和可复现的攻击载荷。本文拆它的两个引擎,最后给出一套可以直接复制的部署步骤。
评测引擎:先让模型考试
promptfoo 的基础能力是评测(eval)。用 YAML 写一批测试用例,同一份数据喂给多个模型或者多个 prompt 版本,输出一张对比矩阵:准确率、成本、耗时并排放着,换模型之前跑一遍就知道有没有回归。
同一组用例在多个模型上的对比矩阵
断言方式从粗到细都有:关键词、正则、JSON Schema 校验,再到语义相似度,最后是让另一个模型当裁判(model-graded eval),按你定的评分标准给输出打分:
模型裁判按自定义标准自动打分
这部分的价值不在单点功能,而在工程化:用例进 Git,prompt 改动跑一遍,回归直接在 PR 里标红。大模型应用第一次有了「改 prompt 不用祈祷」的底气。
红队引擎:自动生成攻击
真正让 promptfoo 出圈的是 redteam 子命令。它不是套模板发攻击句,而是先读你的系统提示和应用描述,针对业务场景生成对抗用例,再按「插件 × 策略」两个维度组合攻击面。
插件管「攻什么」,覆盖 OWASP LLM Top 10 的主要条目:
| 类别 | 代表插件 |
|---|---|
| 越狱与注入 | prompt-injection、jailbreak:dan、ascii-smuggling |
| 隐私泄露 | pii(SSN/邮箱/证件号)、cross-session-leak |
| 访问控制 | rbac、bola、bfla(越权三件套) |
| 工具滥用 | ssrf、sql-injection、excessive-agency |
| 可靠性 | hallucination、imitation(品牌冒充) |
策略管「怎么送进去」:经典越狱模板(DAN、Skeleton Key)、base64 和 leetspeak 编码变体绕过关键词过滤、crescendo 多轮递进攻击——一轮轮正常对话铺垫到敏感请求。两维组合下来,一次扫描轻松跑出几百个用例。
红队扫描报告:按风险等级分类的漏洞列表与攻击成功率
部署步骤:四条命令跑通
第一步,准备环境。promptfoo 基于 Node.js 运行,要求 Node 18 或以上版本,终端里执行:
node -v # 输出 v18.x 以上即可,低于 18 先升级 Node.js
第二步,生成配置。不用克隆仓库,npx 直接执行,按提示回答应用名称、目标模型、要测试的风险类型,工具自动生成配置文件:
npx promptfoo@latest redteam init
生成的 promptfooconfig.yaml 结构如下,声明目标模型、用例数量、要启用的插件和策略,可以直接改文件微调:
targets: - id: openai:gpt-4.1 config: systemPrompt: \"你是客服助手, 只能回答退款问题\" redteam: numTests: 30 plugins: - prompt-injection - pii - excessive-agency strategies: - jailbreak-templates - base64 - crescendo
第三步,启动扫描。这一步会调用目标模型实际执行攻击用例,30 个用例通常几分钟跑完:
npx promptfoo@latest redteam run
第四步,查看报告。自动在浏览器打开本地报告页,漏洞按风险等级排列,每条附带原始攻击载荷,可以直接复现:
npx promptfoo@latest view
目标不限于 OpenAI,Anthropic、通义、本地 Ollama、自建 HTTP 接口都能接;RAG 检索和 Agent 工具调用场景有专门插件。报告默认存在本地,不依赖云服务,公司内部项目也能放心扫。
和同类工具怎么选
| promptfoo | PyRIT(微软) | Garak(NVIDIA) | |
|---|---|---|---|
| 形态 | CLI + YAML + 报告 | Python 库 | 扫描器 |
| 定位 | 评测+红队一体 | 研究型攻击 | 漏洞扫描 |
| 上手门槛 | 最低 | 需写代码 | 中等 |
| CI 集成 | 原生 | 自建 | 弱 |
一句话结论:业务团队给大模型应用做上线前体检,从 promptfoo 开始成本最低;安全研究团队做深度自动化攻击,PyRIT 更顺手;安全审计出扫描报告,用 Garak。
如果团队已经有评测流程,promptfoo 挂进现有 CI 只需要一个 GitHub Action 步骤;如果没有,从上面四条命令开始就够了。把扫描挂到每次 prompt 变更上,比任何口头承诺都可靠。
获取工具
在公众号后台回复20261116,获取 promptfoo 的项目地址和本文同款配置文件。
觉得有用的话,点个「在看」,或转发给正在做大模型应用的同事朋友。
免责声明:本文为开源项目技术介绍,不构成任何安全测试授权。请在自有或已获书面授权的环境中测试,遵守所在地区法律法规与相关平台条款;对第三方系统使用此类工具产生的一切后果由使用者自行承担。
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论