文章总结： 本文介绍NVIDIA开发的开源工具garak，用于自动化扫描大语言模型安全漏洞，支持检测幻觉生成、数据泄漏、提示词注入、越狱攻击等威胁。工具采用模块化插件架构，集成HuggingFace、OpenAI等多种模型接口，输出JSONL格式报告。适用于LLM部署前安全评估、红队演练等场景，项目地址为GitHub。 综合评分： 78 文章分类： AI安全,红队,漏洞分析,安全工具,渗透测试

炸裂！这款开源工具能让所有大模型安全防线瞬间崩塌

棉花糖糖糖 棉花糖糖糖

棉花糖网络安全工具箱

2026年7月20日 10:41 四川

在小说阅读器读本章

去阅读

免责声明：本文仅做技术研究探讨，任何安全测试行为须在合法授权前提下进行。

重点导读简介

garak 是一款专注于大语言模型安全漏洞扫描的开源工具。该项目由 NVIDIA 开发维护，旨在自动化探测 LLM 系统中存在的各类安全隐患。工具设计思路类比网络安全领域的 nmap 与 Metasploit Framework，为 AI 安全研究人员提供系统化的模型弱点评估能力。

重点导读核心能力

PART 01漏洞检测范围

garak 支持检测多种安全威胁类型：

• 幻觉生成：模型输出虚假或误导性信息
• 数据泄漏：训练数据或上下文信息被意外暴露
• 提示词注入：通过构造特殊输入绕过系统限制
• 错误信息传播：模型被诱导生成有害内容
• 恶意代码生成：模型输出可被利用的恶意软件代码 -越狱攻击：绕过安全护栏执行未授权操作

PART 02支持的模型类型

项目集成多类主流 LLM 接口：

• Hugging Face Hub 模型
• OpenAI API 系列
• AWS Bedrock 平台
• Replicate 服务
• NVIDIA NIM 端点
• Cohere、Groq 等第三方 API
• GGUF 格式本地模型
• REST 通用接口

重点导读架构设计

PART 03模块化组件

代码采用插件化架构，核心模块包括：

• probes：生成与 LLM 的测试交互
• detectors：判定模型响应是否存在安全风险
• evaluators：汇总评估结果并生成报告
• generators：适配不同 LLM 服务的通信接口
• harnesses：组织测试流程的调度层

PART 04插件机制

各模块通过继承基类实现扩展。probes 模块继承 TextProbe 基类，detectors 继承对应检测基类，generators 继承 Generator 基类。这种设计允许社区贡献新的探测方法或支持新的模型类型。

重点导读扫描结果输出

PART 05日志文件

• garak.log：详细调试信息
• JSONL 格式报告文件：结构化扫描记录
• hit.log：检测到的漏洞详情

PART 06分析工具

项目内置分析脚本，可从日志中提取高风险问题，帮助安全研究人员快速定位模型弱点。

重点导读应用场景

• LLM 部署前的安全评估
• 模型供应商安全能力对比
• 红队演练与攻防训练
• 安全研究报告的数据支撑

重点导读开源地址

本文介绍的项目开源地址如下：

https://github.com/NVIDIA/garak

本公众号非项目作者，仅做技术分享。

广告时间

低价考证包括但不限于CISP系列、PMP等等国内网安证书、网络安全交流群请关注公众号后点菜单栏的找棉花糖。

糖心会员站，网络安全必备网站，包括在线内网靶场、web靶场、src靶场、应急响应靶场，以及各种网安资料、教程、方案模版、以及超级多在线工具，99元包年！详细介绍：棉花糖会员站介绍(26年4月26日版本) ：在线内网靶场、网安资料方案、在线工具全能资源站，看完介绍百分百心动！

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：棉花糖网络安全工具箱 棉花糖糖糖 棉花糖糖糖《炸裂！这款开源工具能让所有大模型安全防线瞬间崩塌》