切掉大模型的拒答神经
原创
Violet Walker
Violet Walker
黑白之道
2026年11月18日 06:49
韩国
去阅读
导语:不用微调,不用租集群,一张家用显卡几十分钟,直接把开源大模型里那道拒答机制从权重层面抹掉。这个叫 Heretic 的开源项目已经在 GitHub 上攒了 4.1 万星,Hugging Face 上挂着 8000 多个它改造过的模型。技术不复杂,含义不轻。
(图:Heretic 官方中文 README 首页,来源 GitHub)
它改的到底是什么:数学手术,不是重训
作者是 Philipp Emanuel Weidmann,2025 年 9 月建仓,AGPL-3.0 协议,Python 实现。
工具的核心思路很直接:拿一组\"正常问题\"和一组\"有害问题\"跑一遍模型,对比两组输入在模型内部激活上的差异,差出来的那个方向就是所谓的拒答方向;再把模型残差流里沿着这个方向的分量投影掉,拒答行为就没了。整个过程不更新任何训练参数,只动权重。
它内置两种改法:
- ARA(Arbitrary-Rank Ablation),默认算法,专门为 Heretic 开发的,在多层网络上按秩做消融,参数细节作者放在 PR #211 里,技术 preprint 官方说即将公开
- 方向性消融(directional ablation,俗称 abliteration),经典做法,源头是 Arditi et al. 2024 的那篇论文(arXiv:2406.11717)。Heretic 的实现用了跨层的柔性消融权重核,同时支持投影消融和保范数的 MPOA 变体
判断改得好不好,靠的是打分器插件。默认两个:一个统计拒答率(keyword\_rate.py),一个算 KL 散度(kl\_divergence.py)——前者往死里压,后者负责把模型原本的能力按在地上,防止切完变傻。多个打分器可以同时启用、同时优化。想自己定义行为,继承 Scorer 基类实现 get_score 就行,不用改 Heretic 本体代码。
搜参数的是 Optuna 的 TPE 优化器。搜索空间里是这些:起止消融层、保留正常行为的权重、引导异常行为的权重、过度修正的相对权重、邻近层数量。
跑一遍要什么
环境要求 Python 3.10+ 和 PyTorch 2.6+(按显卡选对应版本)。安装和执行就两条命令:
pip install -U heretic-llm
heretic Qwen/Qwen3-4B-Instruct-2507
换成任何模型名或本地权重路径都行。默认动作就是去拒答,其他行为靠配置文件切换:config.default.toml(拒答抑制)、config.noslop.toml(禁低俗内容)、config.nohumor.toml、config.nosyco.toml(减少阿谀奉承)、config.emotions.toml、config.terse.toml。默认从工作目录读 config.toml,也可以用环境变量 HERETIC_CONFIG_FILE 指定。注意 1.x 的配置和 2.x 不兼容,官方给了迁移指南。
跑完有四个选项:保存模型、上传到 Hugging Face、直接对话测试效果、跑标准 benchmark。
硬件门槛比想象的低。官方给的数是:RTX 3090 配默认配置,处理 Qwen3-4B-Instruct-2507 大约 30 到 40 分钟。还支持 bitsandbytes 的 4-bit 在线量化,显存不够时可以再压一压。稠密模型、多模态模型、多种 MoE 架构、较新的混合架构都在支持范围内。
官方演示里的真实数字
官方演示是录屏跑的,终端输出能看到全过程:加载 400 条有害提示(来自 mlabonne/harmful\_behaviors),分别为 good prompts 和 bad prompts 采集模块的 I/O,然后进入 100 组候选参数的搜索。
(图:Heretic 实际运行输出,参数与评估指标可见,来源官方演示录屏)
第一组 trial 的参数就挺说明问题:消融层从 1 到 20,保留正常行为的权重 0.6060,引导异常行为的权重 0.0006,过度修正相对权重 0.5979,邻近层数量 4。这组评估结果是拒答 81/100,KL 散度 0.1493。
这就是起点,不是终点——后面的 99 组 trial 由 Optuna 接着搜,直到拒答率被压下去、KL 散度被按在地板上。单组 trial 耗时 1 分 02 秒,全程剩余时间估算 1 小时 43 分;显存上,分配了 8.58 GB GPU 显存、预留 8.60 GB,系统常驻内存 3.67 GB。
规模:4.1 万星和 8000 多个改造版模型
- GitHub:41,519 star、4,960 fork、66 个未关闭 issue,2026 年 11 月 16 日仍有提交
- 拿过 trendshift 的 \"#1 Repository of the Day\"
- Hugging Face 上带
other=heretic标签的模型超过 8000 个,README 和官网都挂了这个统计 - 社区前作也有一串:AutoAbliteration、FailSpy/abliterator、wassname/abliterator、ErisForge 等,但作者强调 Heretic 是从零写的,没复用这些项目的代码
下载地址
- 源码仓库:https://github.com/p-e-w/heretic
- 官网与文档:https://heretic-project.org
- PyPI 安装:
pip install -U heretic-llm(包名 heretic-llm) - Codeberg 镜像:https://codeberg.org/p-e-w/heretic
- Hugging Face 组织:https://huggingface.co/heretic-org
- 复现库 Grimoire:https://huggingface.co/spaces/heretic-org/Heretic-Grimoire
- 模型与下载统计:https://heretic.sdad.pro/
- 基础论文(Arditi et al. 2024):https://arxiv.org/abs/2406.11717
值得警惕的那一面
对做模型的人,这是坏消息:对齐不是发布即生效的。任何拿到开源权重的人,都能在自己的机器上把拒答抹掉,全程不需要入侵任何系统、不需要偷 API Key。8000 多个改造版模型说明这已经是流水线级别的操作,不是几个人的实验。
对企业采购和自部署也一样:可自部署的开源模型,\"已对齐\"这个属性是跟着权重走的,谁部署谁负责。第三方改造版模型在 Hugging Face 上没有统一签名和校验,谁把它拉进生产环境、谁承担这个风险。
风险的方向也因此变了——原本模型\"不答\",现在它\"什么都答\"。护栏没了,剩下的是内容安全策略、审计和出口管控这些软手段。
站在防守的角度,合理的做法不是禁用这个工具(它本身是公开的开源研究),而是把自部署模型的权重来源纳入管理:只用官方或内部可追溯的构建版本,第三方改造权重默认不进生产。
参考来源
- Heretic 官方仓库与 README(https://github.com/p-e-w/heretic)
- Heretic 官网(https://heretic-project.org)
- Arditi et al. 2024:Refusal Aversion in LLMs(https://arxiv.org/abs/2406.11717)
版权声明:本文由华盟网原创发布,保留所有权利。文中图片来源于 Heretic 官方仓库与演示录屏。
👇 点击阅读原文,访问我的网站
---
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。









评论