HuggingFace平台上的热门AI模型可遭劫持

admin 2026-11-19 00:43:18 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

Hugging Face 平台上的热门AI模型可遭劫持

Bill Toulas
Bill Toulas

代码卫士

2026年11月18日 16:48
北京

去阅读

 聚焦源代码安全,网罗国内外最新资讯!

编译:代码卫士

专栏·供应链安全

数字化时代,软件无处不在。软件如同社会中的“虚拟人”,已经成为支撑社会正常运转的最基本元素之一,软件的安全性问题也正在成为当今社会的根本性、基础性问题。

随着软件产业的快速发展,软件供应链也越发复杂多元,复杂的软件供应链会引入一系列的安全问题,导致信息系统的整体安全防护难度越来越大。近年来,针对软件供应链的安全攻击事件一直呈快速增长态势,造成的危害也越来越严重。

为此,我们推出“供应链安全”栏目。本栏目汇聚供应链安全资讯,分析供应链安全风险,提供缓解建议,为供应链安全保驾护航。

注:以往发布的部分供应链安全相关内容,请见文末“推荐阅读”部分。

Hugging Face平台因缺乏所有权验证,可导致研究人员控制AI模型Kokoro。该模型是用于Google、NVIDIA、AMD、Intel和Amazon Web Services项目的文本转语音模型。劫持该账号的攻击者可将其用作供应链攻击的分发渠道,可能导致数据窃取或代码执行。

不过,研究人员展示了一种更隐蔽的攻击方式:修改模型的权重,使生成的音频与输入文本不符,而无需更改底层应用代码。研究人员表示,由于只有权重发生变化,恶意软件扫描器没有可检测的恶意代码或签名。

安全研究员Alon Hertz表示:“我们通过微调其神经网络权重改变了这个模型所说的内容。相同的输入文本。相同的语音文件。相同的配置。相同的推理代码——运行它的应用没有改动一行代码。”Kokoro是一个开放权重模型,可将文本转换为语音。它支持多种语言,拥有50多种语音预设。

尽管该模型的开发者Hexgrad自2025年4月以来未推送更新,该项目仍广受欢迎,在Hugging Face上每月下载量接近1300万次。GitHub仓库和PyPI上的Python包也大约在同一时间停止更新。

Kokoro受到Google、NVIDIA和Intel开发者工具的支持,包括用于语音代理和端侧语音合成的软件。AMD和Amazon Web Services也发布了指南,展示其在AI代理工作流中的使用。

注册域名并重置密码,控制账号

Hertz及其团队仅通过注册原所有者使用的域名并重置登录密码,就控制了Kokoro在Hugging Face上的账号。

在上周末,研究人员注册了Kokoro公开DONATE.md文件中列出的“hexgrad.com”域名,并利用它对发布者账号执行了密码重置。随后他们进行了一次受控测试,使用游戏GPU在87秒内修改了Kokoro的模型权重,使模型产生被投毒的输出。

Hertz表示,团队使用其正常推理流程在本地测试了修改后的Kokoro模型,但从未将修改后的权重上传到Hugging Face,因为可能会危及许多依赖该模型的生产系统。该研究员强调,一次更新仍会带有合法发布的所有特征,因为来自另一个账号的测试表明,Hugging Face不会将其标记为任何可疑内容。尽管账号被接管,发布者看起来仍然一样,文件分发路径、格式和架构也完全相同。文件大小会相似,发布内容也不会包含恶意软件。

更广泛的信任问题

该研究员指出,被入侵的发布者账号通过例行更新向自动获取新版本的系统分发被篡改的权重,由此带来的供应链风险十分重大。

Kokoro只是团队用来突出该问题的一个高关注度案例。

Hertz表示,即使未被劫持的账号也可能构成风险,因为任何人都可以在一段时间内维护一个表面上合法的镜像,然后在某个时刻推送恶意更新。Hertz表示:“Hugging Face不审查发布者。它不验证账号是否仍由最初的合法所有者持有——还是由上周悄悄接管它的人持有。它也不审查这些账号上传的模型或数据集。”

该研究员补充说:“同样未经审查的权重和数据集通过镜像和转换版本、GitHub发布、包注册表、部署指南以及直接下载,流经整个开放模型生态系统。”Hertz向Hugging Face报告了该问题,希望得到快速处理,但没有收到回复。

Hugging Face 平台尚未就此置评。

代码卫士试用地址:https://sast.qianxin.com/

开源卫士试用地址:https://oss.qianxin.com/


推荐阅读

在线阅读版:《2025中国软件供应链安全分析报告》全文

Optimizely 供应链攻击波及全球178家组织机构

因商业合作伙伴营销平台失陷 全球能源巨头 ENGIE 客户数据被盗

OVHcloud CLI GitHub 发布遭劫持 窃取开发人员机密

恶意 GitHub Actions 工作流被植入数万个仓库,窃取凭据

GitLab 邮件地址可用于供应链攻击

Brevo 供应链攻击将 ClickFix 脚本注入客户网站

Anthropic、谷歌和OpenAI 的编程代理严重漏洞可致RCE和供应链攻击

GitHub 内部仓库疑遭未授权访问,TeamPCP 据称正在出售 GitHub 内部源代码

TeamPCP再发动供应链攻击;数百个恶意包被上传,RubyGems 暂停新账号注册

“冬虫夏草”供应链漏洞影响数千家组织机构的代码仓库

多家网络安全公司受 Klue 供应链攻击影响

GitHub 推出 npm 安全变更,对抗供应链攻击

最新软件供应链事件概览:Red Hat npm 包遭劫持;投毒 Claude Code;OpenAI Codex 认证令牌被盗

TrapDoor 供应链攻击通过 npm、PyPI 和 CratesIO 传播凭据窃取恶意软件

自动化供应链攻击6小时内攻陷5561个 GitHub 仓库

GitHub 被黑或因员工安装 Nx Console 恶意扩展引发,更多详情待调查

GitHub 内部仓库疑遭未授权访问,TeamPCP 据称正在出售 GitHub 内部源代码

奇安信Qcode Agents重磅升级,正式解锁操作系统级漏洞挖掘能力

Grafana 令牌被盗,GitHub 环境可遭访问且代码库被下载

TeamPCP再发动供应链攻击;数百个恶意包被上传,RubyGems 暂停新账号注册

Checkmarx 再遭攻击,Jenkins AST 插件受陷

Go 流行库 fsnotify 的维护人员访问权限变更,拉响供应链攻击警报

Gemini CLI 严重漏洞可触发 RCE 攻击和软件供应链风险

自传播供应链蠕虫劫持 npm 包,窃取开发人员令牌

Axios 严重漏洞可导致 RCE

Trivy供应链攻击触发CanisterWorm 在47个 npm 包中自传播

热门包管理器中存在多个漏洞,JavaScript 生态系统易受供应链攻击

开源自托管平台 Coolify 修复11个严重漏洞,可导致服务器遭完全攻陷

得不到就毁掉:第二轮Sha1-Hulud供应链攻击已发起,影响2.5万+仓库

vLLM 高危漏洞可导致RCE

开源AI框架 Ray 的0day已用于攻陷服务器和劫持资源

原文链接

https://www.bleepingcomputer.com/news/security/researchers-hijack-hugging-face-account-for-popular-kokoro-ai-model/

本文由奇安信编译,不代表奇安信观点。转载请注明“转自奇安信代码卫士 https://codesafe.qianxin.com”。

奇安信代码卫士 (codesafe)

国内首个专注于软件开发安全的产品线。

 觉得不错,就点个 “在看” 或 \"赞” 吧~

AI能发现威胁,企业为何不敢让它自动处置? 网络安全文章

AI能发现威胁,企业为何不敢让它自动处置?

企业虽然愿意利用AI进行威胁检测,但对其自主处置威胁持谨慎态度,主要担忧包括业务中断风险、操作合规性问题以及错误处置的恢复难度。文章通过支付系统案例阐述了AI自主处置的风险,并提出了企业如何让AI从辅助检测走向自主处置的建议。
评论:0   参与:  0