文章总结： 国安部一年内三次警告AI安全风险，涵盖员工违规使用AI工具导致数据泄露、知识库未脱敏被攻击、Agent越权操作及第三方数据出境等17个真实场景。文档提出23项自查清单，覆盖输入管控、RAG索引权限、Agent最小权限、合规备案及应急响应，强调企业需立即停用未达16项标准的AI项目并优先加固安全基础。 综合评分： 85 文章分类： AI安全,数据安全,政策法规,安全建设,漏洞预警

国安部连发 3 警告：你公司 AI 是不是也在裸奔？

原创

AI安全工坊 AI安全工坊

AI安全工坊

2026年5月6日 11:58 江苏

在小说阅读器读本章

去阅读

国安部连发 3 警告：你公司 AI 是不是也在裸奔？

国安部一年内发了 3 次 AI 警告。

第 1 次（2024 年 8 月）：研究员小李，撰写研究报告时为图方便，把核心数据和实验成果丢进 AI 写作小程序。直接泄密。10 年研究成果，废了。小李受到严肃处理。

第 2 次（2026 年 1 月 19 日）：某单位工作人员，把内部文件丢进一个开源 AI 工具处理。电脑默认开启公网访问，没设密码。

敏感资料被境外 IP 非法访问、下载。

国家秘密就这么被人从外面拿走了。

第 3 次（2026 年 4 月 21 日）：国安部专门曝光了 AI”投毒”产业链——训练数据里只要 0.01% 虚假文本，模型有害输出就 +11.2%。重点盯的是政务、医疗、金融这些领域。链条化、隐蔽化、跨境化——已经是黑灰产业链了。

3 次警告，1 年多时间。这事儿挺扯的，但确实在反复发生。

把通报转给做 IT 安全的朋友看，第一反应都是同一句：「我们公司不会吧？」

会的。

只是你不知道。

过去一年，我盯着 AI 安全这个赛道。事故一桩接一桩——Samsung、CISA、阿里云 Qdrant、国安部那两份通报、杭州互联网法院首例 AI 幻觉案……每一桩都让人后背发凉。

今天整理出来：17 个真实泄露场景 + 一份 23 项自查表。

把这篇当一份企业 AI 体检表就行——你公司哪几个部位已经在出血，哪几个还能抢救，看完心里有数。

读完你就知道，那句”不会吧”的判断，到底是事实还是侥幸。

第一类：员工偷偷把数据贴给 AI（5 个场景）

这一类最常见。也最容易被低估。

LayerX 2025 年的报告说：18% 员工会直接把数据粘到 GenAI 工具，71% 走的是个人非公司账户，89% 的 AI 用法企业根本看不见。

89% 是什么意思？就是公司的 IT 完全不知道员工拿了什么去喂 AI。这不是夸张，这是真不知道。

5 个真实场景：

1. 1. 员工把生产代码贴 ChatGPT 修 bug ← Samsung 2023 年解禁 ChatGPT 不到 20 天就出了 3 起。半导体源代码、良率算法、内部会议纪要——全进了 OpenAI 训练集。没法撤回，没法删除，没法找谁负责。这不是员工不小心，是制度根本没建，烂在根上。

2. 2. 录音 → 转文字 → 贴 GPT 整理纪要 ← Samsung 第二起。所有”为了提效”的姿势，本质都是泄露入口。踩坑姿势千变万化，结果只有一个：废了。

3. 3. 客户名单贴 AI 写跟进话术 ← 销售岗高频。一份 Excel 几千个手机号，10 秒上传完成。事后查日志？根本没日志。这种翻车场景一年能见好几次。

4. 4. 财务表喂 GPT 做分析 ← 财务岗 + 老板岗。最尴尬的是老板自己就在干这事。第二天再训 IT 头是不是有点说不过去，但是该训还是训，IT 头心累。

5. 5. 绕开公司管控的个人 AI 账号 ← LayerX 报告里 71% 的来源。员工知道公司禁用，就用自己的账号——ChatGPT、Claude、Kimi、通义、文心，挑一个顺手的就上。「我用的不是公司电脑」是经典自我安慰，但客户数据是公司的。

   不是员工蠢。

   是 2025 年 8 月，连美国 CISA 代局长 Madhu Gottumukkala 都把”仅限官方使用”的政府采购合同上传到公共 ChatGPT。CISA 是美国最高网络安全机构。代局长亲自上。

   这事被自家传感器抓到，告警了好几次。真服了。

   你说你公司能比 CISA 安全？醒醒吧。

第二类：知识库给 AI 用前没脱敏（4 个场景）

这一类最隐蔽。也最难修。

2025 年 3 月，奇安信发现一个部署在阿里云上的 Qdrant 向量库——连访问密码都没设。几百条用于训练 AI 的向量数据，公网直接可读。

不是 2018 年。是 2025 年 3 月。

同时期奇安信鹰图平台扫到全球 8971 台 Ollama 服务器 / 88.9% 暴露公网 / 中国境内 5669 台。已经有攻击者用脚本批量扫描劫持。

5669 台只是 Ollama 一条路的暴露面。2026 年企业私有化部署早就不止 Ollama 了——vLLM、TGI、SGLang、K8s 推理集群、国内大模型厂商的私有化方案……每条路都有自己的暴露面。Ollama 这条路 88.9% 暴露在公网，其他几条路真的更安全？没人敢拍胸脯。

问题不是”用了什么”，是部署完之后有没有人盯着端口。大部分公司——没人盯。

4 个 RAG 场景：

1. 6. ACL 扁平化 ← 知识库做 chunking 时，原文档的访问权限被剥离。结果就是：用户 A 不该看的文档，RAG 直接喂给了用户 A。修这个的代价是重做整套向量库，没人愿意做。

2. 7. Embedding 可逆向重构 ← 没加密的向量被攻击者反推回原文。「向量不是文本」是错觉，攻击者只需要一个有梯度的模型。

3. 8. 索引污染（数据投毒 / 模型投毒） ← USENIX Security 2025 的 PoisonedRAG 论文（Wei Zou 等 4 个作者）已经证明：5 个精心构造的恶意文档，在百万级知识库里能 90% 操纵 AI 响应。学术上是这样。

   现实更狠。2026 年 4 月国安部专门曝光了 AI 投毒产业链——训练数据里只要 0.01% 虚假文本，模型有害输出就 +11.2%；哪怕 0.001%，也 +7.2%。

   攻击两类：数据投毒（GEO 工具批量造虚假内容 / 跨境投放 / 刷量控评）+ 模型投毒（微调 / 插件植入 / 接口篡改 / 权重里埋触发式恶意指令）。重点盯政务、医疗、金融。学术 + 国家级双警示，国内 RAG 厂商基本没动。

4. 9. 元数据丢失 + 训练数据反推 ← 国内 2025 年已经验证：通过特定序列问题，可以重构训练集中的身份证号片段。医疗、金融行业风险尤其高，等保上门那天才发现来不及，可惜的是大部分公司根本没人在防这事，头疼。

第三类：Agent 越权访问公司库（4 个场景）

这一类最新。也最容易”AI 替你犯错”。

OWASP 2025 LLM Top 10 把这归到 LLM06 Excessive Agency（Agent 过度授权）。中国信通院 AI Safety Benchmark 给的数据更直接：推理模型幻觉率超过 10%，72B 大模型超过 14%。

也就是说，你的 Agent 每 7-10 次操作里，至少 1 次是错的。

如果它有调用财务系统、发邮件、写数据库的权限——那个错的 1 次会发生什么？OWASP LLM06 整章就在讲这件事：Agent 在错的会话里调了错的工具，发了不该发的邮件、写了不该写的库、跨了不该跨的权限。一旦出事，法务和 IT 联手处理几天起步，客户关系还是赔不回来。

4 个场景：

1. 10. 工具白名单缺失 ← Agent 可以调任何 API。最小权限原则在 AI 时代经常被忘记，「能调就让它调」的态度直接埋雷。这种坑遇到了基本就是大事故。
2. 11. 多 Agent 协作权限隔离失败 ← Agent A 拿到的数据，Agent B 默认能看。跨用户、跨业务线、跨权限。问题是默认配置根本没人改，等翻车了才知道。
3. 12. 关键操作无人工审批 ← Agent 直接写数据库 / 直接发对外邮件 / 直接调财务系统。「自动化」听起来很美，事故来了第一个挨骂的是 IT。这一锅 IT 头甩不掉，醉了。
4. 13. 跨用户上下文泄露 ← Agent 在 user A 的会话里，意外调用了 user B 的数据。Microsoft Copilot 的 Reprompt 攻击（2026 年 1 月公开 / Varonis 发现）就是这个原理：单次点击合法 Microsoft 链接 = 整个会话被静默外泄。Microsoft 紧急 patch，但企业部署里有多少没打补丁的？没人统计。

第四类：第三方调用 / 数据出境（4 个场景）

这一类最容易踩合规。

1. 14. 第三方分析服务泄露 ← 你接的 AI 服务，不一定是 OpenAI 在管。2025 年 11 月，OpenAI 自己的 Mixpanel 被攻破 / API 用户的姓名、邮箱、用户 ID 都在受影响数据集里。你以为你在跟 OpenAI 说话，其实你在跟一条供应链说话。
2. 15. 分享链接被搜索引擎索引 ← ChatGPT 分享按钮 + 一个缺失的 noindex 标签 = 数千条私人对话被 Google 收录。2025 年 7-8 月的真事，没法装作没看见。
3. 16. 跨境数据出境 ← 个人信息保护法 + 等保 2.0 + 海外司法辖区。最简单的判断：只要你调海外大模型（GPT-5 / Claude / Gemini 任意一个），你已经在做数据出境。Italy 数据保护局 2024 年 12 月对 OpenAI 开了 €15M 罚款——首例 GenAI GDPR 案，没及时通知泄露 + 训练数据缺合法基础 + 没年龄验证，三个常识级错误，1.5 亿人民币级代价。海外踩过的，国内监管也在看。
4. 17. API 密钥 / Token 泄露 ← OpenAI Codex GitHub Token 漏洞（2026 年 3 月 patch）。员工把 API Key 写进开源仓库的事每周都在发生，扫描器每周都在抓。

写到这里，先停一下。

我知道你看完会想：「这些事情真的会找上我吗？」

直接说结论：会。而且不是”以后会”，是已经在发生。

杭州互联网法院 2026 年 1 月审结了全国首例 AI 幻觉侵权案。一家 AI 应用错答了高校招生信息，还在对话里”承诺”赔偿 10 万。原告最后只主张 9999 元，但法院判决里把 AI 服务提供者的注意义务写得清清楚楚——3 层注意义务：

1. 1. 严格审查违法信息

2. 2. 显著提示 AI 生成局限

3. 3. 用 RAG 等技术措施提高准确性

   第 3 条直接点名 RAG。

   这是中国法律对 AI 安全的最低标准，不是建议。

这 17 个场景，一份 23 项自查表

按 5 类拆分。每项一句话。做不到 16 项以上的公司，建议先停掉新增 AI 项目，把基础打牢再上。

A 类：输入泄露（7 项）

• • A1. 有明文 AI 数据使用政策（正面 / 负面清单）吗？过线 = 员工能说出 3 类不能贴 AI 的数据。

• • A2. 禁止用个人 AI 账号处理公司数据吗？过线 = 公司提供合规渠道（国产企业版如通义 / 文心 / 豆包 / DeepSeek / 智谱 / 讯飞星火，或私有化部署 vLLM / 推理集群）+ SSO + 审计；个人账号在公司网络下传公司数据被 DLP 拦截。

• • A3. 网关 / 终端有 DLP 规则识别 AI 流量吗？过线 = 至少能告警敏感关键词外发到 AI 域名。

• • A4. ≥ 80% 员工完成 AI 数据安全意识培训了吗？过线 = 培训含 Samsung / CISA / 国安部小李 3 个真实案例。

• • A5. 企业内部 AI 工具记录所有 Prompt 输入吗？过线 = 6 个月日志可查 + 敏感词自动标记。

• • A6. 离职 / 转岗 / 外包结束的人员 AI 账号及时回收吗？过线 = 24 小时内冻结所有 AI 账号 + 历史 Prompt 日志保留 ≥ 6 个月便于追溯。

• • A7. 数据按涉密等级做了分级管控吗？过线 = 国家秘密 / 商业秘密 / 个人信息分级清单 + 高级别数据连企业版 AI 也禁，必须完全离线处理。

  B 类：RAG 索引（7 项）

• • B1. Chunking 时保留每个 chunk 的访问控制元数据吗？过线 = chunk 带 ACL 字段，检索时校验。

• • B2. RAG 检索阶段做用户权限校验吗（不只是事前 chunk）？过线 = 检索后再过一道 user-doc 权限矩阵。

• • B3. 向量数据库 embedding 加密 / 至少访问控制吗？过线 = Qdrant / Milvus 不暴露公网 + 有 token 鉴权。

• • B4. 对新增向量做内容审核吗（防 PoisonedRAG 5 文档操纵 + 国安部 AI 投毒）？过线 = 入库前过 prompt 注入 + 投毒检测器。

• • B5. 进 RAG 前对 PII / 商业秘密做脱敏吗？过线 = 身份证 / 手机号 / 财务数字自动 mask。

• • B6. 用户行使个保法第 47 条删除权时，能从向量库 / RAG 索引里定位并删除吗？过线 = 数据血缘可追溯 + 30 天内完成删除 + 删除后再训练验证。

• • B7. 用的 Embedding 模型是什么？海外（OpenAI / Cohere）还是国产（BGE / Qwen-Embedding / m3e）？过线 = 国产模型本地部署 / 或海外模型走数据出境合规通道。

  C 类：Agent 越权（4 项）

• • C1. Agent 可调用工具有明确白名单（最小权限）吗？过线 = 默认拒绝，按需开通，可审计回放。

• • C2. 多 Agent 协作时做 session 隔离吗？过线 = 跨 Agent 不共享原始 context，按摘要传递。

• • C3. Agent 写库 / 发邮件 / 调财务系统需人工审批吗？过线 = 高风险 action 必须 human-in-the-loop。

• • C4. 对照 OWASP LLM06 Excessive Agency 做过 review 吗？过线 = 文档化的”过 / 不过”清单可查。

  D 类：第三方 / 数据出境（4 项）

• • D1. 使用的所有 AI 服务（含分析 / 监控 / SaaS 第三方）有完整清单吗？过线 = 每月更新 + 含数据流向标注。

• • D2. 绘制数据流图标注哪些数据流出企业边界了吗？过线 = PIPIA（个人信息保护影响评估 / 个保法第 55-56 条）已做 + 报告留存 3 年。

• • D3. 部署的生成式 AI 完成大模型备案了吗（截至 2025-06 共 439 款）？过线 = 备案号公示在显著位置 + 服务页可查。

• • D4. 跨境 AI 调用符合数据出境管理要求 + 个人信息保护法 + 单独同意吗？过线 = 安评 / 标准合同 / 认证三选一 + 用户单独同意。

  E 类：监控与响应（1 项）

• • E1. 数据泄露后 72 小时内报告（个保法第 57 条）的应急预案有吗？过线 = 应急流程文档化 + 至少演练过 1 次 + 涵盖发现 / 报告 / 处置 / 通知用户全链路。

  体检完 23 项，做不到 16 项以上 = 合规裸奔状态。这不是吓人，是事实。

回到开头那 3 次警告

研究员小李不是恶意的。”省 10 分钟”泄露了 10 年研究成果。

2026 年 1 月那个”某单位工作人员”也不是恶意的。”图方便”让境外 IP 把敏感资料下走了。

2026 年 4 月那条 AI 投毒产业链，更不是凭空冒出来的——黑灰产业看到的都是机会，盯的就是企业 AI 落地这一年的混乱。

国安部把这 3 件事做成全国警示，意思很清楚：

这不是某个员工的问题，是制度的问题。

看到这份清单，正常老板的反应都是「我们查一下」。查完结果通常不太好看——但能查就比不查强。很多公司是根本没人在查，等监管上门那天，都来不及。

2025 年网信办启动”清源行动”——金融、医疗、教育领域的 AI 模型，强制算法审计。备案没做的，最高违法所得 10 倍罚款。

不是”以后会查”。是”现在已经在查”。

如果看完这 17 个场景 + 23 项自查，发现你公司做不到一半——别拖了。趁监管还没上门，趁事故还没发生，把基础打牢。

扯远了，说回正题。

公司 AI 用了一年到底泄露了什么？

希望读完这篇，你心里至少有 23 个清晰的答案。

本文 17 个场景全部基于 2024-2026 年真实事故 + OWASP / 信通院 / cac.gov.cn / CERT 等权威源。

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：AI安全工坊 AI安全工坊 AI安全工坊《国安部连发 3 警告：你公司 AI 是不是也在裸奔？》