文章总结： 欧洲新指南明确否定公开即授权逻辑，指出网页公开不代表同意AI抓取。企业需证明数据抓取的合法利益与必要性，外包不免责，且须严控敏感数据。鉴于数据入模后难删除，合规须前移。企业亟需建立来源台账、敏感过滤与隐私测试等可验证的治理体系以回答六大核心问题，中国AI企业也需警惕域外管辖与供应链传导风险，告别粗放数据模式。 综合评分： 86 文章分类： 政策法规,AI安全,数据安全,爬虫,供应链安全

公开≠授权：欧洲为AI数据抓取划出的那条线，正在改变整个行业

安全牛

2026年7月21日 13:37 北京

在小说阅读器读本章

去阅读

点击蓝字 关注我们

互联网上有一种长期流行的默契，近乎一种不言而喻的共识——

只要网页不需要密码，里面的内容就是”公开数据”。既然任何人都能看见，机器自然也可以拿走。

这个逻辑支撑了整整一代生成式AI的崛起。大量模型在这个前提下爬取新闻、论坛、社交平台、个人博客，将数以亿计的文字、图片、声音和代码吸纳进训练集，再转化为能够写作、对话、生成图像的智能系统。

然而，2026年7月，欧洲数据保护委员会发布了一份措辞清晰、逻辑严密的指南文件——《生成式AI背景下网络抓取指南》（Guidelines 03/2026）。这份文件用监管机构的语言，第一次系统性地否定了上述逻辑。

它传递的核心判断，只需一句话便可概括：个人信息出现在公开互联网上，并不意味着相关个人已经同意其信息被大规模抓取、永久保存，并用于训练商业化生成式AI。

这不是一纸”禁止爬虫令”，而是一次更深层的规则重构。

一、被误读了多年的”公开数据”

在讨论这份指南的具体内容之前，有必要先厘清一个最基本的误解。

“公开数据”这个词，在技术语境和法律语境中，承载着截然不同的含义。

技术意义上的”公开”，指的是访问路径无需身份验证——搜索引擎可以索引，任何人可以查看。法律意义上的”公开”，则涉及信息发布者的意图、发布时的语境，以及在特定目的下使用该信息是否具有正当性。

两者之间，存在一条巨大的鸿沟。

设想这样几个场景：一位求职者在招聘平台上公开了自己的职业经历，目的是获得工作机会；一位患者在医疗互助论坛中讲述了自己的病情，目的是寻求建议；一位父亲在社交平台上传了家庭聚会的照片，目的是与远方的亲友分享；一位研究者在专业社区中发表了对某一政策的看法，目的是参与特定话题的讨论。

这些信息，技术上都可以被搜索引擎访问。但没有一位信息发布者，是为了让某家AI公司将其批量下载、与数亿条其他数据合并、保存数年，再用于训练能够生成文本、复制声音、重建人脸或推断个人属性的模型。

数据被公开时的语境，与AI开发者后来赋予它的用途，可能相差万里。

欧洲数据保护委员会的这份指南，正是在这个层面发力。它明确指出：个人将信息发布到公开网页，并不代表其同意第三方为了某个特定目的抓取这些数据；网站没有配置robots.txt，也不能被解释为GDPR意义上的有效同意。

这一判断，将颠覆整个行业习以为常的数据采集逻辑。

二、三个必须回答的问题

指南并没有宣布网络爬虫本身违法。它将监管的焦点，从”能不能抓”转移到了几个更加具体的维度：

为什么抓？抓什么？能否用更小代价实现同样目的？

这三个问题，对应的是GDPR中”合法利益”这一最常被援引的法律依据。

大规模网络抓取往往涉及数亿名用户，逐一取得同意几乎不可能。因此，私人企业通常依赖”合法利益”条款为数据采集行为背书。但欧洲数据保护委员会明确指出，”合法利益”不是一张万能通行证。

企业首先必须证明，所追求的利益是真实的、当前的、表述清晰的，而不是”未来可能有用”或者”为了创新”这样空泛的理由。

其次，必须证明数据处理具有必要性——不仅要证明数据有助于实现目标，还要证明不存在同样有效、但对个人权利侵害更小的替代方案。能否减少抓取范围？能否使用匿名数据或合成数据？能否只针对特定主题，而不是无差别扫描整个互联网？

最后，还需要进行利益平衡。企业的商业利益，不能凌驾于个人的隐私权、自主决定权、表达自由和人格尊严之上。处理活动对个人造成的影响越大，依赖合法利益的空间就越小。

指南在这里特别提到了一个值得警惕的概念：寒蝉效应。

当人们意识到自己在论坛、博客或社交平台上的每一句话，都可能被永久收录进某个未知模型，并用于身份识别、画像或内容生成时，他们可能开始减少表达，甚至不再参与敏感话题的讨论。这不仅是个人隐私的损失，更是整个互联网作为开放表达空间的代价。

三、外包抓取，并不意味着外包责任

生成式AI的数据供应链，往往比外界想象的更加复杂。

一家模型公司可能委托技术服务商执行抓取；可能直接购买第三方整理好的训练数据集；可能从多个开源项目、内容平台和数据经纪商处拼接数据。每一个环节，都可能成为责任归属的争议地带。

模型公司声称”数据是供应商提供的”，供应商则声称”自己只是按照客户要求执行技术任务”。当问题出现时，没有人真正负责。

指南对此给出了明确立场：责任归属不能仅看合同中的名称，而要根据各方实际决定了什么进行判断。

如果AI开发者决定了训练目的、数据来源、数据类别和主要采集方式，第三方只是根据书面指令执行，那么AI开发者通常仍然是数据控制者。如果模型公司购买了别人已经建好的数据集，双方则可能分别对各自的数据处理活动承担责任——模型公司不能因为”数据不是我抓的”，就免除对数据来源合法性的审查义务。

这意味着，在采购合同中写一句”供应商保证数据合法”，已经远远不够。模型开发者至少需要知道：数据来自哪些网站，什么时候抓取，使用了什么采集规则，是否涉及登录后内容，是否绕过了技术限制，是否包含儿童、医疗信息、政治观点等高风险数据，以及数据主体能否提出删除或反对请求。

四、最危险的区域：种族、健康、政治观点

如果说合法利益的讨论是指南的核心框架，那么对特殊类别个人数据的处理，则是其中最危险、最难处理的地带。

互联网包含大量涉及种族或民族来源、政治观点、宗教信仰、健康状况和性取向的信息。根据GDPR第9条，此类数据的处理原则上被明确禁止，除非满足特定例外条件。

现实的困难在于，爬虫可能在抓取完成前无法准确判断页面是否包含敏感信息。一个普通论坛帖子中可能突然出现病历描述，一段语音可能透露宗教或族裔背景，一张照片也可能暴露健康状况。

指南承认这种困难，但也明确拒绝将其转化为普遍免责。

企业必须证明：敏感数据的处理只是偶然和残余的，而非有意收集；事前难以准确识别；并且已经在自身能力范围内采取了有效措施。

这些措施包括：抓取前设置精确规则和敏感信息过滤器，排除儿童平台等高风险来源；抓取后立即删除意外收集的敏感数据；对隐私攻击进行测试并设置输出过滤；模型上线后持续监控输出，一旦发现模型泄露敏感数据，应立即加强过滤或限制相关功能。

五、真正困难的，是数据已经进入了模型

这份指南最具穿透力的判断，藏在一个技术性的细节里。

传统数据库中的个人信息可以定位、修改和删除。但模型训练完成后，个人数据可能以参数关系、记忆片段或统计模式的形式嵌入模型。指南直言：在当前技术条件下，一旦模型完成训练，个人信息通常无法轻易从模型中删除。

这使网络抓取具有明显的不可逆风险。

企业在训练前没有做好来源筛选，不能依靠事后删除原始文件解决问题；即使原始网页已经删除，模型仍可能复现相关内容；即使模型通常不会直接输出某段个人信息，攻击者也可能通过成员推断、提示注入或其他隐私攻击尝试提取。

因此，合规的逻辑必须向前移动。

过去的数据流程是”先抓取、再清洗、再训练、出现投诉后处理”；今后应当是”先定义目的、再选择来源、先过滤高风险数据、再决定是否训练”。

从风险控制的角度看，阻止一条不必要的个人信息进入训练集，远比在数十亿参数的模型中试图消除它，要现实得多，也有效得多。

六、这份欧洲指南，为何也与中国企业密切相关

或许有人会认为，这不过是欧洲的监管文件，与中国AI企业关系不大。

这种判断需要审慎。

GDPR的地域适用范围相当宽泛。向欧盟境内个人提供商品或服务、或监测其在欧盟境内行为的企业，无论总部位于何处，都可能进入GDPR的适用范围。一家中国AI公司，只要其业务、模型服务或数据处理活动与欧盟市场形成相应联系，就不能简单认为欧洲数据保护规则与自己无关。

更重要的是，欧洲的监管思路往往会通过商业合同、采购要求、融资条件和供应链规则，传导至全球AI企业。当数据提供方开始要求客户说明训练目的，当网站设置AI爬虫退出机制，当投资者和企业客户要求披露训练数据治理情况，这些压力都会真实地落在每一家AI公司的运营层面。

此外，指南还特别提醒：个人数据合规只是网络抓取合法性的一部分。即使某项抓取满足了GDPR要求，也不当然意味着其同时符合版权法、数据库权、网站服务条款、反不正当竞争法以及网络安全方面的要求。数据保护合规，无法替代其他维度的法律评估。

七、负责任的AI，需要回答这六个问题

从指南的整体思路看，欧洲监管机构期待的，不是企业”做了什么合规措施”，而是企业”能否证明措施真实存在且有效”。

这需要一套完整的、可验证的数据治理体系：建立训练数据来源台账，记录每个数据集的来源、抓取时间、采集条件、法律依据和负责人员；在抓取前完成合法利益评估；将抓取对象网站分为允许、限制和禁止三类；面向公众建立透明度中心，公开主要数据来源、爬虫标识和权利申请入口；将个人数据过滤真正写入工程流程；将隐私防护延伸至模型层面，包括去重、降低记忆和原文复现、隐私攻击测试和输出过滤。

落实到最具体的层面，判断一个AI企业是否真正负责任，最终需要它能够准确回答以下六个问题：训练数据来自哪里？为什么必须使用个人信息？哪些网站被排除在外？用户如何提出反对？敏感数据如何过滤？数据进入模型后，如何防止记忆、复现和泄露？

这六个问题，已经不再是法务部门的专属议题，而是关乎产品安全、商业可持续性和品牌信誉的核心竞争力。

结语：公开互联网不是无边界的数据矿山

生成式AI的发展离不开数据，这一点没有争议。

但需要数据，并不意味着可以把互联网视为一个无人拥有、无人管理、无人反对的公共训练仓库。

网页可以公开，个人权利仍然存在。技术上可以抓取，法律上仍需说明目的。数据可以被机器读到，并不意味着可以被永久记忆、跨场景推断和商业化利用。

《Guidelines 03/2026》传递出的真正信息，不是欧洲准备关闭互联网数据的大门，而是要求AI企业告别无差别、不可追溯、无法退出的粗放数据模式。

公开互联网是由无数个人的表达、生活、交流和创造共同构成的空间。生成式AI可以从中学习，但不能假设每一个公开发言的人，都已经默认成为模型的训练材料。

当一个行业能够准确回答数据来源的每一个问题时，数据治理才不再是创新的阻碍，而会成为模型可信度、产品安全和商业可持续性的真正基础。

AI需要数据。但数据背后，始终是人。

相关阅读

重磅发布|安全牛《AI生成内容安全及风险管理技术应用指南》

AIGC 合规大考：企业如何低成本搞定全场景安全？

今日，AI拟人化智能体强监管时代来临：政策解读、行业变局与合规路径

联系我们

合作电话：18610811242

合作微信：aqniu001

联系邮箱：[email protected]

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：安全牛 《公开≠授权：欧洲为AI数据抓取划出的那条线，正在改变整个行业》