AI 训练数据抓取与 TDM 权利保留合规（欧盟视角）
章节：06 数据隐私 / 适用对象：用公开网页/社媒/电商评论数据训练或微调 AI 模型的跨境企业、AI 工具开发者、数据供应商
一、问题背景：AI 训练数据 = 版权 + 数据合规双雷区
- 欧盟 DSM 指令（(EU) 2019/790）Art.4：文本与数据挖掘（TDM）例外——权利人明确保留权利（opt-out）的，不得用于 TDM。
- AI Act Art.53(1)(c)：GPAI 模型提供者必须遵守 EU 版权法，包括"权利人作出的权利保留"。
- 叠加 GDPR：训练数据含个人数据（如用户评论、个人信息）时，还须有合法基础（合法利益需平衡测试 / 同意）。
二、TDM 双轨规则（欧盟）
| 场景 | 规则 | 关键点 |
|---|---|---|
| 科研用途 TDM（Art.3） | 无需权利人授权，权利保留无效 | 仅限科研机构/文化遗产机构，非商业 |
| 商业用途 TDM（Art.4） | 需权利人授权，权利保留即禁止 | 抓取前必须检查权利保留声明 |
- 权利保留的合法形式（权利人侧）：
- 机器可读：
robots.txt中Disallow+GPTBot/CCBot/PerplexityBot等 AI 爬虫 UA； - 网站服务条款（ToS）中的 TDM 禁止条款；
- 全球数字权利保留网络（Global Network on Digital Rights Retention, GNDR）：权利人一次声明，全网 AI 公司遵守。
- 机器可读：
三、合规抓取四步法（训练方侧）
1. 抓取前：权利保留筛查
- 对目标域名执行 robots.txt 解析（AI 专用 UA 名单：GPTBot、CCBot、Google-Extended、anthropic-ai、Bytespider、PerplexityBot 等）；
- 检查网站 ToS/版权页是否有 TDM 保留声明；
- 检查 GNDR 清单是否覆盖该域名。
2. 抓取中：留痕
- 记录每次抓取的：时间、URL、UA、robots.txt 快照（存证，执法时自证合规）；
- 遵守抓取频率（Rate-limit），避免触发 CF 反爬和 EU 网络滥用责任。
3. 抓取后：数据治理
- 版权筛查：移除受保护作品片段（指纹比对/CDSM 清单）；
- 个人数据：PII 识别 + 最小化（去标识化/删除）；
- 许可审计：区分"已授权""权利保留""无明确声明"三类来源，前者可商用，后两者谨慎。
4. 持续合规
- 权利保留是动态的：权利人可随时加入 GNDR / 更新 robots.txt → 建立季度重扫机制；
- 欧盟 AI Office 对 GPAI 提供者的训练数据摘要审查会回溯核对：摘要声称的数据来源需与实际抓取日志一致。
四、中国卖家/开发者的特殊提示
- 抓取中国境内数据训练：受《数据安全法》《个人信息保护法》约束，爬虫合规要求更高（不得绕过反爬、不得非法获取个人信息）；
- 跨境训练数据流：中国→欧盟部署的模型，训练数据含中国个人信息 → 触发《数据出境》评估 + GDPR 双重要求；
- 电商场景：用亚马逊/速卖通评论数据训练选品模型 → 评论数据含第三方版权（买家原创内容）+ 平台 ToS 禁止抓取（Amazon ToS 明确禁止数据抓取）→ 建议改用平台 API 授权数据或购买许可数据集。
五、罚则与风险
| 风险源 | 后果 |
|---|---|
| 违反 TDM 权利保留 | 版权侵权诉讼（每件作品独立计算）+ AI Act 合规失败 |
| AI Act Art.53 违反 | 最高 €1500万 / 全球营业额 3% |
| GDPR 非法处理个人数据 | 最高 €2000万 / 全球营业额 4% |
| 违反平台 ToS 抓取 | 账号封禁 + 民事违约索赔 |
六、30 天行动清单
- 盘点现有训练/微调数据来源清单（域名、抓取方式、时间）
- 对所有来源执行 robots.txt + ToS 权利保留筛查，出具合规来源矩阵
- 建立抓取留痕机制（日志含 robots 快照）
- 上线 PII 识别与去标识化流水线
- 制定季度权利保留重扫日历
- 若使用第三方数据集：要求供应商出具 TDM 合规承诺函
Tina · 资深法务首席 · 2026-08-06 · 跨境电商合规手册 06章