训练语料合规是什么
语料是模型合法性的根：来源要合法、不侵犯知识产权，含个人信息的数据要按个人信息保护相关要求处理，外包标注要管住数据流向。实操上一份可追溯的语料台账比任何书面声明都管用：每批语料记录来源、授权依据、是否含个人信息与处理方式、用途范围与质检记录。最容易留下大额合规债的做法是「先训了再说」——模型权重无法删除某一条数据，事后补授权基本做不到，只能重训。
基本信息
| 来源管理 | 公开语料、授权语料、自有数据逐类留授权依据 |
|---|---|
| 个人信息 | 去标识化、告知同意或匿名化评估 |
| 知识产权 | 核对版权状态与许可范围是否覆盖训练用途 |
| 标注外包 | 签协议后分发脱敏数据，禁止原始数据外流 |
| 用途划分 | 预训练、微调、评测分别授权 |
| 留存材料 | 语料台账、授权书、质检记录 |
典型使用场景
- 模型预训练：确认全部语料来源与授权可举证
- 私有语料微调：评估企业内部数据的可用范围
- 评测集构建：避免使用来源不明的题目与答案
- 外包标注：控制分发范围与数据处理方式
- 供应商采购：要求提供语料来源说明与授权证明
语料台账字段
语料台账字段
语料集ID / 名称 / 版本
来源：渠道 URL / 供应商 / 内部系统
授权：许可协议 / 授权书编号 / 有效期限
个人信息：是否含 / 处理方式（去标识化 / 匿名化）
用途：预训练 / 微调 / 评测（三用途分别授权）
质检：抽检记录 / 不良内容过滤记录
保留期限与销毁记录
# 台账要能答题：任意一条语料从哪来、凭什么能用、用于何处语料来源与授权要求
| 来源类型 | 授权要求 | 风险点 |
|---|---|---|
| 公开网页抓取 | 留意版权与网站条款 | 无授权记录，无法举证合法来源 |
| 采购或授权语料 | 保留合同与授权期限 | 授权范围可能不含训练用途 |
| 自有业务数据 | 确认用户授权与用途范围 | 含个人信息时需评估处理方式 |
| 开源数据集 | 核对许可证与用途限制 | 部分数据集仅限研究用途 |
| 外包标注 | 签署协议并脱敏分发 | 原始数据外流导致失控 |
「先训了再说」是很重的合规债：模型权重无法删除某条数据，事后补授权基本做不到，只能重训，代价远高于事前立项审查。
语料台账要与索引和版本管理联动：语料集版本、清洗规则版本与模型版本一一对应，出现争议时能快速定位受影响范围。