知识库数据治理要点
RAG 的质量上限由数据本身决定,治理是绕不开的一层:文档要有唯一来源与责任人、明确的生命周期(草稿、发布、下线),敏感信息入库前脱敏或按密级隔离,权限变更与文档状态保持同步。治理缺位时,检索侧的优化都只是权宜之计——用户问的是最新版手册,库里却躺着三份旧版,而且都会被召回。
基本信息
| 治理要素 | 来源、责任人、版本、生效日期、可见范围、密级 |
|---|---|
| 生命周期 | 草稿、发布、下线,状态决定入库与出库 |
| 权限模型 | 权限标签随文档走,检索时前置过滤 |
| 敏感信息 | 入库前脱敏或按密级隔离 |
| 下线处理 | 状态变更必须同步删除或屏蔽向量 |
| 审计要求 | 保留变更记录与责任人字段 |
典型使用场景
- 文档下线后必须从索引移除,避免检索到废弃内容
- 人员转岗或权限调整后,检索可见范围立即收窄
- 手机号、密钥等敏感信息入库前脱敏
- 多版本共存时按版本与生效日期过滤,只召回当前有效版本
- 审计时说明每条数据的来源、责任人与入库时间
入库前置检查清单
入库前置检查清单
□ 来源与责任人已登记
□ 状态为「发布」,草稿与内部流转稿不入库
□ 敏感字段已脱敏,或按密级放入隔离集合
□ 版本号与生效日期写入元数据
□ 已关联权限标签(可见范围)
□ 下线流程已定义:状态变更时同步删除或屏蔽向量治理要素读法
| 要素 | 作用 | 缺失后果 |
|---|---|---|
| 来源与责任人 | 内容出错能找到人修 | 问题长期挂账无人处理 |
| 版本与生效日期 | 过滤过期内容 | 新旧版本同时被召回,答案自相矛盾 |
| 权限标签 | 支撑检索前置过滤 | 越权召回,等同数据泄露 |
| 状态字段 | 草稿不入库、下线即下架 | 草稿或废弃内容进入答案 |
权限过滤必须发生在检索侧的前置过滤阶段:先召回再在界面上隐藏,等于数据已经被读出并可能进入模型上下文,属于实质性越权。
文档下线只改状态不删向量是最常见的隐患:检索仍会命中已下线内容,因此状态变更必须触发索引侧的删除或屏蔽动作。