清洗要点
清洗要点
1) 统一 Unicode(NFKC 归一化,去除零宽与双向控制字符)
2) 解析阶段过滤样式隐藏文本(颜色/字号/定位)
3) 提取正文后做指令样式模式扫描
4) 保留原始副本用于取证,清洗后副本用于模型输入| 工具 | HTML 解析时基于可见性选择文本节点,而不是全文转文本 |
|---|---|
| 取证 | 原始内容存档;清洗要保守,避免误删正常内容 |
| 监控 | 清洗命中率异常升高可能意味着有人在试探 |
网页与文档可以藏起指令:小字、白底白字、零宽字符与注释;文本清洗要能去掉不可见字符并保留可视结构。
1) 统一 Unicode(NFKC 归一化,去除零宽与双向控制字符)
2) 解析阶段过滤样式隐藏文本(颜色/字号/定位)
3) 提取正文后做指令样式模式扫描
4) 保留原始副本用于取证,清洗后副本用于模型输入| 工具 | HTML 解析时基于可见性选择文本节点,而不是全文转文本 |
|---|---|
| 取证 | 原始内容存档;清洗要保守,避免误删正常内容 |
| 监控 | 清洗命中率异常升高可能意味着有人在试探 |