清洗函数示例
清洗函数示例
import re
def clean(t: str) -> str:
t = re.sub(r"-\n(?=[a-z])", "", t) # 英文断字连字符合并
t = re.sub(r"\n{2,}", "\n", t)
t = re.sub(r"[ \t]+", " ", t)
t = re.sub(r"第\s*\d+\s*页(\s*/?\s*共\s*\d*\s*页)?", "", t)
return t.strip()页眉页脚也可用“跨页高频重复文本”统计批量识别后再删，比逐份配置规则省力。