| 参数 | 窗口大小 + 重叠长度 |
|---|---|
| 起点建议 | 512-1024 token，重叠 10-20% |
| 优点 | 简单、块大小均匀、便于批量 |
| 缺点 | 无视语义边界，易在句中截断 |
固定窗口滑切（Python 示意）
固定窗口滑切（Python 示意）
text = open("policy.txt", encoding="utf-8").read()
size, overlap = 800, 100 # 按字符示意，实际建议按 token 计
chunks = [text[i:i + size] for i in range(0, len(text), size - overlap)]中英文按字符切密度不同：中文 800 字符的信息量远大于英文，跨语言语料要分别调参。