策略
| 策略 | 原理 | 成本 | 适用场景 |
|---|---|---|---|
| 固定长度 | 按字符滑窗 | 低 | 无结构长文本、对照基线 |
| 递归 | 按分隔符层级下探 | 低 | 多数中文语料的默认选择 |
| 结构（标题/章节） | 按文档骨架切 | 低-中 | Markdown、文档站、规范类 |
| 语义 | 按语义相似度跳变切 | 高（需向量化） | 长文、主题跳跃多 |
选型顺序：结构与递归组合先把基线做好，测出短板后再评估语义切分是否值得。
四种切分策略对比与选型
固定长度、递归、结构（标题）与语义切分各有取舍：按语料结构与效果目标选择，工程上常从结构 + 递归组合起步，再评估语义切分。
易错点
- 不做对照实验就上语义切分，成本增加但效果未必提升
- 只看切片数量整齐，不看切片语义是否完整
数据来源与参考
- Greg Kamradt, 5 Levels of Text Splitting
- LangChain 官方文档（各类 Splitter）