四种切分策略怎么选
固定长度、递归、结构（标题）与语义切分各有取舍：固定长度最省事但边界生硬，递归在小成本下兼顾语义断点，结构切分依赖文档骨架，语义切分成本最高且需要向量化。工程上常从结构加递归的组合起步，把基线做好后再评估语义切分是否值得。
策略对比
| 策略 | 原理 | 成本 | 适用场景 |
|---|
| 固定长度 | 按字符滑窗 | 低 | 无结构长文本、对照基线 |
| 递归 | 按分隔符层级下探 | 低 | 多数中文语料的默认选择 |
| 结构（标题/章节） | 按文档骨架切 | 低到中 | Markdown、文档站、规范类 |
| 语义 | 按语义相似度跳变切 | 高（需向量化） | 长文、主题跳跃多 |
基本信息
| 起步组合 | 结构切分加递归切分 |
|---|
| 判定依据 | 切片语义是否完整、召回是否命中 |
|---|
| 关键约束 | 切片长度要与向量模型的输入上限对齐 |
|---|
| 推进方式 | 先建基线，再按短板单点升级 |
|---|
选型顺序
- 先看文档结构：层次清晰就优先按标题切，结构混乱再退回递归
- 再看语言与标点：中文长句需要把中文标点加入分隔符列表
- 再看长度上限：按向量模型的输入上限反推切片长度
- 最后看成本：语义切分需要额外向量化，收益要用评测证明
- 所有策略都保留人工抽查环节，统计口径不能替代人眼判断
组合方式
| 组合 | 做法 | 适用 |
|---|
| 结构 + 递归 | 先按章节再按长度 | 文档站与手册 |
| 固定 + 重叠 | 滑窗加重叠窗口 | 无结构长文 |
| 语义 + 递归 | 先按语义断点再按长度 | 主题跳跃多的长文 |
| 父子结构 | 小块检索配大块上下文 | 需要精确检索又怕丢语境 |
验收标准
- 切片长度分布集中，没有明显失控的长尾
- 随机抽查无半截句子与孤立标题
- 关键问题能在前三命中里找到对应片段
- 答案完整性没有因切分变碎而下降
- 参数与模型版本一并留档，便于复现
选型顺序建议：结构与递归组合先把基线做好，测出短板后再评估语义切分是否值得投入额外的向量化成本。
