| 原理 | 相邻句相似度断点检测 |
|---|---|
| 优点 | 块内主题一致，检索更聚焦 |
| 成本 | 需要额外向量计算与阈值调试 |
| 适用 | 话题漂移明显的长文档、会议记录 |
语义切分流程（要点）
语义切分流程（要点）
1) 长文按句切分
2) 每句向量化
3) 计算相邻句相似度序列
4) 相似度骤降处设分界点（阈值按语料调）
5) 合并过短句组，保留少量重叠语义切分不是默认更优：边界不稳、成本更高，先用递归切分做基线，用评测集比较再决定。
语义切分（Semantic Chunking）
按语义边界而非字符数切分：先分句，再计算相邻句向量相似度，在相似度骤降处断开。块内主题更一致，代价是计算量与边界稳定性。
易错点
- 默认语义切分一定更好（先和基线比）
- 无重叠导致跨边界问答信息缺失
数据来源与参考
- LlamaIndex Semantic Splitter 文档；语义分块公开方法