| 原理 | 大分隔符优先,逐级降级 |
|---|---|
| 参数 | chunk_size + chunk_overlap |
| 中文配置 | 把句号、问号、分号加入分隔符列表 |
| 地位 | 多数项目的首选切分器 |
递归切分(Python 示意)
递归切分(Python 示意)
from langchain_text_splitters import RecursiveCharacterTextSplitter
splitter = RecursiveCharacterTextSplitter(chunk_size=800, chunk_overlap=100)
# 默认分隔符层级:段落 → 换行 → 空格;中文语料建议补充句号/问号/分号
chunks = splitter.split_text(document)中文语料务必自定义分隔符(。?!;),否则长句会被硬切,语义块质量明显下降。