首页/AI/AI 应用速查/递归字符切分(Recursive Splitter)
本包目录(159 条)

递归字符切分(Recursive Splitter)

主流默认方案:按分隔符层级(段落 → 换行 → 句号 → 逗号)递归尝试,尽量在语义边界断开,超长才降级到更小单位。

AI 应用速查AI更新于 2026-10-12
原理大分隔符优先,逐级降级
参数chunk_size + chunk_overlap
中文配置把句号、问号、分号加入分隔符列表
地位多数项目的首选切分器

递归切分(Python 示意)

递归切分(Python 示意)
from langchain_text_splitters import RecursiveCharacterTextSplitter
splitter = RecursiveCharacterTextSplitter(chunk_size=800, chunk_overlap=100)
# 默认分隔符层级:段落 → 换行 → 空格;中文语料建议补充句号/问号/分号
chunks = splitter.split_text(document)
中文语料务必自定义分隔符(。?!;),否则长句会被硬切,语义块质量明显下降。

易错点

  • 中文不配中文标点分隔符,句子被硬切
  • overlap 过大导致近重复块挤占召回位置

数据来源与参考

  • LangChain 官方文档:RecursiveCharacterTextSplitter

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌