递归字符切分

递归切分按分隔符优先级（段落 → 换行 → 句号 → 空格）逐级下探，尽量把边界落在语义断点；是中文语料常用的默认策略。

RAG 与向量库速查AI更新于 2026-10-12

LangChain 递归切分

from langchain_text_splitters import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=800,
    chunk_overlap=120,
    separators=["\n\n", "\n", "。", "；", "，", " ", ""],
)
chunks = splitter.split_text(text)
print(len(chunks), chunks[0][:100])

分隔符列表加入中文标点（。；，）能减少中文长句被硬切的情况。

易错点

分隔符不含中文标点时，长中文段落可能整段超长或被硬切
chunk_size 是字符数不是 token 数，与模型预算换算要单独校验

数据来源与参考

LangChain 官方文档（RecursiveCharacterTextSplitter）

继续搜索

常用关键词：3389 traceroute iptables 子网掩码 docker

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌