首页/AI/AI 应用速查/切分重叠(Overlap)与去重

切分重叠(Overlap)与去重

相邻块重叠一段文本,避免答案正好落在切分边界被截断;重叠 10-20% 起步,配合内容哈希去重防止近重复块霸占召回。

AI 应用速查AI更新于 2026-10-12
作用边界保险丝,保持跨块语义连续
比例从 10-20% 起步,评测后调整
代价索引体积与检索重复率上升
配合入库按内容哈希去重

重叠示意

重叠示意
块 1:[ ... 前半内容 ... 边界句 A ... ]
块 2:          [ 边界句 A ... 后半内容 ... ]
# 边界句落在两块的共享区域,答案不会因切分丢失
重叠比例与切分策略要一起调:先定切分单位(段/句),再用评测集扫几组重叠参数。

易错点

  • 重叠比例过高,同一条信息反复占据召回名额
  • 完全不重叠,边界内容高频丢失

数据来源与参考

  • RAG 工程通行实践;LangChain 切分参数文档

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌