| 作用 | 边界保险丝,保持跨块语义连续 |
|---|---|
| 比例 | 从 10-20% 起步,评测后调整 |
| 代价 | 索引体积与检索重复率上升 |
| 配合 | 入库按内容哈希去重 |
重叠示意
重叠示意
块 1:[ ... 前半内容 ... 边界句 A ... ]
块 2: [ 边界句 A ... 后半内容 ... ]
# 边界句落在两块的共享区域,答案不会因切分丢失重叠比例与切分策略要一起调:先定切分单位(段/句),再用评测集扫几组重叠参数。
相邻块重叠一段文本,避免答案正好落在切分边界被截断;重叠 10-20% 起步,配合内容哈希去重防止近重复块霸占召回。
| 作用 | 边界保险丝,保持跨块语义连续 |
|---|---|
| 比例 | 从 10-20% 起步,评测后调整 |
| 代价 | 索引体积与检索重复率上升 |
| 配合 | 入库按内容哈希去重 |
块 1:[ ... 前半内容 ... 边界句 A ... ]
块 2: [ 边界句 A ... 后半内容 ... ]
# 边界句落在两块的共享区域,答案不会因切分丢失