粒度影响
| 粒度 | 典型收益 | 典型问题 |
|---|---|---|
| 小块（≤128 token） | 定位精确、区分度高 | 上下文割裂，答案不完整 |
| 中块（256～512） | 语义与定位较平衡 | 边界含义可能丢失 |
| 大块（≥1024） | 上下文完整 | 相似度被稀释，检索回到大段文本 |
用评测对比粒度
用评测对比粒度
for size in (256, 512, 1024):
chunks = split(docs, chunk_size=size, overlap=64)
index.rebuild(embed(chunks))
print(size, eval_retrieval(queries, gold, index)) # 同期对比 recall@k配合父块-子块或句窗策略，可以同时拿到小块的高定位与大块的上下文完整性。