三参数核对
三参数核对
# 1) 模型最大输入（tokens）：如 512
# 2) 实测切分长度分布：np.percentile(chunk_lens, [50, 90, 99])
# 3) 指令前缀：查询侧是否需要 "query: " 等前缀
import numpy as np
print(np.percentile([len(t) for t in chunk_token_lens], [50, 90, 99]))E5 系列等模型对前缀敏感：查询与文档必须按模型文档的指示加前缀，否则效果明显下降。