IK 分词器映射示例
IK 分词器映射示例
# Elasticsearch 安装 analysis-ik 插件后：
"content": {
"type": "text",
"analyzer": "ik_max_word", # 索引时细粒度
"search_analyzer": "ik_smart" # 查询时粗粒度
}自定义词典（品牌、型号、缩写）能明显改善专名召回；词典更新后需要重建索引，倒排才会生效。
本包目录（229 条）
架构与流程30 条解析与切分33 条
Embedding 与检索50 条
- Embedding 向量化基础
- 混合检索（向量 + BM25）
- 中文 Embedding 模型选型
- BM25 排序算法
- HNSW 图索引与参数
- OpenAI Embeddings API 用法
- Sentence-Transformers 本地向量化
- 余弦相似度（Cosine Similarity）
- RRF 倒数排名融合
- 前置过滤与后置过滤
- 切分粒度与召回效果
- 度量选择与索引一致性
- IVF 倒排索引（nlist / nprobe）
- top-k 选取与重排配套
- BGE-M3 多语言多粒度模型
- 向量归一化与度量等价
- Recall@k 与命中率评估
- E5 模型的查询/段落前缀
- 内积（Dot Product）与检索
- 中文分词与 BM25 效果
- 学习式稀疏向量（SPLADE）
- 相似度阈值与 No-Answer 判定
- 元数据过滤加速召回
- 查询指令与非对称检索
- 批量向量化与限流处理
- 乘积量化（PQ）压缩向量
- efSearch 召回与延迟调优
- 多路召回合并与去重
- 向量维度与存储成本
- 超长文本的截断与池化
- 用小评测集选择 Embedding 模型
- 欧氏距离（L2）
- 加权分数融合与归一化
- nprobe 与 IVF 召回权衡
- 建立可回归的检索基线
- MTEB / C-MTEB 榜单使用
- 锁定 Embedding 模型版本
- MRR 与 NDCG 排序质量
- 向量索引常见问题清单
- 向量库基础概念与 CRUD
- Embedding 领域微调
- 向量化结果缓存
- Cohere Embed 与 input_type
- 标量量化与二值量化（SQ / BQ）
- Embedding 模型升级与索引重建
- 批量检索与服务并发
- 相似度分布诊断
- 用 LLM 判定召回的补充评估
- NumPy 矩阵化相似度计算
- 余弦检索实现细节与坑
中文分词与 BM25 效果
中文 BM25 效果强依赖分词：IK（ik_max_word / ik_smart）与 jieba 等粒度不同、召回不同；产品型号与专名建议加入自定义词典保护。
易错点
- 索引与检索都用一个粗粒度分词器，长词片段漏匹配
- 词典更新后未重建索引，新词在倒排里查不到
数据来源与参考
- IK Analysis 插件项目文档（github.com/infinilabs/analysis-ik）
- Elasticsearch 官方文档（Text analysis）