稀疏向量形态
稀疏向量形态
# 输出形如 {token_id: weight}，由 MLM 头 + ReLU + max 池化产生
sparse = embed_sparse("向量数据库怎么选型")
# {2345: 0.71, 8712: 1.42, 9903: 0.35, …}
# 倒排索引只存非零维度，检索时按权重累加打分稀疏向量维度等于词表大小（数万），但非零项通常远少于百个；存储与倒排查询都按非零项处理。
本包目录（229 条）
架构与流程30 条解析与切分33 条
Embedding 与检索50 条
- Embedding 向量化基础
- 混合检索（向量 + BM25）
- 中文 Embedding 模型选型
- BM25 排序算法
- HNSW 图索引与参数
- OpenAI Embeddings API 用法
- Sentence-Transformers 本地向量化
- 余弦相似度（Cosine Similarity）
- RRF 倒数排名融合
- 前置过滤与后置过滤
- 切分粒度与召回效果
- 度量选择与索引一致性
- IVF 倒排索引（nlist / nprobe）
- top-k 选取与重排配套
- BGE-M3 多语言多粒度模型
- 向量归一化与度量等价
- Recall@k 与命中率评估
- E5 模型的查询/段落前缀
- 内积（Dot Product）与检索
- 中文分词与 BM25 效果
- 学习式稀疏向量（SPLADE）
- 相似度阈值与 No-Answer 判定
- 元数据过滤加速召回
- 查询指令与非对称检索
- 批量向量化与限流处理
- 乘积量化（PQ）压缩向量
- efSearch 召回与延迟调优
- 多路召回合并与去重
- 向量维度与存储成本
- 超长文本的截断与池化
- 用小评测集选择 Embedding 模型
- 欧氏距离（L2）
- 加权分数融合与归一化
- nprobe 与 IVF 召回权衡
- 建立可回归的检索基线
- MTEB / C-MTEB 榜单使用
- 锁定 Embedding 模型版本
- MRR 与 NDCG 排序质量
- 向量索引常见问题清单
- 向量库基础概念与 CRUD
- Embedding 领域微调
- 向量化结果缓存
- Cohere Embed 与 input_type
- 标量量化与二值量化（SQ / BQ）
- Embedding 模型升级与索引重建
- 批量检索与服务并发
- 相似度分布诊断
- 用 LLM 判定召回的补充评估
- NumPy 矩阵化相似度计算
- 余弦检索实现细节与坑
学习式稀疏向量（SPLADE）
SPLADE 类模型把文本编码成词表维度的稀疏权重向量（多数维度为 0），把神经检索带入倒排体系：可直接与 BM25 同库混排，对专名与词形变化都比纯词频稳健。
易错点
- 把稀疏向量当稠密向量存普通索引，维度开销与距离计算都不划算
- 稀疏模型自带查询扩展（伪相关词），文档含同名不同义词时可能引入噪声匹配
数据来源与参考
- Formal et al., SPLADE: Sparse Lexical and Expansion Model for First Stage Ranking (arXiv:2107.05720)
- Qdrant 官方文档（Sparse vectors）