分块平均池化
分块平均池化
import numpy as np
vecs = model.encode(chunks_of_doc, normalize_embeddings=True)
doc_vec = vecs.mean(axis=0) # 平均池化
doc_vec = doc_vec / np.linalg.norm(doc_vec) # 再归一化截断与池化会改变向量语义，两种策略先在评测集上对比再定。
本包目录（229 条）
架构与流程30 条解析与切分33 条
Embedding 与检索50 条
- Embedding 向量化基础
- 混合检索（向量 + BM25）
- 中文 Embedding 模型选型
- BM25 排序算法
- HNSW 图索引与参数
- OpenAI Embeddings API 用法
- Sentence-Transformers 本地向量化
- 余弦相似度（Cosine Similarity）
- RRF 倒数排名融合
- 前置过滤与后置过滤
- 切分粒度与召回效果
- 度量选择与索引一致性
- IVF 倒排索引（nlist / nprobe）
- top-k 选取与重排配套
- BGE-M3 多语言多粒度模型
- 向量归一化与度量等价
- Recall@k 与命中率评估
- E5 模型的查询/段落前缀
- 内积（Dot Product）与检索
- 中文分词与 BM25 效果
- 学习式稀疏向量（SPLADE）
- 相似度阈值与 No-Answer 判定
- 元数据过滤加速召回
- 查询指令与非对称检索
- 批量向量化与限流处理
- 乘积量化（PQ）压缩向量
- efSearch 召回与延迟调优
- 多路召回合并与去重
- 向量维度与存储成本
- 超长文本的截断与池化
- 用小评测集选择 Embedding 模型
- 欧氏距离（L2）
- 加权分数融合与归一化
- nprobe 与 IVF 召回权衡
- 建立可回归的检索基线
- MTEB / C-MTEB 榜单使用
- 锁定 Embedding 模型版本
- MRR 与 NDCG 排序质量
- 向量索引常见问题清单
- 向量库基础概念与 CRUD
- Embedding 领域微调
- 向量化结果缓存
- Cohere Embed 与 input_type
- 标量量化与二值量化（SQ / BQ）
- Embedding 模型升级与索引重建
- 批量检索与服务并发
- 相似度分布诊断
- 用 LLM 判定召回的补充评估
- NumPy 矩阵化相似度计算
- 余弦检索实现细节与坑
超长文本的截断与池化
多数 embedding 模型有输入长度上限（常见 512 token 级）；超长文本可截断（丢尾部）或分块编码后向量池化（如平均），选择依赖任务并要评测。
易错点
- 长文档直接截断前 N token，尾部内容永远检索不到
- 池化后忘记重新归一化，与库配置的度量行为不一致
数据来源与参考
- BAAI BGE 模型卡片（最大输入长度）
- Sentence-Transformers 官方文档（池化方法）