首页/AI/RAG 与向量库速查/Sentence-Transformers 本地向量化
Embedding 与检索50 条

Sentence-Transformers 本地向量化

sentence-transformers 可本地加载 ST 兼容模型(BGE/M3E/E5 等)批量编码,支持 GPU 加速与离线运行;归一化后配合余弦或内积检索。

RAG 与向量库速查AI更新于 2026-10-12

批量编码

批量编码
from sentence_transformers import SentenceTransformer

model = SentenceTransformer("BAAI/bge-large-zh-v1.5")
vecs = model.encode(["切片一…", "切片二…"], batch_size=64,
                    normalize_embeddings=True, show_progress_bar=True)
print(vecs.shape)     # (2, 1024)
查询侧可按模型卡要求加检索提示句(非对称检索),能提升短查询对长文档的召回。

易错点

  • batch_size 过大导致显存溢出,按设备压测后再定值
  • CPU 推理吞吐有限,在线并发要控制在机器可承受范围

数据来源与参考

  • Sentence-Transformers 官方文档(sbert.net)
  • BAAI BGE 模型卡片(Hugging Face)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌