首页/AI/RAG 与向量库速查/标量量化与二值量化(SQ / BQ)
Embedding 与检索50 条

标量量化与二值量化(SQ / BQ)

标量量化(SQ)把 float32 转成 int8 或 4 位整数,内存降约 4 倍、精度损失较小;二值量化(BQ)进一步压到 1 位,用汉明距离检索,适合内存敏感的大规模场景。

RAG 与向量库速查AI更新于 2026-10-12

量化方式对比

方式每维位数相对内存代价
float32321x基线
SQ88约 1/4精度轻微下降,多数场景可用
SQ44约 1/8精度下降更明显
BQ1约 1/32需要重排补偿召回

Qdrant 量化配置

Qdrant 量化配置
PUT /collections/kb
{
  "vectors": {"size": 1024, "distance": "Cosine"},
  "quantization_config": {"scalar": {"type": "int8", "always_ram": true}}
}
量化通常与原始向量共存:先用量化做粗筛,再用 float 向量精排。

易错点

  • 先量化再做评测:量化会改变分数分布,阈值需要重新校准
  • always_ram 打开后内存不足时,服务可能出现过载或启动问题

数据来源与参考

  • Qdrant 官方文档(Quantization)
  • Milvus 官方文档(IVF_SQ8 等量化索引)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌