首页/AI/RAG 与向量库速查/分片、副本与横向扩展

分片、副本与横向扩展

分布式向量库通过分片(shard)分摊数据与检索负载、副本(replica)提供并发与容灾:分片键选择影响过滤效率,副本数影响成本;扩容后需重新平衡数据分布。

RAG 与向量库速查AI更新于 2026-10-12

Milvus 指定分片数

Milvus 指定分片数
client.create_collection(
    collection_name="kb_big",
    schema=schema,
    num_shards=4,                 # 按数据量与并发规划
    consistency_level="Bounded",
)

副本调整思路

副本调整思路
查询并发高 → 增加 query 侧副本/节点
写入吞吐高 → 关注 data node 与消息队列扩容
容量不足   → 加分片并触发再平衡(按库文档操作)
分片过多会增加检索扇出与协调开销;容量与延迟规划后再定分片数。

易错点

  • 按峰值并发过量配置副本,常态资源闲置、成本偏高
  • 扩容时未评估查询扇出变化,延迟不降反升

数据来源与参考

  • Milvus 官方文档(Sharding / Replica)
  • Qdrant 官方文档(Distributed deployment)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌