首页/AI/RAG 与向量库速查/GPU 加速向量检索
本包目录(229 条)
架构与流程30 条解析与切分33 条Embedding 与检索50 条
向量数据库49 条
重排与生成32 条评估与优化35 条

GPU 加速向量检索

GPU 适合大规模批量的向量计算:FAISS 的 GPU 索引把构建与检索放到显存,批量查询吞吐显著提升;但显存容量限制数据规模,单条低延迟场景收益有限。

RAG 与向量库速查AI更新于 2026-10-12

FAISS GPU 索引

FAISS GPU 索引
import faiss

res = faiss.StandardGpuResources()
cpu_index = faiss.IndexFlatIP(768)
gpu_index = faiss.index_cpu_to_gpu(res, 0, cpu_index)
gpu_index.add(np.random.rand(1000000, 768).astype("float32"))
D, I = gpu_index.search(np.random.rand(256, 768).astype("float32"), 10)   # 批量查询
要核对 faiss 与 CUDA、驱动的版本匹配;显存不足时迁回分片或量化方案。

易错点

  • 为低频查询上 GPU,利用率低且增加了运维依赖
  • CUDA/驱动/faiss 三方版本不匹配,运行时报符号或初始化错误

数据来源与参考

  • FAISS wiki(GPU Faiss)
  • NVIDIA 官方文档(CUDA 兼容性)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌