缓存命中伪代码
缓存命中伪代码
qv = embed(question)
hit = cache.search(qv, threshold=0.95) # 相似度阈值按业务校准
if hit:
return hit.answer
ans = rag_answer(question)
cache.add(qv, ans, ttl=7*86400)阈值过高命中率低、过低答非所问；知识更新或权限变化时要按 doc_id / tenant 维度失效相关缓存。
语义缓存降低重复问答开销
对高频相似问题缓存已有答案：用户问题先按向量相似度查缓存，命中直接返回，省掉 embedding、向量检索与生成的开销；注意阈值校准与失效策略。
易错点
- 缓存键只用原始问题文本，轻微改写就完全不命中
- 缓存未按租户隔离，A 租户的答案被返回给 B 租户
数据来源与参考
- GPTCache 项目文档（github.com/zilliztech/GPTCache）
- Gao et al., RAG for LLMs: A Survey（记忆与缓存模块）