首页/AI/大模型部署与运维速查/响应缓存与语义缓存

响应缓存与语义缓存

对确定性或高重复场景加缓存:缓存键由模型、消息、采样参数与模板版本哈希而成;语义缓存用向量相似度放宽匹配,收益更高但口径要收紧。

缓存键示意

缓存键示意
key = hash(model + messages + 采样参数 + 模板版本)
语义缓存:相似度 ≥ 阈值时命中(阈值按业务标定)
多租户必须按租户隔离缓存键;缓存设置过期与可删除能力,符合数据管理要求。

易错点

  • 跨租户共用缓存键:数据串租属严重问题,键里必须带租户维度

数据来源与参考

  • LiteLLM 官方文档:缓存(docs.litellm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌