缓存键示意
缓存键示意
key = hash(model + messages + 采样参数 + 模板版本)
语义缓存:相似度 ≥ 阈值时命中(阈值按业务标定)多租户必须按租户隔离缓存键;缓存设置过期与可删除能力,符合数据管理要求。
对确定性或高重复场景加缓存:缓存键由模型、消息、采样参数与模板版本哈希而成;语义缓存用向量相似度放宽匹配,收益更高但口径要收紧。
key = hash(model + messages + 采样参数 + 模板版本)
语义缓存:相似度 ≥ 阈值时命中(阈值按业务标定)