缓存能省多少算力
对确定性或高重复的场景可以加缓存：缓存键由模型、消息、采样参数与模板版本一起哈希而成；语义缓存用向量相似度放宽匹配，收益更高但命中口径要收紧。上线之前先统计请求重复率，再决定这件事是否值得做。
基本信息
| 适用平台 | 网关或应用层的缓存组件 |
|---|---|
| 缓存键构成 | 模型、消息、采样参数、模板版本 |
| 语义缓存 | 按向量相似度放宽匹配，阈值按业务标定 |
| 前置条件 | 先统计请求重复率，确认有收益 |
缓存键示意
缓存键示意
key = 哈希(模型 + 消息 + 采样参数 + 模板版本)
语义缓存：相似度达到阈值即命中（阈值按业务标定）典型使用场景
- 固定问答：同一问题反复出现，命中率可观
- 模板化输出：格式转换类请求结果稳定，适合缓存
- 成本控制：命中缓存直接省掉一次推理
- 多租户隔离：按租户维度建键，避免串数据
- 效果核对：命中率与省下的算力要能对上账
两类缓存对比
| 缓存类型 | 匹配方式 | 主要风险 |
|---|---|---|
| 精确缓存 | 键完全一致才命中 | 键设计不当导致命中率极低 |
| 语义缓存 | 相似度达到阈值即命中 | 阈值过松会返回不相关的答案 |
多租户必须按租户隔离缓存键：同时给缓存设置过期与可删除能力，符合数据管理要求。
命中判据：先统计重复率再上线缓存，命中率与省下的算力要能对上账，否则只是增加复杂度。
缓存键要包含采样参数与模板版本：漏掉任何一项，参数一变就会命中含义已经过期的回答。
缓存键的组成要写进文档：命中率异常时能逐项核对，而不是靠猜。
命中情况要能被观测：命中率与命中响应的延迟都进监控，才说得清收益。