| 稳定在前 | system 指令、工具定义、few-shot、长文档 |
|---|---|
| 动态在后 | 用户问题、当轮检索结果、时间戳 |
| 监控 | 按接口统计缓存命中 token 占比，设告警阈值 |
| 排查 | 命中率骤降 = 前缀被某处改动污染 |
命中率排查（伪代码）
命中率排查（伪代码）
对每条响应：hit_rate = cached_tokens / prompt_tokens
按日聚合 P50；若某天骤降：
1) 检查 system prompt 是否改版
2) 检查是否有人在模板里插入了时间/会话ID
3) 对比不同渠道（SDK/网关）的请求拼装差异A/B 模板时保留对照组流量，能快速判断命中率变化是模板问题还是流量结构问题。