| 精确缓存 | 键为规范化输入加模型、参数与提示版本 |
|---|---|
| 语义缓存 | 向量相似度命中，阈值保守；仅缓存非个性化内容 |
| 失效 | 提示版本或知识更新即失效；设置 TTL |
缓存键与失效
缓存键与失效
key = hash(normalize(input) + model + params + prompt_version)
semantic: 相似度 >= 0.97 且同租户才允许复用
ttl: 24h
失效: prompt_version 变化 → 全量失效
审计: 命中率与复用样本抽查本包目录（290 条）
提示词基础40 条模式与框架50 条任务型写法50 条评估与迭代50 条提示注入与防护50 条
工程化实践50 条
- 提示模板的占位符设计
- 上下文窗口的使用规划
- 提示即代码：纳入仓库管理
- 模型与 SDK 版本固定
- token 预算与分配
- OpenTelemetry GenAI 语义约定
- 生成延迟的分解度量
- 线上质量抽检
- 模板变量注入与默认值
- 提示灰度发布与回滚
- 配置外置与环境差异
- 提示与密钥分离管理
- 多轮对话的滚动摘要
- 上下文排序与位置效应
- 提示缓存的概念与收益
- 重试与指数退避
- 模型不可用时的降级
- 流式输出处理
- 请求追踪与回放调试
- 成本归因与预算告警
- 日志与数据脱敏
- 模板渲染的转义与安全
- 提示变更评审清单
- 提示版本号与兼容策略
- 功能开关与实验分流
- 开发与生产环境隔离
- 分词器与 token 估算
- 会话记忆与实体表
- 会话隔离与并发
- 超时与取消设计
- 限流与配额处理
- 批量任务的部分失败处理
- 响应缓存与语义缓存
- 长任务的异步化
- 审计日志字段设计
- 用户反馈收集与回流
- LLM 功能的值班手册
- 模板注册表与命名规范
- 提示变更记录的写法
- 提示资产目录与元数据
- 历史截断策略对比
- 调用幂等性设计
- 回退链设计
- 并发控制与排队
- 数据保留与清理策略
- 依赖固定与升级窗口
- 模板片段复用与组合
- 提示静态检查规则
- 配置优先级与覆盖规则
- 会话恢复与持久化
响应缓存与语义缓存
对重复请求可缓存响应：精确缓存（同输入哈希）可靠；语义缓存（相似问题复用）要设保守阈值与隔离，避免跨用户串答。
易错点
- 语义缓存阈值过松，答非所问且难以发现
- 缓存不随提示版本失效，新提示配上旧答案
数据来源与参考
- GPTCache（语义缓存开源项目）公开资料（概念）；HTTP 缓存 RFC 9111 思路