首页/AI/RAG 与向量库速查/提示词缓存与生成成本优化
本包目录(229 条)

提示词缓存与生成成本优化

把稳定的系统提示与知识片段前缀交给服务端缓存(如各家 prompt caching 能力)可降本降延迟:缓存命中要求字节级一致,因此模板拼接顺序与空白字符都要稳定。

RAG 与向量库速查AI更新于 2026-10-12

稳定前缀的拼接顺序

稳定前缀的拼接顺序
messages = [
    {"role": "system", "content": CACHED_SYSTEM_PROMPT},     # 固定不变
    {"role": "system", "content": CACHED_KB_PREFIX},         # 高复用片段
    {"role": "user", "content": question},                   # 变化部分后置
]
时间戳、随机 id 等易变字段不要放进缓存前缀;命中率用服务端返回的统计字段核对。

易错点

  • 模板里混入动态时间戳,缓存永远不命中
  • 为缓存牺牲提示词结构,把变量塞进前缀破坏可读性

数据来源与参考

  • Anthropic 官方文档(Prompt caching)
  • OpenAI 官方文档(Prompt Caching)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌