| 机制 | 自动缓存请求前缀，命中部分折扣计费（以官网为准） |
|---|---|
| 命中粒度 | 前缀完全一致才命中，按 token 块对齐 |
| 关键设计 | 固定内容（system、few-shot、工具定义）放最前，动态内容放最后 |
| 观测 | 响应 usage 里有缓存命中 token 明细，可用于监控 |
缓存友好的请求结构
缓存友好的请求结构
// 前缀（尽量不变）：system 指令 → 工具定义 → few-shot 示例
// 后缀（每次都变）：本轮用户问题 + 实时数据
{
"model": "gpt-4o",
"messages": [
{ "role": "system", "content": "……长而稳定的指令……" },
{ "role": "user", "content": "{{本次问题}}" }
]
}把时间戳、随机 ID、当轮数据插到前缀里，是缓存命中率杀手——它们会让之后的一切都算“变了”。