提示缓存的概念与收益

相同前缀的请求可复用已计算的中间状态（KV 缓存）降低延迟与成本：稳定内容放前缀、易变内容放尾部；命中条件与计费以服务商文档为准。

布局建议

[稳定前缀] 系统提示 + 少样本示例（集中低峰期改动）
[半稳定] 会话级上下文（按会话缓存）
[易变尾部] 当前用户输入与实时数据

监控：命中率、节省的延迟与费用

Gim 等《Prompt Cache: Modular Attention Reuse for Low-Latency Inference》（2023）；推理服务提示缓存文档（概念）

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌