启用（vLLM 示意）
启用（vLLM 示意）
vllm serve <模型路径> --enable-prefix-caching
# 部分版本已默认开启，以版本文档为准缓存命中消耗 KV 空间：与并发请求共享显存，上线时一并观察 KV 水位与命中率。
前缀缓存：复用相同前缀的 KV
相同前缀（系统提示、模板、few-shot 示例）的 KV 缓存直接复用、跳过重复 prefill：多请求共享同一系统提示的网关场景收益明显，命中率可从服务指标观察。
易错点
- 前缀里放逐请求变化的内容（用户 ID、时间戳）：差一个字符就全量重算，命中率崩掉
数据来源与参考
- vLLM 官方文档：Automatic Prefix Caching（docs.vllm.ai）