首页/AI/大模型部署与运维速查/PagedAttention:KV 分页管理
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条
推理参数与优化50 条
显存与并发估算40 条服务化与网关34 条运维监控与排障50 条

PagedAttention:KV 分页管理

把 KV 缓存按固定大小块(block)分页管理,类似操作系统虚拟内存:减少碎片、支持非连续存储与跨请求共享,是 vLLM 高并发吞吐的基础机制。

观察 KV 水位与请求状态

观察 KV 水位与请求状态
curl -s http://127.0.0.1:8000/metrics | grep -E 'gpu_cache_usage|num_requests'
# 指标名随版本可能微调,以文档为准
使用侧重点不在内部实现,而在三个信号:KV 水位、请求排队数、是否出现抢占重算(吞吐抖动来源之一)。

易错点

  • 把 KV 打满当健康:接近上限会出现排队与抢占重算,前后抖动明显,应先扩容或限流

数据来源与参考

  • vLLM 官方博客:PagedAttention(blog.vllm.ai)
  • vLLM 官方文档:Production Metrics(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌