观察 KV 水位与请求状态
观察 KV 水位与请求状态
curl -s http://127.0.0.1:8000/metrics | grep -E 'gpu_cache_usage|num_requests'
# 指标名随版本可能微调,以文档为准使用侧重点不在内部实现,而在三个信号:KV 水位、请求排队数、是否出现抢占重算(吞吐抖动来源之一)。
把 KV 缓存按固定大小块(block)分页管理,类似操作系统虚拟内存:减少碎片、支持非连续存储与跨请求共享,是 vLLM 高并发吞吐的基础机制。
curl -s http://127.0.0.1:8000/metrics | grep -E 'gpu_cache_usage|num_requests'
# 指标名随版本可能微调,以文档为准