首页/AI/大模型部署与运维速查/性能回归:变量隔离法
运维监控与排障50 条

性能回归:变量隔离法

升级或改参数后变慢,用固定负载基准与变量隔离定位:同一压测集对比新旧版本,观察 TTFT(prefill 计算)与 TPOT(decode 带宽与通信)分别变了多少,指向不同的退化源。

固定基准(示意)

固定基准(示意)
# 相同数据集、相同并发,分别跑新旧版本
<基准脚本> --input-len 1024 --output-len 256 --concurrency 16
# 记录:TTFT P95、TPOT P95、吞吐,以及显存与 KV 水位
  • TTFT 退化:prompt 处理、编译(attention 后端/图捕获)、显存带宽相关
  • TPOT 退化:解码路径、量化内核、通信、调度策略
  • 环境因素排除:驱动版本、同卡邻居任务、温度与降频状态
一次只改一个变量:镜像、驱动、参数、权重分开对比,混合变更的结论不可信。

易错点

  • 新旧版本在不同负载下对比:并发与长度不一致时,快慢结论完全失真

数据来源与参考

  • vLLM 官方仓库:benchmarks 目录(github.com/vllm-project/vllm)
  • NVIDIA 官方文档:性能分析工具总览(docs.nvidia.com)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌