固定基准(示意)
固定基准(示意)
# 相同数据集、相同并发,分别跑新旧版本
<基准脚本> --input-len 1024 --output-len 256 --concurrency 16
# 记录:TTFT P95、TPOT P95、吞吐,以及显存与 KV 水位- TTFT 退化:prompt 处理、编译(attention 后端/图捕获)、显存带宽相关
- TPOT 退化:解码路径、量化内核、通信、调度策略
- 环境因素排除:驱动版本、同卡邻居任务、温度与降频状态
一次只改一个变量:镜像、驱动、参数、权重分开对比,混合变更的结论不可信。