- 先分类:TTFT 尖刺还是 TPOT 尖刺(两者根因方向不同)
- 查邻居:同卡是否有其他任务、同机是否有高 IO 任务
- 查环境:温度、功耗墙、降频原因(clocks_throttle_reasons)
- 查流量:突发长请求与突发总量,对照队列与水位曲线
降频证据
降频证据
nvidia-smi --query-gpu=clocks_throttle_reasons.active --format=csv
nvidia-smi --query-gpu=temperature.gpu,power.draw,clocks.sm --format=csv -l 5把尖刺与变更时间线叠在一起看:很多「随机」尖刺都始于某次发布或某个新调用方上线。