推理环境与 GPU50 条

GPU 降频原因查看

推理速度突然下降先看降频:-q -d PERFORMANCE 列出 Clocks Throttle Reasons,常见为 SW Power Cap(功耗墙)与 HW Thermal(温度),个别还有 SW Thermal Slowdown。

查看降频原因

查看降频原因
nvidia-smi -q -d PERFORMANCE | grep -A 20 "Clocks Throttle Reasons"

关联查看

关联查看
nvidia-smi --query-gpu=clocks.sm,power.draw,temperature.gpu,power.limit --format=csv
触发降频时吞吐下降但不会报错,属于「安静的性能问题」,监控要把它纳入告警。

易错点

  • 机箱散热或风道问题在机房高负载时段集中出现:降频排查要结合机柜温度一起看

数据来源与参考

  • NVIDIA nvidia-smi 文档(docs.nvidia.com/deploy/nvidia-smi)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌