GPU 降频原因怎么看
推理速度突然下降，先查降频：查询性能状态会列出时钟降频的原因，最常见的两项是触及功耗上限导致的软件功耗降频，以及温度触发的硬件保护降频，个别配置下还有软件温度策略降频。降频属于「安静的性能问题」——不会报错，只是吞吐悄悄掉下来。
基本信息
| 查询命令 | nvidia-smi -q -d PERFORMANCE |
|---|---|
| 常见原因项 | 软件功耗上限降频、硬件温度保护降频、软件温度策略降频 |
| 关联查询 | 时钟频率、实时功耗、温度、功耗上限 |
| 权限要求 | 普通用户即可查询状态 |
| 典型表现 | 不报错，延迟上升、吞吐下降 |
典型使用场景
- 压测吞吐不达预期：先排除降频因素再怀疑软件配置
- 长稳测试中后期变慢：多为散热积累或机房温度上升导致
- 机房高温时段性能下降：把温度与降频原因放在一起看
- 上架验收：确认满载运行时不会频繁触发降频
- 监控建设：把降频原因纳入告警，而不是等用户反馈
查看降频原因
查看降频原因
# 列出时钟降频原因及其当前是否激活
nvidia-smi -q -d PERFORMANCE | grep -A 20 "Clocks Throttle Reasons"
# 关联看时钟、功耗、温度与功耗上限
nvidia-smi --query-gpu=clocks.sm,power.draw,temperature.gpu,power.limit --format=csv原因项与处置方向
| 原因项 | 含义 | 处置方向 |
|---|---|---|
| 功耗上限降频 | 触及设定的功耗墙 | 评估功耗上限设置或分批限流 |
| 硬件温度降频 | 温度触发硬件保护 | 查风道、进风温度与机柜环境 |
| 软件温度降频 | 按温度策略主动降频 | 核对该策略的阈值配置 |
| 时钟被压低 | 频率低于预期 | 与利用率、吞吐一起对照分析 |
触发降频时吞吐下降但不会报错：监控里应把降频状态与延迟分位放在同一块看板上，才能提前发现问题。
现场排查顺序建议是先看温度与风道，再看功耗上限设置，最后才考虑用限流分批这类软件手段消化负载。