功耗温度与降频排查
GPU 触及功耗上限或温度阈值时会自动降频，表现为吞吐下滑而不报错。用查询命令分别看温度、功耗、时钟与降频原因，逐项对照就能区分是散热不足还是功耗限制设置的问题。它属于安静的性能退化，容易被误判为软件变慢，所以排查要有固定顺序。
基本信息
| 查询维度 | 温度、实时功耗、时钟频率、降频原因 |
|---|---|
| 常见原因项 | 触及功耗上限、温度触发的硬件保护、软件温度策略 |
| 权限要求 | 查询状态普通用户可做；调整功耗上限属管理操作，需谨慎 |
| 处理优先级 | 先解决散热与风道，再考虑功耗与限流参数 |
| 表现特征 | 不报错，延迟上升、吞吐下降 |
典型使用场景
- 长稳测试中后期吞吐下滑：多为热积累或机柜温度上升导致
- 机房高温季节：把降频原因与机柜进风温度一起看
- 上架验收：确认满载运行较长时间内不持续降频
- 监控建设：把功耗、温度与降频状态一起纳入看板
- 评估功耗上限调整：先确认散热余量，再判断调整是否有意义
查询与调整
查询与调整
# 分别看温度、功耗与时钟
nvidia-smi -q -d TEMPERATURE,POWER,CLOCK
# 降频原因：看哪一项被激活
nvidia-smi -q -d PERFORMANCE | grep -A 12 'Clocks Throttle Reasons'
# 调整功耗上限（需卡型与驱动支持，属管理操作）
sudo nvidia-smi -pl <瓦数上限>降频到处置的路径
| 原因 | 先查什么 | 处置方向 |
|---|---|---|
| 功耗上限降频 | 当前功耗是否贴住上限 | 评估上限设置或分批消化负载 |
| 温度保护降频 | 进风温度、风道与风扇状态 | 改善散热，必要时降低单机负载 |
| 软件温度策略降频 | 该策略的阈值配置 | 核对策略是否与硬件能力匹配 |
| 时钟被压低 | 利用率与吞吐是否同步下降 | 结合硬件状态与负载一并分析 |
先处理风道与进风温度，再谈参数调整：散热不足时改动功耗墙只是把问题往后拖，还可能让保护性降频更频繁。
调整功耗上限后要复测：吞吐、延迟与能效都会变化，原有的容量结论需要重新标定，不能直接沿用。