现场观察与热点定位
现场观察与热点定位
nvidia-smi dmon -s um -d 2 # 利用率与显存波动
nvidia-smi pmon -o T # 进程级利用率
py-spy top --pid <服务 PID> # Python 侧热点定位排查顺序：请求有没有进来（网关日志）→ 是否在排队（服务指标）→ 批大小是否偏小 → CPU 预处理/分词是否瓶颈 → 是否被降频。
利用率天然随流量波动，判断要用较长时间的窗口与请求速率对照，不要用瞬时值下结论。