抓 Python 栈(不重启进程)
抓 Python 栈(不重启进程)
pip install py-spy # 建议装在独立环境,避免污染服务依赖
py-spy dump --pid <引擎PID> # 查看各线程当前调用栈
py-spy top --pid <引擎PID> # 观察热点线程- 卡在多机通信:核对网络与通信超时配置(通信卡死通常不会自愈)
- 卡在 GPU 相关调用且 dmesg 有 Xid:CUDA 上下文可能已损坏,按维护流程重启进程
- 完全抓不到栈:先保全证据(日志、dmesg、nvidia-smi -q),再升级处置
先分清「慢」与「挂」:观察一分钟的水位与吞吐曲线,缓慢推进与完全不动处理方式不同。