首页/AI/大模型部署与运维速查/资源泄漏观察:三条曲线
本包目录(267 条)
部署形态与选型43 条推理环境与 GPU50 条推理参数与优化50 条显存与并发估算40 条服务化与网关34 条
运维监控与排障50 条

资源泄漏观察:三条曲线

长跑服务盯三条曲线:进程 RSS、CUDA reserved、文件描述符与线程数;缓慢单调上涨且不回落就要采样比对,区分分配器缓存的正常增长与真实泄漏。

采样命令

采样命令
pid=$(pgrep -f vllm | head -1)
ps -o rss= -p $pid            # RSS(KB)
ls /proc/$pid/fd | wc -l      # 文件描述符数
ls /proc/$pid/task | wc -l    # 线程数
nvidia-smi --query-gpu=memory.used --format=csv -l 60
  • 判定:连续数天单调上涨、周期高峰后不回落,才是泄漏信号
  • 对照:重启前后的基线差、版本发布时间点
  • 处置:短期用定时重启(配合排空)兜底,长期按最小复现报上游
把采样结果存档成表格:趋势判断需要跨天数据,单点快照说明不了问题。

易错点

  • 把分配器缓存当泄漏:reserved 高位平稳属正常,先看是否单调上涨

数据来源与参考

  • PyTorch 官方文档:CUDA memory management(缓存行为说明)
  • Linux proc(5) 手册(man7.org)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌