长时间跑才能看到漂移
在目标并发下持续跑数小时到数天，观察显存水位、延迟分位数与吞吐是否漂移。碎片与缓存行为随时间才显现，短时压测覆盖不到这类问题；判定时要看趋势，而不是某一刻的数值。
基本信息
| 适用平台 | 自托管推理服务的稳定性验证 |
|---|---|
| 持续时间 | 数小时到数天，按业务周期确定 |
| 观察项 | 显存水位、延迟分位、吞吐、温度与降频 |
| 判定方法 | 重启后复跑，与之前的曲线对比 |
滚动记录（示意）
滚动记录（示意）
watch -n 60 nvidia-smi --query-gpu=memory.used,utilization.gpu --format=csv
# 同时导出压测侧逐分钟的 P95 与吞吐做趋势对照典型使用场景
- 上线前验证：确认长时间运行不会漂移
- 版本对照：新旧版本各跑一轮长稳测试
- 泄漏排查：配合采样曲线判断是否存在泄漏
- 降频观察：温度与功耗墙造成的漂移同样表现为延迟上升
观察项与异常
| 观察项 | 正常表现 | 异常表现 |
|---|---|---|
| 显存水位 | 高位平稳、随负载波动 | 缓慢抬升不回落 |
| 延迟分位 | 波动在预期范围 | 随时间缓慢恶化 |
| 吞吐 | 与并发设定对应 | 相同并发下逐步下降 |
出现缓慢上升先区分：缓存池占位、碎片还是真实泄漏；重启后复跑是最直接的判定手段。
监控清单：显存、温度、降频事件与队列长度一起记录，温度或功耗异常同样会让延迟漂移。
长稳期间保留中途的采样数据：只留首尾两份，看不出漂移是怎么发生的。
长稳要覆盖业务周期：把每天的高峰时段包含进来，才能观察到负载变化带来的累积影响。
长稳的并发要接近目标水位：低并发下跑再久也测不出容量边界上的问题。
记录每次重启的时间点：长稳期间的重启会打断曲线，不标注就会被误读成漂移。