首页/AI/大模型部署与运维速查/延迟尖刺:按时间轴对齐排查
运维监控与排障50 条

延迟尖刺:按时间轴对齐排查

偶发延迟尖刺先用统一时间轴找相关性:TTFT 尖刺多指向长 prompt 与 prefill 挤占,TPOT 尖刺指向带宽、通信与降频;再查同卡邻居、温度与突发流量。

  • 先分类:TTFT 尖刺还是 TPOT 尖刺(两者根因方向不同)
  • 查邻居:同卡是否有其他任务、同机是否有高 IO 任务
  • 查环境:温度、功耗墙、降频原因(clocks_throttle_reasons)
  • 查流量:突发长请求与突发总量,对照队列与水位曲线

降频证据

降频证据
nvidia-smi --query-gpu=clocks_throttle_reasons.active --format=csv
nvidia-smi --query-gpu=temperature.gpu,power.draw,clocks.sm --format=csv -l 5
把尖刺与变更时间线叠在一起看:很多「随机」尖刺都始于某次发布或某个新调用方上线。

易错点

  • 只看平均延迟:尖刺对均值影响小,但用户对尾部的感知强烈

数据来源与参考

  • NVIDIA 官方文档:nvidia-smi 查询与降频原因说明(docs.nvidia.com)
  • vLLM 官方文档:Production Metrics(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌