丢包与时延定位60 条

基线对比操作法

排查时先取"正常时段"与"异常时段"两组数据:列出差异项再逐项验证;没有基线的数字只是孤证。

基线对比怎么做

排查性能问题的起点是取两组数据:正常时段与异常时段的同指标、同口径样本,然后列出差异项逐项验证。没有基线的单个数字只是孤证——只知道当前重传率是百分之三,无法判断它是恶化还是一直如此。对比表通常包含延迟分位数、重传率、吞吐与错误率几项,差异显著且方向一致的项优先深挖。采集基线时口径要一致:同一抓包点、同一采样率、同一统计窗口,拼凑出来的数据没有可比性。

基本信息

方法同指标同口径的两时段或两节点对比
常用指标延迟分位数、重传率、吞吐、错误率
采集要求同抓包点、同采样率、同统计窗口
刷新时机环境变更后必须重新采集
输出形式差异对照表加差异倍数

典型使用场景

  • 故障定位:用对照把环境噪音排除在外
  • 变更验证:改动前后各采一轮数据对比
  • 环境差异评估:不同节点或不同机房之间的对比
  • 容量判断:与扩容前的基线比较确认效果
  • 趋势观察:按周采集基线以识别缓慢劣化

对比表骨架

对比表骨架
指标        正常基线   异常实测   差异
延迟 95 分位  40ms      320ms      8 倍
重传率        0.1%      3.2%       32 倍
# 差异显著且方向一致的项优先深挖
# 单点异常先复查测量方法

指标对照与判断

指标基线取值判断要点
延迟分位数正常时段分位值倍数显著则优先深挖
重传率正常时段重传比例同时看丢包在时间上的分布
吞吐峰值与均值结合窗口与丢包一起判断
错误率业务统计数据与延迟指标交叉验证
差异显著且方向一致的项优先深挖;单点异常先复查测量方法与采集条件,避免追着噪声跑。
环境变更(扩容、迁移、升级)之后基线必须刷新,否则后续对比会一直在用错的参照物。

易错点

  • 基线必须同口径采集,不同抓包点或采样率的数据拼在一起没有可比性
  • 事后补测的所谓之前数据不可靠,改动前先采基线是最省事的做法
  • 环境变更后不刷新基线,会让正常波动显示成异常差异
  • 只看单项指标差异就下结论,不做交叉验证容易把测量噪声当成故障

数据来源与参考

  • RFC 2330
  • Wireshark User's Guide
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌