首页/网络/网络排障速查/重试风暴识别与处置
本包目录(235 条)

重试风暴识别与处置

超时与重试会放大故障:一次失败被放大成数倍流量,下游雪上加霜;识别特征是错误率与流量同步陡增、连接数暴涨,处置核心是退避+抖动+熔断。

网络排障速查网络更新于 2026-10-12

识别特征

识别特征
ss -s | head -3
ss -Htan state syn-sent | wc -l
ss -Htan state time-wait | wc -l
grep -rn 'retry' /etc/nginx/conf.d/*.conf 2>/dev/null | head
# 应用侧检查:重试次数、退避策略、幂等性范围
放大倍数≈ 客户端并发 × 重试次数(含嵌套重试相乘)
正确姿势指数退避 + 随机抖动(jitter)+ 重试预算/熔断
限制仅幂等操作可重试;写操作要么幂等化要么不重试
观测把重试计数做成指标,重试率上升是故障前兆
固定间隔重试在故障时会造成精确同步的脉冲流量,比不做重试更糟;抖动是重试设计里最容易被忽略、也最关键的一环。

易错点

  • 把重试当可靠性万能药,忽略流量放大效应
  • 重试不带抖动,导致全局同步重试脉冲

数据来源与参考

  • Google SRE Book:处理过载与级联失败
  • AWS 架构博客:指数退避与抖动

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌