首页/AI/提示词工程速查/重试与指数退避
本包目录(290 条)

重试与指数退避

调用失败重试要有策略:只重试可恢复错误,指数退避加随机抖动,设置总时限与次数上限;防止重试风暴放大后端故障。

提示词工程速查AI更新于 2026-10-12

退避与参数示例

退避与参数示例
可重试: 429、5xx、连接超时
不重试: 参数错误、内容策略拒绝

delay = min(base * 2**attempt, cap)
delay += random(0, jitter)   # 抖动防同步
至多 3 次;总时长不超过 20s
前提操作幂等或可安全重复
观测记录重试次数分布与最终失败率

易错点

  • 参数错误也重试,浪费配额且掩盖问题
  • 重试无上限,故障时形成流量风暴

数据来源与参考

  • AWS Builders' Library《Timeouts, retries, and backoff with jitter》;Google SRE 重试放大(retry amplification)概念
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌