首页/AI/大模型部署与运维速查/背压:429/503 与重试语义
本包目录(267 条)

背压:429/503 与重试语义

过载要返回明确信号而不是无限排队:限流/过载用 429(可带 Retry-After 提示退避),实例不可用用 503;客户端据此退避或换实例。

状态码语义

状态码语义
429 Too Many Requests:限流/过载,退避后重试
503 Service Unavailable:实例不可用/摘除中,可重试其他实例
Retry-After:建议等待秒数(秒或 HTTP 日期)
网关队列必须有上限:无界排队会把长尾拖成全员超时,阈值按 P95 排队时长设定。

易错点

  • 用无界排队代替拒绝:请求全在等待、整体超时,容量指标与体验双输

数据来源与参考

  • RFC 6585:HTTP 429(datatracker.ietf.org)
  • Nginx 官方文档:limit_req 状态码(nginx.org/en/docs)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌