首页/AI/大模型部署与运维速查/客户端重试:范围与预算
本包目录(267 条)

客户端重试:范围与预算

重试只针对可重试错误(429/502/503 与连接失败),用指数退避;重试总次数与总时长都要设预算,避免放大故障;流式中断重试要防重复输出。

SDK 用法

SDK 用法
client = OpenAI(base_url="http://<网关>/v1", api_key="<KEY>", max_retries=2, timeout=600.0)
# 官方 SDK 默认对部分错误自动退避重试,可按需覆盖
业务侧建议带请求幂等键:重试与人工重发都能据此去重(见 request-id 条目)。

易错点

  • 对超时做无脑重试:重复生成、重复计费,还加重已经过载的服务

数据来源与参考

  • OpenAI Python SDK 文档(github.com/openai/openai-python)
  • Google SRE 手册:处理过载(sre.google/sre-book)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌