首页/AI/AI 应用速查/限流(Rate Limit)与 429 处理
本包目录(159 条)

限流(Rate Limit)与 429 处理

限流维度常见两类:RPM(每分钟请求数)与 TPM(每分钟 token 数),429 响应带 x-ratelimit-* 剩余量头与 retry-after 建议等待秒数(以官方为准)。

AI 应用速查AI更新于 2026-10-12
维度RPM / TPM / 并发连接
信号429 + retry-after 头
观察头x-ratelimit-remaining-requests / x-ratelimit-remaining-tokens / x-ratelimit-reset-*
提升付费档升级或申请提额,代码层无法突破账户配额

按 retry-after 退避(Python)

按 retry-after 退避(Python)
import time
from openai import OpenAI, RateLimitError
client = OpenAI()
for attempt in range(5):
    try:
        r = client.chat.completions.create(model="gpt-4o-mini", messages=[{"role": "user", "content": "你好"}])
        break
    except RateLimitError as e:
        time.sleep(float(e.response.headers.get("retry-after", 5)))
排查 429 时同时看请求数与 token 数:常见是 TPM 先打满(长上下文请求更容易触发)。

易错点

  • 只统计请求数不统计 token 消耗,TPM 超限毫无预兆
  • 多个进程独立重试,流量叠加放大限流

数据来源与参考

  • OpenAI Rate Limits 文档

相关工具

​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌