Nginx 片段
Nginx 片段
limit_req_zone $binary_remote_addr zone=llm:10m rate=5r/s;
location /v1/ {
limit_req zone=llm burst=10 nodelay;
proxy_pass http://127.0.0.1:8000;
}限流键决定公平性：按 key/租户而不是按网关出口 IP 计数；限流返回码统一为 429。
限流：Nginx 令牌桶入门
限流在用 GPU 之前先挡住异常流量：Nginx limit_req 按 IP 或 key 做令牌桶限速；网关应用层再做租户级配额与并发控制，两级配合。
易错点
- 只限速率不限并发：大量长输出慢请求仍会把连接与 KV 占满
数据来源与参考
- Nginx 官方文档：ngx_http_limit_req_module（nginx.org/en/docs）