并发控制示例
并发控制示例
semaphore = 20 # 在途上限（按上游容量定）
queue: FIFO + 租户配额（单租户并发 <= 5）
排队超时: 30s 后提示稍后重试
背压: 排队长度 > 200 时暂停承接非关键任务| 容量 | 按上游限额留出余量 |
|---|---|
| 观测 | 排队长度、等待时长 P95、超时率 |
并发控制与排队
控制同时在途请求数：信号量限制并发，任务排队并设公平策略；高峰期宁可排队也不打垮上游，排队状态对用户可见。
易错点
- 并发上限拍脑袋设置，与上游限流互相打架
- 排队无超时，用户无限等待且任务积压
数据来源与参考
- 信号量（semaphore）并发模式；背压（backpressure）概念（Reactive Streams）