观察与止损起点
观察与止损起点
watch -n 5 "curl -s http://127.0.0.1:8000/metrics | grep -E 'num_requests_waiting|num_requests_running'"
# 达到预案阈值后：先在网关把新请求限流或排队上限收紧- 台阶一：网关限流/排队上限，保护已有请求的延迟
- 台阶二：扩容实例（含加载与预热时间，按预案提前触发）
- 台阶三：临时收短 max_tokens 或降级到小模型（需业务确认）
- 每步执行后观察等待数与 P95，确认趋势再进入下一步
限流参数与扩容脚本提前配置好：故障当下只做执行，不做配置创作。