nginx 侧摘除（示意）
nginx 侧摘除（示意）
# 在 upstream 中注释目标实例后重载
upstream llm_backend {
# server 127.0.0.1:8001;
server 127.0.0.1:8002;
}
# nginx -t && nginx -s reload等待在途请求完成后退出
等待在途请求完成后退出
while :; do
running=$(curl -s http://127.0.0.1:8001/metrics | awk '/num_requests_running/ {print $2; exit}')
[ "${running%%.*}" -eq 0 ] && break
sleep 3
done
kill -TERM <引擎PID>systemd 场景把 TimeoutStopSec 设为覆盖在途请求处理时间的上限，给优雅退出留时间。