首页/AI/大模型部署与运维速查/上游探活与被动摘除
本包目录(267 条)

上游探活与被动摘除

双机制配合:被动摘除(max_fails/fail_timeout 按真实请求失败计数)加上轻量主动探针;探针端点选 /health 类,避免触发推理。

被动摘除片段

被动摘除片段
upstream llm {
    server 127.0.0.1:8000 max_fails=3 fail_timeout=30s;
    server 127.0.0.1:8001 max_fails=3 fail_timeout=30s;
}
开源 Nginx 的主动健康检查能力有限:需要时可引入外部探活组件或应用网关替代。

易错点

  • 用重接口做探活:探针自身加重负载,实例忙时误摘除引发流量转移连锁

数据来源与参考

  • Nginx 官方文档:upstream 与 max_fails(nginx.org/en/docs)
  • vLLM 官方文档:健康检查端点(docs.vllm.ai)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌