被动摘除片段
被动摘除片段
upstream llm {
server 127.0.0.1:8000 max_fails=3 fail_timeout=30s;
server 127.0.0.1:8001 max_fails=3 fail_timeout=30s;
}开源 Nginx 的主动健康检查能力有限:需要时可引入外部探活组件或应用网关替代。
双机制配合:被动摘除(max_fails/fail_timeout 按真实请求失败计数)加上轻量主动探针;探针端点选 /health 类,避免触发推理。
upstream llm {
server 127.0.0.1:8000 max_fails=3 fail_timeout=30s;
server 127.0.0.1:8001 max_fails=3 fail_timeout=30s;
}