服务化与网关34 条

多实例负载均衡：upstream 配置

把请求分发到多个引擎实例：Nginx upstream 声明实例列表并配 keepalive；短请求轮询即可，长连接流式场景关注连接分布而不是单次请求均衡。

upstream 片段

upstream llm {
    server 127.0.0.1:8000;
    server 127.0.0.1:8001;
    keepalive 32;
}

location /v1/ { proxy_pass http://llm; }

实例无共享状态时任意转发即可；跨实例重试要求请求可完整重放（幂等键见 request-id 条目）。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌