灰度发布：按流量比例切分

新版本先接一小部分流量：Nginx split_clients 按客户端特征做权重切分，把 10% 流量导向新实例组；指标达标后再逐步放量到全量。

权重切分（示意）

split_clients "${remote_addr}llm" $llm_pool {
    10%  new_pool;
    *    old_pool;
}

location /v1/ { proxy_pass http://$llm_pool; }

灰度期间两组对照观测：错误率、截断率、P95 延迟与业务抽样质量，全部达标再放量。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌