路由思路
路由思路
网关解析请求体 model 字段 → 查别名/路由表 → 转发对应 upstream
(Nginx 侧可用 map/split_clients 做简化路由,复杂 JSON 解析放应用网关)别名表纳入版本管理:改动走评审,避免拼写错误把请求送到错误后端。
网关读取请求里的 model 字段,把流量路由到对应实例组:不同模型、不同量化或不同版本各自成组,对外保持一个统一入口与模型别名表。
网关解析请求体 model 字段 → 查别名/路由表 → 转发对应 upstream
(Nginx 侧可用 map/split_clients 做简化路由,复杂 JSON 解析放应用网关)