首页/AI/大模型部署与运维速查/按模型名路由到不同实例组
本包目录(267 条)

按模型名路由到不同实例组

网关读取请求里的 model 字段,把流量路由到对应实例组:不同模型、不同量化或不同版本各自成组,对外保持一个统一入口与模型别名表。

路由思路

路由思路
网关解析请求体 model 字段 → 查别名/路由表 → 转发对应 upstream
(Nginx 侧可用 map/split_clients 做简化路由,复杂 JSON 解析放应用网关)
别名表纳入版本管理:改动走评审,避免拼写错误把请求送到错误后端。

易错点

  • 客户端写底座名、网关配别名:两边不一致直接 404 或路由错位,别名表要单一来源

数据来源与参考

  • LiteLLM 官方文档:路由(docs.litellm.ai)
  • Nginx 官方文档:map(nginx.org/en/docs)
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌