AI 网关是什么
AI 网关把企业内所有模型调用收敛到一个可治理的入口：密钥托管在网关，业务代码里不再散落 API Key；统一鉴权与配额，防止内部滥用；用量审计记录谁调了什么；缓存、路由与降级集中实现，切换供应商不用改业务代码；内容安全策略在一处生效；成本按业务归集。散落的直连调用根本无法治理，网关是合规与降本的共同落点。同时网关自身不能是单点：要多实例部署并明确过载降级策略。
网关职责
| 能力 | 解决的问题 |
|---|---|
| 密钥托管 | 密钥不进业务代码，支持统一轮换与吊销 |
| 鉴权与配额 | 多租户限流，防止内部滥用与误用 |
| 审计日志 | 记录调用者、模型与结果，留痕可查 |
| 缓存与路由 | 降本与稳定性，支持多供应商热备 |
| 内容安全 | 输入输出过滤策略统一生效 |
| 成本归集 | 按业务或租户统计用量与支出 |
典型使用场景
- 多业务共享模型配额：按业务限流与结算
- 供应商切换：路由层换模型，业务零改动
- 合规审计：统一记录调用来源与内容策略命中
- 密钥治理：集中轮换，避免密钥散落在各仓库
- 降本治理：缓存、批处理与模型分流的统一入口
- 故障降级：主供应商异常时切换到备用通道
直连与网关的差别
直连与网关的差别
# 散落直连
业务A → 厂商API；业务B → 厂商API；业务C → 另一家API
问题：密钥多份、无统一审计、无配额、涨价只能硬扛
# 统一网关
业务A/B/C → AI 网关 → 多供应商
收益：一处治理（鉴权/配额/审计/缓存/降级），换供应商不改业务
# 网关自身要有高可用：多实例 + 过载降级策略
# 否则治理点会变成全站故障点，一次抖动影响所有 AI 功能网关是成本归集的天然位置：所有调用都从这里经过，按业务或租户统计用量与费用不需要额外埋点。
迁移到网关要分步走：先把密钥与日志收敛，再逐步接入缓存、路由与内容安全策略，避免一次性改动引入大面积回归。