base_url 自定义与企业网关

把 SDK 的 base_url 指向自建网关（one-api / LiteLLM / Higress AI 网关等），统一多模型接入、密钥托管、配额与审计——企业内落地 LLM 的标准形态。

AI 应用速查AI更新于 2026-10-12

目的	密钥不出内网、统一计费与审计、故障切换
常用工具	one-api、LiteLLM、Higress、Nginx 反代
注意	base_url 是否含 /v1；网关透传 SSE
合规	网关日志避免记录完整 prompt

SDK 指向网关（Python）

from openai import OpenAI
client = OpenAI(base_url="https://gateway.intra.example.com/v1", api_key="内网签发的令牌")
# 业务代码只认 OpenAI 协议，模型名由网关映射到各厂商

网关统一后，模型切换、限流、降级都收敛到一层配置；要压测网关自身的并发与超时配置。

‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌