LiteLLM 兜底配置（示意）
LiteLLM 兜底配置（示意）
model_list:
- model_name: chat-main
litellm_params:
model: openai/<本地模型名>
api_base: http://127.0.0.1:8000/v1
api_key: sk-local
- model_name: chat-main
litellm_params:
model: openai/<云端模型名>
api_base: https://<云端API地址>/v1
api_key: os.environ/CLOUD_API_KEY- 切换触发：健康检查失败、错误率超阈、队列长度超阈
- 切换粒度：整模型切换或按请求类型切换
- 兼容性：云端与本地模型名不同，提示词模板要保持兼容
兜底链路平时就要用演练流量验证，故障当刻才首次切换通常会有意外。