配置骨架
配置骨架
model_list:
- model_name: local-8b # 对外模型名
litellm_params:
model: openai/<上游模型名>
api_base: http://127.0.0.1:8000/v1
api_key: os.environ/LOCAL_KEY
# 启动：litellm --config config.yaml --port 4000网关自身按无状态服务部署：多副本 + 探活 + 配置版本化，避免成为单点。